<![CDATA[ChuJALT - Python]]>

<![CDATA[ChuJALT - Python]]> https://chujalt.com/ Thu, 30 Apr 2026 16:07:16 +0000 MyBB <![CDATA[Python, insertar saltos de línea en textos grandes]]> https://chujalt.com/thread-50.html Tue, 03 Aug 2021 18:00:45 +0000 chujalt]]> https://chujalt.com/thread-50.html

Código:

#!/usr/bin/env python

n = 8 #Numero caracteres por linea

contenido = open("documento_original.txt", "r")

s = contenido.read()

contenido.close()

with open('documento_salida.txt', 'w', encoding='utf-8') as myfile:

    myfile.write('\n'.join(s[i:i+n] for i in range(0, len(s), n)))

    myfile.close()

Lee el archivo original y crea uno nuevo con n caracteres por línea, es este caso 8.]]>

Código:

#!/usr/bin/env python

n = 8 #Numero caracteres por linea

contenido = open("documento_original.txt", "r")

s = contenido.read()

contenido.close()

with open('documento_salida.txt', 'w', encoding='utf-8') as myfile:

    myfile.write('\n'.join(s[i:i+n] for i in range(0, len(s), n)))

    myfile.close()

Lee el archivo original y crea uno nuevo con n caracteres por línea, es este caso 8.]]> <![CDATA[Web scraping con python y selenium.]]> https://chujalt.com/thread-21.html Sun, 07 Mar 2021 19:44:42 +0000 chujalt]]> https://chujalt.com/thread-21.html
Vamos a utilizar python y selenium (que es una librería de python) para loguearnos y escribir un post en un foro, todo ello de manera automática.

El script está probado en este mismo foro y funciona perfectamente, aunque en el que se publica aquí he puesto una dirección ficticia.

Lo que vamos a necesitar es, además de tener python instalado, instalarnos la librería selenium

Código:
sudo pip install selenium

y tener el controlador geckodriver, lo podeís bajar de AQUÍ.

Este trabajo está hecho bajo entorno linux y hay que tener ciertas nociones de html porque selenium busca entre los tags para poder trabajar. Lo que busca son elementos por name, id, texto del enlace, texto parcial del enlace, xpath, CSS, tagname y Classname.

Voy a poner en script completo y luego iremos linea por linea.

Código:
#!/usr/bin/env python    

from selenium import webdriver

import time

driver = webdriver.Firefox(executable_path='/home/chujalt/geckodriver')

driver.get('https://paginaweb.com')

link = driver.find_element_by_link_text('Iniciar sesión').click()

time.sleep(2)

driver.find_element_by_id('quick_login_username').send_keys("Pepito")

driver.find_element_by_id('quick_login_password').send_keys("contraseña_de_Pepito")

driver.find_element_by_name('submit').click()

time.sleep(5)

driver.find_element_by_link_text('Chistes').click()

time.sleep(2)

driver.find_element_by_class_name('new_thread_button').click()

time.sleep(5)

driver.find_element_by_name('subject').send_keys("Chiste de Pepito")

driver.find_element_by_xpath("//iframe").send_keys("Hola, este es mi primer chiste")

driver.find_element_by_name('submit').click()

time.sleep(2)

driver.close()

Importamos webdriver de selenium

Código:
from selenium import webdriver

Importamos Time

Código:
import time

Vamos a trabajar con Firefox y le decimos donde está el ejecutable geckodriver

Código:
driver = webdriver.Firefox(executable_path='/home/chujalt/geckodriver')

Le decimos la página web a abrir

Código:
driver.get('https://paginaweb.com')

Buscamos un enlace que tenga el texto "Iniciar sesión" y que lo pulse

Código:
link = driver.find_element_by_link_text('Iniciar sesión').click()

Esperamos 2 segundos a que se cargue la página de autentificación

Código:
time.sleep(2)

En el formulario, la id de la caja de texto donde va el usuario es "quick_login_username" y le enviamos nuestro usuario

Código:
driver.find_element_by_id('quick_login_username').send_keys("Pepito")

En el formulario, la id de la caja de texto donde va la contraseña es "quick_login_password" y le enviamos nuestra contraseña

Código:
driver.find_element_by_id('quick_login_password').send_keys("contraseña_de_Pepito")

En el formulario, el botón de enviar el name es "submit" y hacemos click en él

Código:
driver.find_element_by_name('submit').click()

Esperamos 5 segundos a que la autentificación se realice y se vuelva a cargar la página

Código:
time.sleep(5)

Vamos a postear un chiste, por lo que vamos a ir a la sección chistes, buscamos un enlace con el texto "Chistes" y hacemos click en él

Código:
driver.find_element_by_link_text('Chistes').click()

Esperamos 2 segundos a que se cargue la sección chistes

Código:
time.sleep(2)

El botón para crear un nuevo hilo es una class con el nombre "new_thread_button" lo buscamos y hacemos click en él

Código:
driver.find_element_by_class_name('new_thread_button').click()

Esperamos 5 segundos a que se cargue la caja para hacer los post

Código:
time.sleep(5)

En la caja para hacer posts, la caja de texto para poner el título del post tiene el name "subject", lo buscamos y enviamos el título

Código:
driver.find_element_by_name('subject').send_keys("Chiste de Pepito")

El post en si está en un iframe, lo buscamos por el path, que puede ser absoluto o relativo (es este caso relativo), y le enviamos el texto

Código:
driver.find_element_by_xpath("//iframe").send_keys("Hola, este es mi primer chiste")

Hacemos click en el botón de envío cuyo name es submit

Código:
driver.find_element_by_name('submit').click()

Esperamos 2 segundos para que se realice la grabación del post

Código:
time.sleep(2)

Y cerramos el navegador y la aplicación

Código:
driver.close()

Con esto habremos conseguido identificarnos y realizar un post.
Saludos.]]>
Vamos a utilizar python y selenium (que es una librería de python) para loguearnos y escribir un post en un foro, todo ello de manera automática.

El script está probado en este mismo foro y funciona perfectamente, aunque en el que se publica aquí he puesto una dirección ficticia.

Lo que vamos a necesitar es, además de tener python instalado, instalarnos la librería selenium

Código:
sudo pip install selenium

Código:
#!/usr/bin/env python    

from selenium import webdriver

import time

driver = webdriver.Firefox(executable_path='/home/chujalt/geckodriver')

driver.get('https://paginaweb.com')

link = driver.find_element_by_link_text('Iniciar sesión').click()

time.sleep(2)

driver.find_element_by_id('quick_login_username').send_keys("Pepito")

driver.find_element_by_id('quick_login_password').send_keys("contraseña_de_Pepito")

driver.find_element_by_name('submit').click()

time.sleep(5)

driver.find_element_by_link_text('Chistes').click()

time.sleep(2)

driver.find_element_by_class_name('new_thread_button').click()

time.sleep(5)

driver.find_element_by_name('subject').send_keys("Chiste de Pepito")

driver.find_element_by_xpath("//iframe").send_keys("Hola, este es mi primer chiste")

driver.find_element_by_name('submit').click()

time.sleep(2)

driver.close()

Importamos webdriver de selenium

Código:
from selenium import webdriver

Importamos Time

Código:
import time

Vamos a trabajar con Firefox y le decimos donde está el ejecutable geckodriver

Código:
driver = webdriver.Firefox(executable_path='/home/chujalt/geckodriver')

Le decimos la página web a abrir

Código:
driver.get('https://paginaweb.com')

Buscamos un enlace que tenga el texto "Iniciar sesión" y que lo pulse

Código:
link = driver.find_element_by_link_text('Iniciar sesión').click()

Esperamos 2 segundos a que se cargue la página de autentificación

Código:
time.sleep(2)

En el formulario, la id de la caja de texto donde va el usuario es "quick_login_username" y le enviamos nuestro usuario

Código:
driver.find_element_by_id('quick_login_username').send_keys("Pepito")

En el formulario, la id de la caja de texto donde va la contraseña es "quick_login_password" y le enviamos nuestra contraseña

Código:
driver.find_element_by_id('quick_login_password').send_keys("contraseña_de_Pepito")

En el formulario, el botón de enviar el name es "submit" y hacemos click en él

Código:
driver.find_element_by_name('submit').click()

Esperamos 5 segundos a que la autentificación se realice y se vuelva a cargar la página

Código:
time.sleep(5)

Vamos a postear un chiste, por lo que vamos a ir a la sección chistes, buscamos un enlace con el texto "Chistes" y hacemos click en él

Código:
driver.find_element_by_link_text('Chistes').click()

Esperamos 2 segundos a que se cargue la sección chistes

Código:
time.sleep(2)

El botón para crear un nuevo hilo es una class con el nombre "new_thread_button" lo buscamos y hacemos click en él

Código:
driver.find_element_by_class_name('new_thread_button').click()

Esperamos 5 segundos a que se cargue la caja para hacer los post

Código:
time.sleep(5)

En la caja para hacer posts, la caja de texto para poner el título del post tiene el name "subject", lo buscamos y enviamos el título

Código:
driver.find_element_by_name('subject').send_keys("Chiste de Pepito")

El post en si está en un iframe, lo buscamos por el path, que puede ser absoluto o relativo (es este caso relativo), y le enviamos el texto

Código:
driver.find_element_by_xpath("//iframe").send_keys("Hola, este es mi primer chiste")

Hacemos click en el botón de envío cuyo name es submit

Código:
driver.find_element_by_name('submit').click()

Esperamos 2 segundos para que se realice la grabación del post

Código:
time.sleep(2)

Y cerramos el navegador y la aplicación

Código:
driver.close()

Con esto habremos conseguido identificarnos y realizar un post.
Saludos.]]> <![CDATA[Web scraping con python BeautifulSoup y MySql.]]> https://chujalt.com/thread-20.html Sun, 07 Mar 2021 19:43:09 +0000 chujalt]]> https://chujalt.com/thread-20.html
Vamos a recoger los datos que nos interesan de una página web y los vamos a meter en una base de datos MySql para su almacenamiento y posteriormente tratar esos datos como mas nos convenga.

Yo trabajo en entorno linux, pero bajo Windows o MAc debería funcionar igual.

Para poder realizar este trabajo necesitaremos tener instalado MySql en nuestro PC. Además, entre otras librerías tenemos que tener instalada la de BeautifulSoup y el conector a la base de datos MySql

Código:
sudo pip install beautifulsoup4

sudo pip install mysql-connector

En este ejemplo vamos a trabajar con la página de la Bolsa de Madrid, si la quieres ver PULSA AQUI, concretamente en la sección donde nos da la información de las cotizaciones de las empresas del Ibex 35. Esta información se actualiza cada 15 minutos, pero nosotros vamos a ejecutar nuestro script a la hora de cierre para saber como han cerrado las cotizaciones día por día.

Yo he creado una base de datos llamada "ibex35" con una tabla llamada "diario" y en esta tabla 9 campos, id, nombre, fecha, ultimo, diferencia, max, min, volumen y efectivo.

Voy a poner el script completo y luego comentaremos por bloques.

Código:
#!/usr/bin/env python

# -*- coding: utf-8 -*-

import json

from bs4 import BeautifulSoup

import requests

from functools import reduce

import os

import mysql.connector

import datetime

website_url = requests.get("http://www.bolsamadrid.es/esp/aspx/Mercados/Precios.aspx?indice=ESI100000000&punto=indice").text

soup = BeautifulSoup(website_url,'lxml')

soup = soup.find('table',{'id':'ctl00_Contenido_tblAcciones'})

rows = soup.findAll("tr")[1:]

headers = {}

thead = soup.findAll("th")

for i in range(len(thead)):

    headers[i] = thead[i].text.strip().lower()

data = []

for row in rows:

    cells = row.find_all("td")

    item = {}    

    for i in headers:

        item[headers[i]] = cells[i].text   

    data.append(item)

pepe = json.dumps (data, indent=4) 

diccionario = [

("\\u00fa", "u"), 

("\\u00ed", "i"), 

("\\u00e1", "a"),

("\\u20ac", "€")  

]

salida = reduce(lambda a, kv: a.replace(*kv), diccionario, pepe)

data = json.loads(salida)

mydb = mysql.connector.connect(

  host="localhost",

  user="usuario",

  passwd="contraseña",

  database="ibex35"

)

mycursor = mydb.cursor()

for device in data:

   fecha = datetime.datetime.strptime(device["fecha"], '%d/%m/%Y')

   sql = "INSERT INTO diario (nombre, fecha, ultimo, diferencia, max, min, volumen, efectivo) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"

   val = (device["nombre"], fecha, device["ult."].replace(".", "").replace(",", "."), device["% dif."].replace(".", "").replace(",", "."), device["max."].replace(".", "").replace(",", "."), device["min."].replace(".", "").replace(",", "."), device["volumen"].replace(".", "").replace(",", "."), device["efectivo (miles €)"].replace(".", "").replace(",", "."))

   mycursor.execute(sql, val)

   mydb.commit()

   print(mycursor.rowcount, "Datos de ",device["nombre"]," introducidos correctamente")

print ("Todos los datos han sido introducidos correctamente")

BLOQUE 1

Código:
#!/usr/bin/env python

# -*- coding: utf-8 -*-

import json

from bs4 import BeautifulSoup

import requests

from functools import reduce

import os

import mysql.connector

import datetime

website_url = requests.get("http://www.bolsamadrid.es/esp/aspx/Mercados/Precios.aspx?indice=ESI100000000&punto=indice").text

soup = BeautifulSoup(website_url,'lxml')

soup = soup.find('table',{'id':'ctl00_Contenido_tblAcciones'})

En este bloque cargamos todas las librerías necesarias, cargamos la página y metemos en una variable la tabla que nos interesa, concretamente la que tiene id = ctl00_Contenido_tblAcciones.

BLOQUE 2

Código:
rows = soup.findAll("tr")[1:]

headers = {}

thead = soup.findAll("th")

for i in range(len(thead)):

    headers[i] = thead[i].text.strip().lower()

data = []

for row in rows:

    cells = row.find_all("td")

    item = {}    

    for i in headers:

        item[headers[i]] = cells[i].text   

    data.append(item)

pepe = json.dumps (data, indent=4)

En este bloque con todos los datos almacenados de la tabla creamos un json con la estructura cabecera tabla / valor, eso por cada fila de la tabla.

BLOQUE 3

Código:
diccionario = [

("\\u00fa", "u"), 

("\\u00ed", "i"), 

("\\u00e1", "a"),

("\\u20ac", "€")   

]

salida = reduce(lambda a, kv: a.replace(*kv), diccionario, pepe)

data = json.loads(salida)

mydb = mysql.connector.connect(

  host="localhost",

  user="usuario",

  passwd="contraseña",

  database="ibex35"

)

mycursor = mydb.cursor()

for device in data:

   fecha = datetime.datetime.strptime(device["fecha"], '%d/%m/%Y')

   sql = "INSERT INTO diario (nombre, fecha, ultimo, diferencia, max, min, volumen, efectivo) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"

   val = (device["nombre"], fecha, device["ult."].replace(".", "").replace(",", "."), device["% dif."].replace(".", "").replace(",", "."), device["max."].replace(".", "").replace(",", "."), device["min."].replace(".", "").replace(",", "."), device["volumen"].replace(".", "").replace(",", "."), device["efectivo (miles €)"].replace(".", "").replace(",", "."))

   mycursor.execute(sql, val)

   mydb.commit()

   print(mycursor.rowcount, "Datos de ",device["nombre"]," introducidos correctamente")

print ("Todos los datos han sido introducidos correctamente")

En este bloque lo primero que hacemos, como la página web tiene acentos y python no es amigo de ellos, ha escrito símbolos raros en las palabras que tenían acentos, cambiamos esos símbolos por las sílabas pero sin los acentos.
Volvemos a cargar en json, conectamos con la base de datos y hacemos un bucle for para hacer insert por cada fila de la tabla.

Nótese que debemos de hacer varios "replace" pues la información de la página nos da los miles en puntos y los decimales con comas, cosa que no admite la base de datos mysql, por lo que quitamos los puntos y las comas las transformamos en puntos. También transformamos el campo fecha en tipo "date".

Bueno, ya está, espero que le sirva a alguien.

Saludos.]]>
Vamos a recoger los datos que nos interesan de una página web y los vamos a meter en una base de datos MySql para su almacenamiento y posteriormente tratar esos datos como mas nos convenga.

Yo trabajo en entorno linux, pero bajo Windows o MAc debería funcionar igual.

Para poder realizar este trabajo necesitaremos tener instalado MySql en nuestro PC. Además, entre otras librerías tenemos que tener instalada la de BeautifulSoup y el conector a la base de datos MySql

Código:
sudo pip install beautifulsoup4

sudo pip install mysql-connector

Código:
#!/usr/bin/env python

# -*- coding: utf-8 -*-

import json

from bs4 import BeautifulSoup

import requests

from functools import reduce

import os

import mysql.connector

import datetime

website_url = requests.get("http://www.bolsamadrid.es/esp/aspx/Mercados/Precios.aspx?indice=ESI100000000&punto=indice").text

soup = BeautifulSoup(website_url,'lxml')

soup = soup.find('table',{'id':'ctl00_Contenido_tblAcciones'})

rows = soup.findAll("tr")[1:]

headers = {}

thead = soup.findAll("th")

for i in range(len(thead)):

    headers[i] = thead[i].text.strip().lower()

data = []

for row in rows:

    cells = row.find_all("td")

    item = {}    

    for i in headers:

        item[headers[i]] = cells[i].text   

    data.append(item)

pepe = json.dumps (data, indent=4) 

diccionario = [

("\\u00fa", "u"), 

("\\u00ed", "i"), 

("\\u00e1", "a"),

("\\u20ac", "€")  

]

salida = reduce(lambda a, kv: a.replace(*kv), diccionario, pepe)

data = json.loads(salida)

mydb = mysql.connector.connect(

  host="localhost",

  user="usuario",

  passwd="contraseña",

  database="ibex35"

)

mycursor = mydb.cursor()

for device in data:

   fecha = datetime.datetime.strptime(device["fecha"], '%d/%m/%Y')

   sql = "INSERT INTO diario (nombre, fecha, ultimo, diferencia, max, min, volumen, efectivo) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"

   val = (device["nombre"], fecha, device["ult."].replace(".", "").replace(",", "."), device["% dif."].replace(".", "").replace(",", "."), device["max."].replace(".", "").replace(",", "."), device["min."].replace(".", "").replace(",", "."), device["volumen"].replace(".", "").replace(",", "."), device["efectivo (miles €)"].replace(".", "").replace(",", "."))

   mycursor.execute(sql, val)

   mydb.commit()

   print(mycursor.rowcount, "Datos de ",device["nombre"]," introducidos correctamente")

print ("Todos los datos han sido introducidos correctamente")

BLOQUE 1

Código:
#!/usr/bin/env python

# -*- coding: utf-8 -*-

import json

from bs4 import BeautifulSoup

import requests

from functools import reduce

import os

import mysql.connector

import datetime

website_url = requests.get("http://www.bolsamadrid.es/esp/aspx/Mercados/Precios.aspx?indice=ESI100000000&punto=indice").text

soup = BeautifulSoup(website_url,'lxml')

soup = soup.find('table',{'id':'ctl00_Contenido_tblAcciones'})

Código:
rows = soup.findAll("tr")[1:]

headers = {}

thead = soup.findAll("th")

for i in range(len(thead)):

    headers[i] = thead[i].text.strip().lower()

data = []

for row in rows:

    cells = row.find_all("td")

    item = {}    

    for i in headers:

        item[headers[i]] = cells[i].text   

    data.append(item)

pepe = json.dumps (data, indent=4)

En este bloque con todos los datos almacenados de la tabla creamos un json con la estructura cabecera tabla / valor, eso por cada fila de la tabla.

BLOQUE 3

Código:
diccionario = [

("\\u00fa", "u"), 

("\\u00ed", "i"), 

("\\u00e1", "a"),

("\\u20ac", "€")   

]

salida = reduce(lambda a, kv: a.replace(*kv), diccionario, pepe)

data = json.loads(salida)

mydb = mysql.connector.connect(

  host="localhost",

  user="usuario",

  passwd="contraseña",

  database="ibex35"

)

mycursor = mydb.cursor()

for device in data:

   fecha = datetime.datetime.strptime(device["fecha"], '%d/%m/%Y')

   sql = "INSERT INTO diario (nombre, fecha, ultimo, diferencia, max, min, volumen, efectivo) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"

   val = (device["nombre"], fecha, device["ult."].replace(".", "").replace(",", "."), device["% dif."].replace(".", "").replace(",", "."), device["max."].replace(".", "").replace(",", "."), device["min."].replace(".", "").replace(",", "."), device["volumen"].replace(".", "").replace(",", "."), device["efectivo (miles €)"].replace(".", "").replace(",", "."))

   mycursor.execute(sql, val)

   mydb.commit()

   print(mycursor.rowcount, "Datos de ",device["nombre"]," introducidos correctamente")

print ("Todos los datos han sido introducidos correctamente")