jueves, 24 de diciembre de 2020

¿Cómo generar backups Django desde archivo Python?


 A continuación el código para generar nuestros backups en Django. Lo incluimos en una tarea automatizada para que el código se ejecute automáticamente cada cierto tiempo. Es necesario que el código sea ejecutado en nuestro entorno virtual.

Para ello hacemos uso de la librería pathlib, útil para trabajar con rutas de archivos y directorios. Ofrece un sin número de método adecuados a la plataforma. Según su documentación, este módulo ofrece clases que representan rutas del sistema de archivos con semántica apropiada para diferentes sistemas operativos. Las clases de ruta se dividen entre rutas puras , que proporcionan operaciones puramente computacionales sin E/S, y rutas concretas , que heredan de rutas puras pero también proporcionan operaciones de E/S.

Y también de hacemos uso de la librería zipfile para comprimir nuestros backups en archivos .zip.


import os
import datetime


from pathlib import Path # https://docs.python.org/3/library/pathlib.html
from zipfile import ZipFile # https://docs.python.org/3/library/zipfile.html


# Importamos los settings de nuestro proyecto.
from app.settings import (setting1, setting2, setting3)

SETTINGS = (setting1, setting2, setting3)

# Directorio donde serán almacenados las copias de seguridad.
BACKUP_DIR_NAME = Path(__file__).resolve().parent.parent / "backups"

# Sufijo que tendrá el nombre del archivo generado Ej. nombre_20201224.zip
FILE_SUFFIX_DATE_FORMAT = "%Y%m%d"

# Cantidad de días que durará una copia de seguridad
# almacenada antes de proceder a borrarla automáticamente.
DAYS_TO_KEEP_BACKUP = 3

# Usaremos esta fecha para comparar los archivos antiguos que serán eliminados.
back_date = datetime.datetime.now() - datetime.timedelta(days=DAYS_TO_KEEP_BACKUP)
back_date = back_date.strftime(FILE_SUFFIX_DATE_FORMAT)


# Eliminamos primero para asegurarnos de que casi siempre haya
# espacio disponible para los nuevos backups que serán creados.

for setting in SETTINGS:
path = BACKUP_DIR_NAME

    # Suponiendo hemos creado una variable NAME en cada uno de nuestros setting
prefix = setting.NAME + "_"

# Listamos los archivos dentro del directorio donde se guardan los backups.
list_files = path.iterdir()

for f in list_files:
if f.suffix.lower() == ".zip":

try:
suffix = f.name.split("_")[1].split(".")[0]
except (IndexError):
# Si el archivo no tiene la estructura 'name_%Y%m%d.zip'
# entonces no es un archivo que se ha generado aquí.
continue
# Comparamos las fechas de tipo string y funciona ya que:
# '20201221' es menor que '20201224.
if suffix < back_date:
print(f"Eliminando: {f}")
f.unlink(missing_ok=True)



# Ahora procedemos a generar nuestros backups.

for setting in SETTINGS:

# Construimos el nombre que tendrá el archivo de salida, de acuerdo
# a este formato: 'filename_%Y%m%d.json' -> 'ininstancia_20201224.json'.
timestamp = datetime.datetime.now().strftime(FILE_SUFFIX_DATE_FORMAT)
backup_filename = BACKUP_DIR_NAME / f"{setting.NAME}_{timestamp}.json"

# Ejecutamos el comando python manage.py dumpdata...
print(f"dumpdata para {setting.NAME}")
os.system(f"python manage.py dumpdata > {backup_filename}")

# Creamos el archivo .zip y eliminamos el .json.
zip_filename = backup_filename.with_suffix(".zip")
with ZipFile(zip_filename, 'w') as zip:
zip.write(backup_filename, backup_filename.name)

# Eliminamos el archivos .json.
backup_filename.unlink(missing_ok=True)

print(zip_filename, "OK")

lunes, 14 de diciembre de 2020

Borrar los archivos de migraciones en Django

Script para eliminar todos los archivos de migraciones generados en un proyecto Django.


En la mayoría de los casos no es recomendable borrar los archivos de migraciones generados por Django al ejecutar el comando python manage.py makemigrations, ya que esto guarda un historial completo de los cambios realizados en la base de datos, y así Django, al ejecutar el comando python manage.py migrate determina que migraciones se van aplicar en la base de datos en cuestión. Puedes leer más acerca de las migraciones en Django en el siguiente enlace. Pero, en algunos casos, especialmente para proyectos nuevos que aún no han sido implementados en producción, nos resulta útil borrar estas migraciones. 

Por ejemplo:

Cuando estamos creando un nuevo proyecto Django, es frecuente que realicemos cambios en nuestros modelos, cambiando parámetros de nuestros campos, ya sea corrigiendo errores ortográficos en los textos de parámetro help_text o verbose_name, etc., los cuales resultarán en un nuevo archivo de migración creado por Django, aunque estos cambios no sean tan relevantes. Entonces al momento de implementar nuestro proyecto en producción, tendríamos un sin número de migraciones prácticamente innecesarias, ya que bien podrían haberse incluido en las migraciones iniciales. 

Podemos manualmente eliminar cada una de estas migraciones entrando a cada aplicación y eliminar los archivos uno a uno, pero por comodidad siempre preferimos automatizar todo.


"""
Elimina los archivos dentro las carpetas 'migrations'
"""

import os

opt = str(input("Si continua se borrarán todas las migraciones de todas las "
"aplicaciones que se encuentran en el directorio base. Especificamente dentro "
"de los subdirectorios 'migrations'. ¿Desea continuar? yes/no: "))

if opt.lower() != "yes":
exit(0)

def removedir(path):
for name in os.listdir(path):
p = os.path.join(path, name)
if os.path.isdir(p):
removedir(p)
else:
try:
os.remove(p)
except (WindowsError) as e:
print(e)
else:
print("CORRECTO -- ", p)

path1 = os.curdir

# Remover todos los archivos dentro de los
# directorios 'migrations' y __pycache__
for dirname in ["migrations", "__pycache__"]:
for name in os.listdir(path1):
p = os.path.join(path1, name, dirname)
if os.path.isdir(p):
removedir(p)
try:
# Volvemos a crear el __init__.py borrado.
f = open(os.path.join(p, "__init__.py"), "w")
f.close()
except (BaseException) as e:
print(e)


Copias de seguridad periódica en PythonAnywhere

¿Como hacer copias de seguridad  de la base de datos de forma periódica y automática en pythonanywhere.com?

A continuación se muestra el código de forma detallada de como poder realizar nuestros backups de la base de datos mediante la ejecución de tareas.

De manera general lo que haremos es crear un archivo Python dentro de algún directorio de nuestra cuenta en Pythonanywhere, y luego hacer que dicho archivo sea ejecutado de forma periódica mediante la programación de tareas en el mismo Pythonanywhere.

Para empezar creamos nuestro archivo .py importamos los módulos que usaremos:

import os
import datetime
from zipfile import ZipFile