El ecosistema de herramientas

Alrededor del ciclo de datos se ha agrupado un ecosistema enorme. Para no perderse, conviene ordenarlo por capas: lenguajes y bibliotecas para pensar, almacenes para guardar, entornos para trabajar y plataformas para ejecutar a escala.

Lenguajes de consulta y programación

• SQL: la lengua franca para recuperar y agregar datos tabulares.
• Python y R: análisis, modelado y estadística con un ecosistema inmenso.
• Otros (Julia, Scala) ganan nichos donde el rendimiento o la integración lo justifican.

Bibliotecas de análisis

Sobre Python se apila un conjunto estable: manipulación tabular, cálculo numérico, visualización y aprendizaje automático. Conocer la utilidad de cada capa evita reinventar ruedas y permite encadenar pasos con poco código.

Almacenamiento y cómputo

• Bases relacionales y warehouses para datos estructurados y consultas.
• Almacenes de objetos y lagos de datos para ficheros grandes y heterogéneos.
• Frameworks distribuidos cuando el dato ya no cabe en una máquina.

Entornos de trabajo

Los cuadernos interactivos ganaron la exploración por su mezcla de código, texto y gráficos; los entornos de desarrollo, la ingeniería y el control de versiones. Usar cada uno donde brilla es buena práctica.

Visualización y cuadros de mando

• Bibliotecas para gráficos dentro del flujo de análisis.
• Herramientas de BI para tableros interactivos compartidos.
• La elección depende de quién mira y con qué frecuencia.

Aprendizaje automático y profundización

Bibliotecas clásicas cubren modelos tabulares; los marcos de aprendizaje profundo añaden aceleradores de hardware para redes grandes. La regla sigue siendo la misma: la técnica más simple que resuelva, gana.

Orquestación y flujo de trabajo

• Programar tareas dependientes que corren solas y se reintentan.
• Hacer reproducible el camino del dato crudo al resultado.
• Convertir un cuaderno personal en un proceso del equipo.

Control de versiones y colaboración

Versionar código es obvio; versionar datos y experimentos es lo que separa un proyecto artesanal de uno profesional. Sin trazabilidad de qué generó qué, nada es repetible ni auditable.

La nube y sus servicios gestionados

• Aportan escala elástica y servicios sin operar máquinas.
• Cambian el modelo de coste: de invertir en servidores a pagar por uso.
• Introducen dependencias de proveedor y degobernanza que conviene conocer.

Cómo elegir entre opciones

Se preguntan cuatro cosas: encaja con el problema, encaja con los datos disponibles, el equipo sabe usarla y la organización puede mantenerla. Una herramienta excelente que nadie mantiene es una deuda futura.

El error del martillo dorado

• Aplicar la única herramienta que dominas a problemas que piden otra.
• Adoptar tecnología de moda sin ventaja real para el caso.
• Confundir sofisticación técnica con valor de negocio.

Ejemplo resuelto: elegir herramientas para un pequeño comercio

Una tienda quiere un informe semanal de ventas sin equipo técnico. Elegir por capas evita el despilfarro:

1. Definir la tarea antes que la herramienta: un informe recurrente y simple.
2. Consulta: una hoja de cálculo o un SQL ligero sobre sus ventas.
3. Visualización: un cuadro de mando sencillo en lugar de una plataforma cara.
4. Sostener: preferir lo que alguien del equipo sabe mantener.
5. Revisar: escalar de herramienta solo cuando el volumen lo exija.

¿Para qué sirve en la realidad?

Conocer el ecosistema evita el martillo dorado: decidir con criterios de problema, datos y mantenimiento ahorra deuda técnica y hace el proyecto sostenible.

Ciencia de datos
Panorámica de las herramientas y etapas de la disciplina.

# Elegir herramienta
## Por la tarea
### encaja con el problema
### encaja con los datos
## Por el equipo
### sabe usarla
### puede mantenerla
## Por capas
### consulta y análisis
### almacén y ejecución
## Cautelas
### evitar el martillo dorado
### no seguir modas sin ventaja

SQL
El lenguaje estándar para consultar y manipular datos relacionales.