Hardware y presupuesto
De dónde viene el costo
El coste de entrenar es, grosso modo, número de parámetros por datos por épocas, multiplicado por el precio de la hora de cómputo. En los transformadores grandes dominan los flops de las capas de atención y los mlps.
Elegir el hardware
- GPU para la mayoría de cargas; TPU o aceleradores especializados cuando el volumen lo justifica.
- La memoria del dispositivo acota el tamaño de modelo y lote que cabe.
- El ancho de banda entre tarjetas limita cuánto rinde escalar en paralelo.
Estimar el tiempo
Con una corrida pequeña se mide el throughput en muestras por segundo, y extrapolar a todo el conjunto y épocas da una estimación de horas. Mejor medir que suponer: las sorpresas cuestan.
Local o nube
La nube ofrece elasticidad y hardware puntero pagando por hora; lo local amortiza si la carga es constante. La elección depende de la frecuencia, la escala y la sensibilidad de los datos.
Costo de experimentar
Sintonizar hiperparámetros multiplica el número de entrenamientos. Reservar presupuesto para experimentar —y para fallar— es parte del trabajo, no un derroche.
Ajustar el diseño
Dentro de un presupuesto, se puede reducir modelo, datos, precisión o épocas. Son palancas que intercambian calidad por coste, y la decisión debe mirar la validación.
Compromisos informados
Saber qué se sacrifica por qué evita decisiones arbitrarias. Documentar costo y métricas juntos permite al equipo repetir y comparar experimentos con criterio económico.
Entrenar una vez, servir muchas
El entrenamiento es un pico de gasto, pero la inferencia se paga en cada consulta durante meses. Optimizar el modelo desplegado suele ahorrar más a largo plazo que afinar el entrenamiento.
Errores frecuentes
- Lanzarse a un entrenamiento enorme sin medir antes el throughput y descubrir el costo a posteriori.
- Confundir el pico del entrenamiento con el gasto real, ignorando el coste acumulado de la inferencia.
- Elegir siempre el hardware más potente sin comparar su precio por hora frente a la carga real.
Ejemplo resuelto: estimar antes de lanzarse
Quieres entrenar un modelo grande pero el presupuesto aprieta. Lo estimas antes de gastar:
- Ejecutas una corrida pequeña y mides muestras por segundo.
- Extrapolas horas multiplicando por datos totales y épocas.
- Multiplicas las horas por el precio de la hora del hardware elegido.
- Comparas local frente a nube según frecuencia y sensibilidad.
- Ajustas modelo, datos o precisión si el costo se sale del presupuesto.
¿Para qué sirve en la realidad?
Todo proyecto real de deep learning choca con un presupuesto; estimar bien el cómputo evita facturas sorpresa y permite planificar la experimentación dentro de lo que la organización puede pagar.
Para estimar el tiempo de un entrenamiento grande, la práctica más fiable es:
A largo plazo, optimizar la inferencia de un modelo desplegado puede ahorrar más coste que afinar su entrenamiento puntual.
Presupuesto
Ordena el razonamiento para planificar el cómputo de un proyecto:
Medir
Estimar
Comparar
Ajustar
Unidad de cómputo
Cómo se mide y se factura la capacidad de cálculo.
Une cada decisión de presupuesto con su efecto.
Presupuestar antes de entrenar
# Presupuesto de computo ## Costo ### parametros por datos ### precio de la hora ## Hardware ### gpu o tpu ### memoria y ancho de banda ## Estimar ### corrida pequena ### extrapolar ## Ajustar ### modelo ### datos ### epocas
Computación en la nube
Modelo de elasticidad y pago por uso aplicado al cómputo de entrenamiento.
Tu presupuesto da para la mitad de lo que querrías. ¿Recortas el tamaño del modelo, los datos o las épocas de entrenamiento? Razona el impacto de cada recorte en la calidad.