Aug 7 (edited) • 🏆 Wins
Infraestructura y el Sindrome de Impostor
Hoy recibí un regalo de $7.500 USD en infraestructura con GPUs NVIDIA.
Al revisar las opciones disponibles, me encontré con dos alternativas principales:
- A100 SXM (40GB VRAM) a $1,99/hr: Queda muy al límite para un modelo como Qwen 2.5 72B-AWQ (que pide ~36GB solo en pesos). Nos forzaría a bajar a un modelo de 32B o sacrificar la concurrencia y el KV cache.
- H100 PCIe (80GB VRAM) a $3,29/hr: Es la mejor opción. Nos da espacio suficiente para el modelo 72B-AWQ, el draft model y soporte para cientos de peticiones concurrentes sin saturar la GPU.
El desafío principal es que este servicio cobra por hora, no por token. Puedo procesar todo el volumen que la velocidad del sistema me permita, pero si no mantengo un tráfico mínimo, desperdicio cómputo y dinero.
Mi objetivo principal es construir un chatbot de ventas automatizado. Sin embargo, viendo la visión de Jensen Huang sobre el ecosistema de startups, el síndrome del impostor atacó fuerte: tener semejante potencia de cálculo te hace dudar de si la estás usando en algo lo suficientemente grande.
Si tuvieran esta infraestructura a disposición, ¿cómo la aprovecharían al máximo?
Los leo 👇
4
27 comments
Infraestructura y el Sindrome de Impostor
skool.com/cagala-aprende-repite
Emprende con IA y haz rentable tu PYME o Startup — aprendiendo de tropiezos reales, no de gurús vendehumo. Cágala, Aprende, Repite.
Leaderboard (30-day)
1
+47
2
+39
3
+36
4
+34
5
+28
Powered by