La división duradera, y se sostiene comoquiera que organices los servicios:
Alquila: el modelo, el proveedor de imágenes, la infraestructura sobre la que corren. Son commodities, mejoran sin ti, y poder cambiarlos vale más que cualquier ventaja de acoplarte a uno.
Posee: la frontera. El contrato, el prompt, el esquema, las herramientas, los topes, la política de reintentos, la representación, las pruebas. Todos los capítulos de este libro tratan de algo de este lado de la línea —y nada de ello se mueve cuando cambias de proveedor.
Si cambiar de proveedor tocaría prompts, topes, representación y pruebas, están del lado equivocado de esa línea. El gestor y el contrato del capítulo 1 existen para que ese cambio sea un driver y un bloque de configuración.
Prefiere una estrella a una malla
Una lección estructural de tener varios de estos funcionando juntos.
En cierto momento nuestros servicios se llamaban en cadena: una petición entraba en uno, que llamaba a un segundo, que llamaba a un tercero. Depurar significaba tres conjuntos de registros; un fallo en el tercero producía un error inútil en el primero; y la latencia era la suma de todo.
Colapsar eso en una estrella —un orquestador llamando a hojas que nunca se llaman entre sí— arregló las tres cosas. Los servicios hoja pasaron a ser síncronos, sin estado y triviales de probar. Hay un solo sitio donde se escribe la historia de una petición.
Los servicios de IA en particular deberían ser hojas. Son lentos y caros; poner uno en mitad de una cadena significa que todo lo de detrás espera tanto al modelo como a cada salto posterior.
Lo que sostiene este capítulo
- Un servicio hoja merece la pena cuando lo que envuelve es compartido, con credenciales, cambiante y externo. Menos de cuatro, usa una clase.
- El coste es un salto, un despliegue y una frontera que autenticar. No finjas que es gratis.
- Mide antes de reconstruir. Una suposición es mala razón para gastar una semana, e igual de mala para no gastarla.
- Diseña la sonda, no sólo el cronómetro. Las operaciones sin entrada/salida son lo que hace significativa una resta.
- Alquila el modelo, posee la frontera. Si cambiar de proveedor tocaría prompts, topes o pruebas, la línea está mal puesta.
- Mantén los servicios de IA como hojas de una estrella. Son lo más lento que tienes; nada debería esperar detrás de ellos.