Por qué Prompt Engineering primero, luego RAG y después Fine-Tuning (en ese orden)
Free Academy AI: siempre comienza con prompt engineering. Añade RAG cuando necesites conocimiento. Haz fine-tuning solo cuando los cambios de comportamiento no puedan lograrse con enfoques más simples. La mayoría de equipos lo ignoran. Van directo al fine-tuning porque se siente como desarrollo real de IA. No lo es. El fine-tuning es el último recurso caro y lento, no la primera respuesta.
Por qué los equipos hacen fine-tuning demasiado pronto
Por qué el fine-tuning se siente como desarrollo real de IA: implica entrenar un modelo, lo cual suena técnico. Tienes un dataset, lo cual se siente riguroso. Estás cambiando los pesos del modelo, lo cual suena fundamental. El prompt engineering se siente como simplemente escribir instrucciones.
Por qué esto está al revés: el prompt engineering es en realidad más difícil. Tienes que entender profundamente cómo el modelo interpreta las instrucciones. El fine-tuning es más mecánico: preparas datos, ejecutas entrenamiento, evalúas. El trabajo difícil es descubrir qué quieres que haga el modelo. Eso es prompt engineering. El fine-tuning simplemente hace que el modelo lo ejecute más rápido.
La consecuencia de costo: hacer fine-tuning demasiado pronto significa meses de entrenamiento más entre $5,000 y $50,000 o más en costos. Luego descubrir que el prompt engineering habría funcionado significa tiempo y dinero desperdiciados.
Por qué sigue pasando: los equipos quieren resolver el problema de IA y seguir adelante. El fine-tuning se siente como una solución permanente. El prompt engineering se siente temporal. Pero el prompt engineering es realmente la base correcta.
Cómo lucen realmente 20 a 40 horas de prompt engineering
Semana 1: establece la línea base en 10 horas. Prueba el modelo base sin ningún prompt personalizado. Documenta qué funciona, qué no, y dónde falla. Esto te da la línea base contra la cual medir la mejora.
Semana 1 a 2: iteración sistemática de prompts en 20 horas. Prompt de sistema definiendo qué rol debe cumplir el modelo. Ejemplos few-shot mostrándole al modelo cómo se ven buenos outputs. Instrucciones de formato de salida especificando exactamente cómo debe estructurarse el resultado. Chain-of-thought preguntando si el modelo debe mostrar su razonamiento. Instrucciones de restricciones especificando qué debe evitar el modelo.
Semana 2: pruebas con consultas reales en 10 horas. Prueba con 50 a 100 consultas reales de usuarios en producción. Mide si el output coincide con lo que se necesita. Itera y refina los prompts basándote en los patrones de fallo.
Lo que aprendes en 20 a 40 horas: ¿El problema es que el modelo no entiende la tarea? Usa prompt engineering. ¿El problema es que el modelo no tiene el conocimiento? Usa RAG. ¿El problema es que el modelo razona incorrectamente? Usa fine-tuning.
El resultado 80/20: muchos equipos descubren que 20 a 40 horas de prompt engineering logran el 80% de su objetivo. Si el 80% no es suficiente, ahora sabes exactamente qué requiere el 20% restante.
La secuencia en la práctica — Prompt, RAG, Fine-tune
Paso 1: Prompt engineering durante 2 a 4 semanas. Lo que puedes lograr es formato de salida, tono, enfoque de razonamiento y estructura. La prueba es si el prompt engineering puede llevarte al 80%. Si sí, ahí te detienes.
Paso 2: RAG durante 2 a 4 semanas después del prompt engineering. Añade RAG cuando el modelo necesita conocimiento que es muy grande para el contexto, cambia frecuentemente o es propietario. Lo que aprendes es si el problema es conocimiento o razonamiento.
Paso 3: Fine-tuning durante 8 a 16 semanas como último recurso. Solo cuando el prompt engineering más RAG se han agotado genuinamente y el problema es conductual. Lo que no corrige es falta de conocimiento, que es trabajo de RAG, ni formato de salida deficiente, que es trabajo del prompt engineering.
La decisión de hacer fine-tuning — Las señales genuinas
Señal 1: el prompt engineering se ha agotado genuinamente. Has invertido 40 o más horas en prompt engineering. El modelo entiende la tarea perfectamente pero comete consistentemente los mismos errores de razonamiento. El problema es conductual: cómo piensa el modelo, no lo que sabe.
Señal 2: el costo de inferencia es prohibitivo. Tus prompts son muy largos con ejemplos few-shot y contexto. El costo por token por solicitud es demasiado alto a escala. El fine-tuning reduce la longitud del prompt manteniendo el rendimiento.
Señal 3: los patrones de razonamiento del dominio necesitan cambiar. IA médica donde el modelo necesita razonar como un clínico. IA legal donde el modelo necesita razonar como un abogado. IA financiera donde el modelo necesita razonar como un cuant.
Señal 4: necesitas comportamiento consistente a través de miles de solicitudes. El prompt engineering puede variar ligeramente con cada solicitud. El fine-tuning produce outputs más consistentes.
Las señales incorrectas: el modelo no conoce nuestro producto significa RAG. Quieres que sea más inteligente significa primero prompt engineering. Fine-tuning se siente serio significa que es caro y lento.
La comparación de tiempos
Secuencia correcta: prompt engineering en 2 a 4 semanas, RAG en 2 a 4 semanas si es necesario, fine-tuning en 8 a 16 semanas si es necesario. Peor caso total: 24 semanas.
Secuencia incorrecta: fine-tuning primero en 8 a 16 semanas más entre $5,000 y $50,000 o más, descubrir que no resolvió el problema, luego añadir RAG en 2 a 4 semanas. Peor caso total: 24 semanas o más más $50,000 o más desperdiciados.
Antes de gastar $5,000 en fine-tuning, invierte 40 horas en prompt engineering. Si no estás dispuesto a invertir esas 40 horas, no estás listo para hacer fine-tuning.