Este artículo desafía la visión común de la ingeniería de prompts como una tarea de escritura única. En su lugar, presenta un enfoque disciplinado e iterativo: muestreo de prompts para explorar la distribución de respuestas del modelo, pruebas A/B para comparar variantes de prompts y evaluación automatizada para medir la calidad a escala. El autor explica que los buenos prompts activan la distribución correcta en el modelo y advierte que la sobreingeniería de reglas puede hacer que los modelos sigan reglas mecánicamente en lugar de entrar en el estado correcto. Para modelos agentivos fuertes, un enfoque más ligero suele ser más efectivo. El marco incluye técnicas para muestrear prompts y descubrir qué puede hacer el modelo y si el camino actual es correcto. Esta metodología basada en datos es esencial para equipos que construyen aplicaciones LLM de producción donde la calidad del prompt impacta directamente la experiencia del usuario y los resultados comerciales.
Una metodología sistemática para la ingeniería de prompts como un proceso iterativo y basado en datos, que cubre el muestreo de prompts, pruebas A/B y evaluación automatizada.