Cet article remet en question la vision courante du prompt engineering comme une tâche d'écriture unique. Il présente plutôt une approche disciplinée et itérative : l'échantillonnage des invites pour explorer la distribution des réponses du modèle, les tests A/B pour comparer les variantes d'invites, et l'évaluation automatisée pour mesurer la qualité à grande échelle. L'auteur explique que les bonnes invites activent la distribution correcte dans le modèle et prévient que la sur-ingénierie des règles peut amener les modèles à suivre les règles mécaniquement plutôt qu'à entrer dans le bon état. Pour les modèles agentiques forts, une approche plus légère est souvent plus efficace. Le cadre comprend des techniques d'échantillonnage des invites pour découvrir ce que le modèle peut faire et si le chemin actuel est correct. Cette méthodologie axée sur les données est essentielle pour les équipes construisant des applications LLM de production où la qualité des invites impacte directement l'expérience utilisateur et les résultats commerciaux.
Une méthodologie systématique pour le prompt engineering en tant que processus itératif et axé sur les données, couvrant l'échantillonnage des invites, les tests A/B et l'évaluation automatisée.