L'optimisation de politique relative par groupe (GRPO) est un algorithme d'apprentissage par renforcement émergent qui étend PPO en exploitant l'estimation d'avantage basée sur des groupes. Cet article offre une analyse détaillée du code de GRPO telle qu'implémentée dans le framework OpenClaw-RL. L'auteur décompose les composants essentiels : comment GRPO regroupe les trajectoires, calcule les avantages par rapport aux références de groupe et met à jour les politiques de manière plus stable. Les différences clés avec PPO incluent l'utilisation d'une référence de niveau groupe au lieu d'une fonction de valeur, ce qui réduit la variance dans les gradients de politique. Pour les chercheurs et ingénieurs RL travaillant sur l'IA agentique, comprendre les mécanismes de GRPO est crucial pour construire des boucles d'entraînement plus stables et efficaces en termes d'échantillons.
Une analyse détaillée du code source de GRPO dans OpenClaw-RL, comparant avec PPO et expliquant l'estimation d'avantage par groupe.