PPO est un algorithme d'apprentissage par renforcement qui optimise la politique d'un agent en bornant la taille des mises à jour pour éviter des changements dangereusement grands. C'est l'algorithme derrière le RLHF utilisé pour entraîner ChatGPT et Claude à être des assistants utiles : un modèle de récompense note les réponses, et PPO ajuste le modèle de langage pour produire des sorties mieux notées. PPO est populaire car il est relativement simple à implémenter.