Tips OpenAI ChatGPT

ChatGPT écrit parfois des réponses plausibles mais incorrectes ou absurdes. Résoudre ce problème est difficile, car : (1) pendant la formation RL, il n'y a actuellement aucune source de vérité ; (2) entraîner le modèle à être plus prudent l'amène à refuser les questions auxquelles il peut répondre correctement; et (3) la formation supervisée induit le modèle en erreur car la réponse idéale dépend de ce que sait le modèle, plutôt que de ce que sait le démonstrateur humain.

ChatGPT est sensible aux ajustements de la formulation d'entrée ou à la tentative de la même invite plusieurs fois. Par exemple, étant donné une formulation d'une question, le modèle peut prétendre ne pas connaître la réponse, mais avec une légère reformulation, peut répondre correctement.

Le modèle est souvent excessivement verbeux et abuse de certaines phrases, comme répéter qu'il s'agit d'un modèle de langage formé par OpenAI. Ces problèmes proviennent de biais dans les données de formation (les formateurs préfèrent des réponses plus longues qui semblent plus complètes) et de problèmes de sur-optimisation bien connus.