Tips OpenAI ChatGPT

ChatGPT kadangkala menulis jawapan yang masuk akal tetapi tidak betul atau tidak masuk akal. Membetulkan isu ini adalah mencabar, kerana: (1) semasa latihan RL, pada masa ini tiada sumber kebenaran; (2) melatih model untuk lebih berhati-hati menyebabkan ia menolak soalan yang boleh dijawab dengan betul; dan (3) latihan yang diselia mengelirukan model kerana jawapan yang ideal bergantung pada apa yang diketahui model, dan bukannya apa yang diketahui oleh penunjuk perasaan manusia.

ChatGPT sensitif terhadap tweak pada frasa input atau mencuba gesaan yang sama beberapa kali. Sebagai contoh, diberikan satu frasa soalan, model boleh mendakwa tidak tahu jawapannya, tetapi diberi frasa semula yang sedikit, boleh menjawab dengan betul.

Model ini selalunya terlalu bertele-tele dan terlalu menggunakan frasa tertentu, seperti menyatakan semula bahawa ia adalah model bahasa yang dilatih oleh OpenAI. Isu ini timbul daripada berat sebelah dalam data latihan (jurulatih lebih suka jawapan yang lebih panjang yang kelihatan lebih komprehensif) dan isu pengoptimuman berlebihan yang terkenal.