Tips OpenAI ChatGPT

ChatGPT bazen akla yatkın görünen ancak yanlış veya anlamsız cevaplar yazar. Bu sorunu çözmek zordur, çünkü: (1) RL eğitimi sırasında, şu anda gerçeğin kaynağı yoktur; (2) modeli daha temkinli olacak şekilde eğitmek, modelin doğru cevaplayabileceği soruları reddetmesine neden olur; ve (3) denetimli eğitim modeli yanlış yönlendirir çünkü ideal cevap, insan göstericinin bildiklerinden çok modelin ne bildiğine bağlıdır.

ChatGPT, giriş ifadesinde yapılan ince ayarlara veya aynı istemin birden çok kez denenmesine karşı hassastır. Örneğin, bir soru cümlesi verildiğinde, model cevabı bilmediğini iddia edebilir, ancak biraz yeniden ifade edildiğinde doğru cevap verebilir.

Model genellikle aşırı derecede ayrıntılıdır ve OpenAI tarafından eğitilmiş bir dil modeli olduğunu yeniden belirtmek gibi belirli ifadeleri aşırı kullanır. Bu sorunlar, eğitim verilerindeki önyargılardan (eğitmenler daha kapsamlı görünen daha uzun yanıtları tercih eder) ve iyi bilinen aşırı optimizasyon sorunlarından kaynaklanır.