Tips OpenAI ChatGPT

ChatGPT는 때때로 그럴듯하게 들리지만 부정확하거나 무의미한 답변을 작성합니다. 다음과 같은 이유로 이 문제를 해결하는 것은 어렵습니다. (1) RL 훈련 중에는 현재 진실의 출처가 없습니다. (2) 더 신중하도록 모델을 훈련하면 올바르게 대답할 수 있는 질문을 거부합니다. 그리고 (3) 이상적인 대답은 인간 시연자가 아는 것이 아니라 모델이 알고 있는 것에 달려 있기 때문에 지도 교육은 모델을 오도합니다.

ChatGPT는 입력 문구를 수정하거나 동일한 프롬프트를 여러 번 시도하는 데 민감합니다. 예를 들어, 질문의 한 문구가 주어지면 모델은 답을 모른다고 주장할 수 있지만 약간의 문구를 바꾸면 올바르게 대답할 수 있습니다.

이 모델은 종종 지나치게 장황하고 OpenAI에서 학습한 언어 모델이라고 다시 언급하는 등 특정 문구를 과도하게 사용합니다. 이러한 문제는 교육 데이터의 편향(트레이너는 더 포괄적으로 보이는 더 긴 답변을 선호함)과 잘 알려진 과도한 최적화 문제에서 발생합니다.