AI Bot Search

Chat Generative Pre-Trained Transformer, обычно называемый ChatGPT, представляет собой чат-бот, запущенный OpenAI в ноябре 2022 года. Он построен на основе семейства больших языковых моделей OpenAI GPT-3 и точно настроен (подход к передаче обучения) с помощью методы контролируемого обучения и обучения с подкреплением.

ChatGPT был запущен в качестве прототипа 30 ноября 2022 года и быстро привлек внимание своими подробными и четкими ответами во многих областях знаний. Его неравномерная фактическая точность была определена как существенный недостаток. После выпуска ChatGPT OpenAI оценили в 29 миллиардов долларов.

Обучение

ChatGPT был настроен поверх GPT-3.5 с использованием контролируемого обучения, а также обучения с подкреплением. В обоих подходах для повышения производительности модели использовались инструкторы-люди. В случае обучения с учителем в модели были предусмотрены беседы, в которых тренеры играли обе стороны: пользователь и ИИ-помощник. На этапе подкрепления тренеры-люди сначала оценивали ответы, созданные моделью в предыдущем разговоре. Эти рейтинги использовались для создания «моделей вознаграждения», которые затем были доработаны с использованием нескольких итераций оптимизации проксимальной политики (PPO). Алгоритмы проксимальной оптимизации политик представляют собой рентабельное преимущество, позволяющее доверять алгоритмам оптимизации региональных политик; они сводят на нет многие вычислительно затратные операции с более высокой производительностью. Модели были обучены в сотрудничестве с Microsoft на их суперкомпьютерной инфраструктуре Azure.

Кроме того, OpenAI продолжает собирать данные от пользователей ChatGPT, которые можно использовать для дальнейшего обучения и тонкой настройки ChatGPT. Пользователям разрешено голосовать за или против ответов, которые они получают от ChatGPT; при голосовании за или против они также могут заполнить текстовое поле дополнительным отзывом.