AI Bot Search

一般に ChatGPT と呼ばれる Chat Generative Pre-Trained Transformer は、2022 年 11 月に OpenAI によって開始されたチャットボットです。大規模な言語モデルの OpenAI の GPT-3 ファミリーの上に構築され、微調整されています (転移学習へのアプローチ)。教師あり学習と強化学習の両方の手法。

ChatGPT は 2022 年 11 月 30 日にプロトタイプとして開始され、多くの知識領域にわたる詳細な応答と明確な回答ですぐに注目を集めました。その不均一な事実の正確さは、重大な欠点として特定されました。 ChatGPT のリリース後、OpenAI は 290 億ドルと評価されました

トレーニング

ChatGPT は、教師あり学習と強化学習を使用して、GPT-3.5 の上で微調整されました。どちらのアプローチも、人間のトレーナーを使用してモデルのパフォーマンスを向上させました。教師あり学習の場合、モデルには、トレーナーがユーザーと AI アシスタントの両方を演じる会話が提供されました。強化ステップでは、まず人間のトレーナーが、モデルが以前の会話で作成した応答をランク付けしました。これらのランキングは、Proximal Policy Optimization (PPO) を数回繰り返してモデルをさらに微調整した「報酬モデル」を作成するために使用されました。近接ポリシー最適化アルゴリズムは、信頼領域ポリシー最適化アルゴリズムに費用対効果の高い利点をもたらします。より高速なパフォーマンスで、計算コストの高い操作の多くを無効にします。モデルは、Azure スーパーコンピューティング インフラストラクチャで Microsoft と共同でトレーニングされました。

さらに、OpenAI は、ChatGPT のさらなるトレーニングと微調整に使用できる ChatGPT ユーザーからのデータを引き続き収集します。ユーザーは、ChatGPT から受け取った応答に賛成票または反対票を投じることができます。賛成票または反対票を投じると、テキスト フィールドに追加のフィードバックを入力することもできます。