AI Bot Search

Chat Generative Pre-Trained Transformer, powszechnie nazywany ChatGPT, to chatbot uruchomiony przez OpenAI w listopadzie 2022 r. Jest zbudowany na bazie rodziny dużych modeli językowych OpenAI GPT-3 i jest dopracowany (podejście do transferu uczenia się) z techniki uczenia nadzorowanego i wzmacniającego.

ChatGPT został uruchomiony jako prototyp 30 listopada 2022 r. i szybko zwrócił na siebie uwagę dzięki szczegółowym odpowiedziom i precyzyjnym odpowiedziom z wielu dziedzin wiedzy. Jego nierównomierna dokładność merytoryczna została uznana za istotną wadę. Po wydaniu ChatGPT OpenAI wyceniono na 29 miliardów dolarów

Szkolenie

ChatGPT został dopracowany w stosunku do GPT-3.5 przy użyciu uczenia nadzorowanego oraz uczenia się przez wzmacnianie. W obu podejściach wykorzystano ludzkich trenerów, aby poprawić wydajność modelu. W przypadku uczenia nadzorowanego model wyposażono w rozmowy, w których trenerzy odgrywali dwie strony: użytkownika i asystenta AI. Na etapie wzmocnienia trenerzy jako pierwsi uszeregowali odpowiedzi wygenerowane przez model w poprzedniej rozmowie. Rankingi te zostały wykorzystane do stworzenia „modeli nagród”, w których model został dopracowany przy użyciu kilku iteracji Proximal Policy Optimization (PPO). Algorytmy optymalizacji polityki proksymalnej stanowią opłacalną korzyść dla algorytmów optymalizacji polityki regionalnej zaufania; negują wiele kosztownych obliczeniowo operacji z większą wydajnością. Modele zostały przeszkolone we współpracy z firmą Microsoft w ich infrastrukturze superkomputerowej Azure.

Ponadto OpenAI nadal gromadzi dane od użytkowników ChatGPT, które można wykorzystać do dalszego szkolenia i dostrajania ChatGPT. Użytkownicy mogą głosować za lub przeciw odpowiedziom, które otrzymują z ChatGPT; głosując za lub przeciw, mogą również wypełnić pole tekstowe dodatkowymi opiniami.