AI Bot Search

Chat Generative Pre-Trained Transformer, gewoonlijk ChatGPT genoemd, is een chatbot die in november 2022 door OpenAI is gelanceerd. Hij is gebouwd bovenop OpenAI's GPT-3-familie van grote taalmodellen en is verfijnd (een benadering om leren over te dragen) met zowel begeleide als versterkende leertechnieken.

ChatGPT werd op 30 november 2022 als prototype gelanceerd en trok al snel de aandacht vanwege de gedetailleerde reacties en duidelijke antwoorden in vele kennisdomeinen. De ongelijke feitelijke nauwkeurigheid werd geïdentificeerd als een belangrijk nadeel. Na de release van ChatGPT werd OpenAI gewaardeerd op $ 29 miljard

Opleiding

ChatGPT is verfijnd bovenop GPT-3.5 met behulp van begeleid leren en versterkend leren. Beide benaderingen maakten gebruik van menselijke trainers om de prestaties van het model te verbeteren. In het geval van begeleid leren werd het model voorzien van gesprekken waarin de trainers aan beide kanten speelden: de gebruiker en de AI-assistent. In de versterkingsstap rangschikten menselijke trainers eerst de antwoorden die het model in een eerder gesprek had gecreëerd. Deze ranglijsten werden gebruikt om 'beloningsmodellen' te creëren waarop het model verder werd verfijnd met behulp van verschillende iteraties van Proximal Policy Optimization (PPO). Algoritmen voor proximale beleidsoptimalisatie bieden een kosteneffectief voordeel voor algoritmen voor optimalisatie van regiobeleid; ze maken veel van de rekenkundig dure bewerkingen teniet met snellere prestaties. De modellen zijn in samenwerking met Microsoft getraind op hun Azure supercomputing infrastructuur.

Daarnaast blijft OpenAI gegevens verzamelen van ChatGPT-gebruikers die kunnen worden gebruikt om ChatGPT verder te trainen en te verfijnen. Gebruikers mogen de reacties die ze van ChatGPT ontvangen omhoog of omlaag stemmen; bij upvoten of downvoten kunnen ze ook een tekstveld invullen met aanvullende feedback.