AI Bot Search

Chat Generative Pre-Trained Transformer, comumente chamado de ChatGPT, é um chatbot lançado pela OpenAI em novembro de 2022. Ele é construído sobre a família GPT-3 da OpenAI de grandes modelos de linguagem e é ajustado (uma abordagem para transferência de aprendizado) com técnicas de aprendizado supervisionado e por reforço.

O ChatGPT foi lançado como protótipo em 30 de novembro de 2022 e rapidamente chamou a atenção por suas respostas detalhadas e articuladas em vários domínios do conhecimento. Sua precisão factual desigual foi identificada como uma desvantagem significativa. Após o lançamento do ChatGPT, a OpenAI foi avaliada em US$ 29 bilhões

Treinamento

O ChatGPT foi ajustado com base no GPT-3.5 usando aprendizado supervisionado e aprendizado por reforço. Ambas as abordagens usaram treinadores humanos para melhorar o desempenho do modelo. No caso da aprendizagem supervisionada, o modelo foi provido de conversas em que os treinadores jogavam dos dois lados: o usuário e o assistente de IA. Na etapa de reforço, os treinadores humanos primeiro classificaram as respostas que o modelo havia criado em uma conversa anterior. Essas classificações foram usadas para criar 'modelos de recompensa' nos quais o modelo foi aprimorado usando várias iterações de Proximal Policy Optimization (PPO). Os algoritmos Proximal Policy Optimization apresentam um benefício econômico para os algoritmos de otimização de política de região confiável; eles anulam muitas das operações computacionalmente caras com desempenho mais rápido. Os modelos foram treinados em colaboração com a Microsoft em sua infraestrutura de supercomputação do Azure.

Além disso, o OpenAI continua a coletar dados dos usuários do ChatGPT que podem ser usados ​​para treinar e ajustar ainda mais o ChatGPT. Os usuários podem votar a favor ou contra as respostas que recebem do ChatGPT; ao votar positivamente ou negativamente, eles também podem preencher um campo de texto com comentários adicionais.