O ChatGPT pode ser visto como a mais recente encarnação de modelo da grande família de grandes modelos de linguagem, também chamados de modelos fundacionais. Estes modelos resultam da combinação de dois factores importantes: a utilização de uma família de arquitecturas de redes neuronais artificiais (transformadores ou transformers, em inglês) e a aplicação de uma metodologia que consiste em treinar estas arquitecturas com grandes volumes de dados extraídos da Internet. Alguns destes modelos são treinados também com imagens, permitindo associar textos e imagens e executar tarefas relacionadas, tais como gerar uma imagem a partir de um texto.
(..)
Um dos maiores destes modelos, o GPT-3, disponibilizado em 2020, foi treinado em textos que um ser humano demoraria 5000 anos a ler, se lesse durante 24 horas por dia. O GPT-3 (Generative Pre-Trained Transformer), o terceiro da sua linhagem, é usado pelo ChatGPT e foi treinado para prever a próxima palavra numa sequência de palavras, uma capacidade que lhe permite, por exemplo, responder a perguntas, completar textos ou elaborar artigos. Dada uma sequência de palavras, o GPT-3 consegue adivinhar quais as palavras mais prováveis que se seguem e, escolhendo uma destas palavras, pode gerar textos longos, simplesmente olhando para as palavras anteriores e prevendo as próximas.
Sem comentários:
Enviar um comentário