Número especial – Como funciona o ChatGPT?

Neste curto texto, o leitor poderá encontrar o seguinte:

(i) uma introdução muito simples e intuitiva, com recurso apenas a aritmética elementar, aos modelos matemáticos que estão na base do funcionamento das redes neuronais artificiais,

(ii) uma introdução aos modelos de Processamento de Linguagem Natural (PLN) que estão na base do funcionamento dos chatbots (GPT, Bard e outros). Será possível construir uma máquina que consiga ler e escrever em linguagem natural?

Finalmente

(iii) discute-se, de forma muito simplificada, a arquitetura dos transformadores que permitem, com notável eficácia, modelar linguagem natural. Discute-se, com especial ênfase e detalhe, os chamados módulos de auto atenção, que são os módulos principais utilizados nos transformadores.

Finalmente, no Apêndice, indicamos as definições e operações básicas com vetores e matrizes, ilustradas com exemplos concretos, que são usadas neste texto.

O objetivo é, pois, explicar, de forma muito simplificada, o funcionamento de um chatbot como, por exemplo, o Chat GPT.