Você se torna responsável por aquilo que gera: análise semântica e temporal de modelos de linguagem

Resumo

Este artigo apresenta um estudo experimental que investiga o impacto da temperatura na qualidade e no desempenho de Grandes Modelos de Linguagem (LLMs). Para isso, foram propostas duas questões inspiradas em O Pequeno Príncipe — uma de natureza interpretativa e outra objetiva — a fim de avaliar o comportamento dos modelos em tarefas abertas e fechadas. Quinze LLMs foram analisados sob cinco configurações distintas de temperatura, com base em métricas de similaridade de cosseno e tempo de inferência. Os resultados indicam que a temperatura influencia não apenas a variabilidade lexical, mas também a profundidade semântica das respostas. Modelos mais robustos demonstraram maior estabilidade em temperaturas elevadas, enquanto modelos menores apresentaram melhor desempenho em valores mais baixos. A faixa em torno de 0,5 revelou-se a mais equilibrada, proporcionando respostas coesas com boa eficiência, o que oferece subsídios para a escolha parametrizada de acordo com o tipo de tarefa textual.