Estudo Experimental sobre o Uso de LLMs na Solução de Questões de Redes de Computadores
DOI:
https://doi.org/10.22456/1679-1916.153534Palavras-chave:
Modelos de Linguagem de Grande Escala, Redes de Computadores, Desempenho de Modelos, Tecnologia EducacionalResumo
Este estudo analisou o desempenho de Modelos de Linguagem de Grande Escala (LLMs) na resolução de questões sobre redes de computadores, considerando o nível de dificuldade das perguntas e o tipo de prompt utilizado. Foram avaliadas seis LLMs por meio de 30 questões categorizadas em três níveis, com a utilização de um prompt simples e outro mais elaborado. Os resultados revelaram diferenças de comportamento entre os modelos, sendo o Sabiá o único com desempenho significativamente inferior aos demais. Indicaram, também, que a complexidade das questões impacta o desempenho mais do que o tipo de prompt. Conclui-se que, embora promissoras, as LLMs requerem uso criterioso em contextos educacionais técnicos.
Downloads
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Os autores dos artigos publicados na RENOTE retém os direitos autorais de suas obras e autorizam o CINTED/UFRGS a publicá-las de acordo com os termos da licença Creative Commons Attribution-NonComercial 4.0 International Public License (CC BY-NC-SA 4.0). Dessa forma, fica permitido aos autores ou a terceiros a reprodução ou distribuição, em parte ou no todo, de material extraído dessas obras, de forma verbatim, adaptada ou remixada, bem como a criação ou produção a partir do conteúdo dessas obras, para fins não comerciais, desde que sejam atribuídos os devidos créditos às criações originais. Cópias das obras não devem ser utilizadas de nenhum modo que implique o endosso da UFRGS. Sendo assim, os autores que publicam nesta revista concordam com os seguintes termos:- Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
- Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
- Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado (Veja O Efeito do Acesso Livre).
