Análise dos efeitos do idioma na geração automática de respostas por aplicações de LLM

Abstract

Atualmente os modelos grandes de linguagem (LLM) conseguem resolver com sucesso problemas tipicamente utilizados em disciplinas introdutórias de Computação (CS1). No entanto, de modo geral os estudos consideraram problemas e prompts especificados em inglês. O objetivo deste trabalho é avaliar os efeitos dos idiomas português e inglês utilizados na especificação do problema para a geração automática de respostas em problemas aplicáveis ao contexto de disciplinas de introdução à programação (CS1). Desta forma, observa-se que a taxa de acerto para o ChatGPT e Bard são elevadas, tanto para problemas em português ou inglês, enquanto o HuggingChat não alcançou bons resultados. Quanto à estrutura do prompt, nenhuma das aplicações LLM conseguiu acertar a resposta apenas com o enunciado. No entanto, ao fornecer mais informações, como formatação, dicas e casos de teste, geralmente se observa um desempenho melhor do ChatGPT e Bard.