Historinha alucinada. Parte 1
No relatório de estágio de um aluno muito bom aparecem descritos vários momentos de uso de Kahoot pela professora observada que ensina línguas estrangeiras.
Ótimo. Sugeri para o aluno procurar e mencionar alguma referência sobre o uso de Kahoot no ensino de línguas estrangeiras. Sei que existem muitas, porque esse é um tema que conheço bem, mas decidi não dar as referências diretamente e incentivar o letramento acadêmico dele.
Na segunda versão do relatório ele mencionou um autor acompanhado com esta referência que aparece na imagem, mas pude verificar que embora bastante realista, era uma referência falsa e escrevi para o aluno o comentário destacado em amarelo (ver Foto 1).
Observação: Se algum leitor ficou com dúvida pode conferir diretamente esse volume e número da revista neste link ou utilizar o Google acadêmico procurando pelo título específico entre aspas ou cruzando título e autor.Encontraram esse texto?
Historinha alucinada. Parte 2
Quando fui conferir esse autor e referência encontrei que existe um autor de igual sobrenome e com um artigo fundamental e muito citado, mas com um título apenas parecido. A IA que o aluno utilizou misturou uma coisa com outra e sugeriu uma referência que parece real. Dito de outra forma, foi uma referência inventada pela IA. Podem var nas Fotos 2 e 3 o artigo parecido.
mas podem ver que esse não é o texto citado pelo aluno (que não existe).
Historinha alucinada. Parte 3
Se conferimos o artigo real mais parecido com a referência artificial e usamos a estratégia de perguntar ao Google acadêmico quem o cita, encontraremos que esse texto mostrado acima foi citado 1366 vezes (ver seta vermelha na imagem inferior). Observem que no Google acadêmico podemos ordenar as citações pelas mais recentes (padrão) ou por data (ver seta azul). Podemos escolher artigos apenas em português (ver seta amarela) e existe a opção de escolher copiar a referência de uma forma bastante aproximada com o que a norma NBR 6023 da ABNT exige (depois é só copiar e acrescentar o link para o artigo original) (seta lilás).
(ver Foto 4)
Moral da história
Não confiem totalmente na IA generalista* e verifiquem sempre todas as referências encontradas, ainda parecendo reais ou até conhecidas.
O problema que acabei de mostrar sei que não é novidade para muitos. O fenômeno intrínseco das alucinações da IA generativa com grandes modelos de linguagem (LLM) é bem conhecido. Eu mesmo tenho comentado em várias ocasiões neste mesmo blog e em outros sobre o tema das alucinações, mas o que achei curioso agora é que até tinha um DOI. Tomei o trabalho de ver para onde ia esse DOI e simplesmente remete para outro trabalho de um autor bem conhecido, mas bem diferente do que estava procurando (link). Aí está para mim a novidade. É uma grande montagem sofisticada, uma colcha de retalhos até com DOI que dificulta a verificação, porque a referência é parcialmente real.
Com este comentário quero chamar a atenção dos docentes para reforçar o letramento acadêmico e estratégias de
buscas de informação acadêmica dos alunos nossos como a que mostrei parcialmente na terceira parte acima. Não apenas trabalhar o
letramento com IAgen, também necessário, mas voltar a nossa atenção para
o letramento acadêmico "convencional" com recursos que já conhecemos,
como o Google acadêmico e as estratégias corretas para procurar
informação e verificar as citações (fazer a checagem).
Sinto que estamos perdendo mais tempo agora, se comparamos com o periodo pré-pandêmico, tendo que verificar as citações e autores dos textos escolares e acadêmicos que chegam até nossas mãos.
O problema aqui relatado foi com um trabalho de um aluno de graduação, mas fiz uma pesquisa informal tentando saber a causa de problemas como esse e o que encontrei me levou para o conhecimento de um cenário preocupante com as novas potencialidades da IA alimentando práticas controversas. Por exemplo, os LLM conseguem inventar pesquisas científicas completas (sem base real), com citações e tudo o que precisar (White; Harrer, 2025) e os DOI podem ser utilizados em publicações fake (Martín-Martín; López-Cózar, preprint 2025). A industria de trabalhos acadêmicos fake é enorme.
Por isso é tão importante no âmbito docente dedicar esforços para disseminar os alertas, checklists e guias de trabalho como foi feito neste Research Guide preparado pelos bibliotecários da Universidade de Waterloo mostrando que as referências geradas podem ser falsas (link) .
* Uma IA generativa "generalista" é aquela destinada para propósitos gerais. São aquelas que geralmente tem uma orientação na tela inicial tipo "Pergunte-me qualquer coisa". Uma IA treinada para funções específicas pode ter resultados melhores.
Referências
JOELVING, Frederik; LABBÉ, Cyril; CABANAC, Guillaume. Fake papers are contaminating the world’s scientific literature, fueling a corrupt industry and slowing legitimate lifesaving medical research. The Conversation, 29 jan. 2025.
https://theconversation.com/fake-papers-are-contaminating-the-worlds-scientific-literature-fueling-a-corrupt-industry-and-slowing-legitimate-lifesaving-medical-research-246224
MARTÍN-MARTÍN, Alberto; LÓPEZ-CÓZAR, Emilio Delgado. Invasion of the journal snatchers: How indexed journals are falling into questionable hands. Zenodo, January 29, 2025. https://zenodo.org/records/14766415 [acesso a partir da menção em Retraction Watch]
UNIVERSITY OF WATERLOO. ChatGPT and Generative Artificial Intelligence (AI): Incorrect bibliographic references. Research Guide. Last Updated: May 12, 2025.
https://subjectguides.uwaterloo.ca/chatgpt_generative_ai/incorrectbibreferences
WHITLE, Jon; HARRER, Stefan. AI can be a powerful tool for scientists but it can also fuel research misconduct. Alliance for Science, March 23, 2025. https://allianceforscience.org/blog/2025/03/ai-can-be-a-powerful-tool-for-scientists-but-it-can-also-fuel-research-misconduct/
