Wikipédia ou ChatGPT? Minha opinião sobre uma conversa com o ChatGPT

 Na virada do ano e primeiros meses de 2023 o mundo ficou fascinado com o ChatGPT que se tornou rapidamente um fenômeno de audiência.

Como tantas pessoas, eu também testei o chatbot da empresa Open AI.

Uma das primeiras "conversas" que tive com ele foi para ver se conseguia ajuda rápida em uma disciplina que estava preparando nesse momento sobre como fazer pesquisas em línguística.

 

Como podem ver na imagem da tela inicial, antes de iniciar a conversa aparecem exemplos de uso e também algumas das potencialidades e limitações do ChatGPT. Mais adiante vou focalizar nas limitações.

Esta foi a primeira parte da conversa. 

Pergunta minha:

Qual é a importância da fazer pesquisa na linguística?

Resposta do ChatGPT:

A pesquisa em linguística é importante porque permite compreender como a linguagem funciona e como é usada na comunicação humana. Ajuda a explicar questões como a aquisição da linguagem, a variação linguística, a mudança ao longo do tempo e a relação entre a linguagem e a cognição. Além disso, a pesquisa em linguística pode ter aplicações práticas, como na melhoria do ensino de línguas e na resolução de problemas de comunicação.

Pergunta minha:

Por que os professores de línguas devem fazer pesquisa?

Resposta do ChatGPT:

Os professores de línguas podem se beneficiar pesquisando porque isso pode ajudá-los a:

1. Compreender melhor o processo de aquisição da linguagem: as pesquisas em linguística podem fornecer informações valiosas sobre como as pessoas aprendem uma língua, o que pode ajudar os professores a desenvolver estratégias de ensino mais eficazes.

2. Ficar atualizado com as últimas tendências e descobertas na área: a linguística é uma disciplina em constante evolução, e fazer pesquisa pode ajudar os professores a ficar por dentro das últimas descobertas e tendências.

3. Melhorar sua prática de ensino: ao conduzir pesquisas, os professores de línguas podem identificar problemas e desafios comuns enfrentados por seus alunos, o que pode ajudá-los a melhorar sua prática de ensino.

4. Contribuir para a comunidade acadêmica: ao participar da pesquisa, os professores podem contribuir para o avanço do conhecimento na área de linguística e compartilhar suas descobertas com outros profissionais da área.

Pergunta minha:

Quais são os tipos de pesquisa mais usados na linguística?

Resposta do ChatGPT:

Na linguística, existem vários tipos de pesquisa, incluindo:

1. Pesquisa quantitativa: enfoca na coleta e análise de dados quantitativos, como a frequência de uso de determinadas palavras ou expressões em um corpus de linguagem.

2. Pesquisa qualitativa: enfoca na coleta e análise de dados qualitativos, como entrevistas com falantes nativos ou análise de discurso.

3. Estudos experimentais: envolvem a manipulação de variáveis independentes para testar hipóteses sobre a linguagem.

4. Estudos de caso: enfocam em uma ou poucas pessoas ou comunidades linguísticas, coletando e analisando dados detalhados sobre suas práticas linguísticas.

5. Pesquisa baseada em corpus: enfoca na coleta e análise de grandes quantidades de dados linguísticos, como corpus de linguagem, para investigar questões linguísticas específicas.

Estes são apenas alguns dos tipos de pesquisa comumente usados na linguística, e muitas vezes, as pesquisas são combinações desses tipos ou utilizam abordagens múltiplas.

Pergunta minha:

Apenas esses tipos?

Resposta do ChatGPT:

Existem outros tipos de pesquisa na linguística, incluindo:

6. Análise de variabilidade linguística: investiga como a linguagem varia em diferentes contextos sociais, geográficos, históricos e outros.

7. Estudos de aquisição da linguagem: investigam como as crianças adquirem a linguagem, incluindo as primeiras palavras e frases, a gramática e a prosódia.

8. Análise da mudança linguística: investiga como a linguagem muda ao longo do tempo e as causas dessas mudanças.

9. Análise da relação entre linguagem e cognição: investiga como a linguagem está relacionada à percepção, memória, pensamento e outras funções cognitivas.

10. Estudos sobre linguagem e tecnologia: investigam como a tecnologia está influenciando a linguagem, incluindo a comunicação via mensagens de texto, voz e internet.

Estes são alguns dos muitos tipos de pesquisa na linguística. A escolha do tipo de pesquisa depende do objetivo da pesquisa e da pergunta a ser respondida.

Pergunta minha:

E na sociolinguística?

Resposta do ChatGPT:

Na sociolinguística, alguns dos tipos de pesquisa incluem:

1. Estudos de variabilidade linguística: investigam como a linguagem varia em diferentes grupos sociais, como idade, gênero, raça/etnia, classe social e outros.

2. Análise do uso da linguagem em contextos sociais: investigam como a linguagem é usada em diferentes contextos sociais, incluindo conversas, discursos públicos, mídia e outros.

3. Estudos de aquisição da linguagem: investigam como as crianças adquirem a linguagem em diferentes contextos sociais e como isso afeta a sua identidade linguística e social.

4. Estudos sobre a relação entre linguagem e poder: investigam como a linguagem pode ser usada para exercer poder ou influência em diferentes contextos sociais.

5. Estudos sobre a relação entre linguagem e identidade: investigam como a linguagem está relacionada à identidade pessoal e social, incluindo raça/etnia, gênero, classe social e outros.

Estes são apenas alguns dos tipos de pesquisa comumente usados na sociolinguística, e muitas vezes, as pesquisas são combinações desses tipos ou utilizam abordagens múltiplas. 

Pergunta minha:

E em relação com a pesquisa em sala de aula?

Resposta do ChatGPT:

Na pesquisa em sala de aula, alguns dos tipos de pesquisa incluem:

1.    Estudos de efetividade de programas de ensino: investigam se determinados programas de ensino, técnicas ou tecnologias têm um impacto positivo no aprendizado dos alunos.

2.    Estudos de motivação e engajamento dos alunos: investigam como a motivação e o engajamento dos alunos afetam o seu aprendizado e comportamento em sala de aula.

3.    Análise da interação professor-aluno: investigam como a interação entre os professores e os alunos afeta o aprendizado e o comportamento em sala de aula.

4.    Estudos de avaliação: investigam como diferentes tipos de avaliações afetam o aprendizado dos alunos, incluindo avaliações formais, informais e autoavaliações.

5.    Estudos de aprendizagem colaborativa: investigam como a aprendizagem colaborativa, incluindo trabalho em grupo e resolução de problemas em equipe, afeta o aprendizado dos alunos.

Estes são apenas alguns dos tipos de pesquisa comumente usados na pesquisa em sala de aula, e muitas vezes, as pesquisas são combinações desses tipos ou utilizam abordagens múltiplas. O objetivo da pesquisa em sala de aula é fornecer insights sobre como melhorar a educação e o aprendizado dos alunos.

Pergunta minha:

No caso da pesquisa no ensino de línguas com tecnologias quais são as linhas de pesquisa mais interessantes e recentes?

Resposta do ChatGPT:

Na pesquisa no ensino de línguas com tecnologias, algumas das linhas de pesquisa mais interessantes e recentes incluem:

1. Aprendizagem adaptativa: investiga como a tecnologia pode ser usada para personalizar a aprendizagem de acordo com as necessidades individuais dos alunos.

2. Gamificação: investiga como jogos e técnicas de gamificação podem ser usados para melhorar a motivação e o engajamento dos alunos no aprendizado de línguas.

3. Aprendizagem móvel: investiga como o uso de dispositivos móveis, como smartphones e tablets, pode ser usado para melhorar a aprendizagem de línguas.

4. Inteligência artificial e aprendizagem de línguas: investiga como a inteligência artificial e outras tecnologias avançadas podem ser usadas para melhorar a aprendizagem de línguas.

5. Aprendizagem por meio de interações virtuais: investiga como a tecnologia pode ser usada para criar interações virtuais entre os alunos e os professores, e como isso pode melhorar a aprendizagem de línguas.

Estas são apenas algumas das linhas de pesquisa mais recentes e interessantes na área de ensino de línguas com tecnologias, e as pesquisas muitas vezes combinam várias dessas abordagens ou utilizam tecnologias combinadas. O objetivo é encontrar maneiras eficazes de usar a tecnologia para melhorar a aprendizagem de línguas.

Em outro momento da conversa perguntei sobre recomendações para um TCC:

Pergunta minha:

Preciso pensar em um projeto de pesquisa para meu Trabalho de Conclusão de Curso (TCC) na área de ensino de espanhol para brasileiros. O que você me recomendaria?

Resposta do ChatGPT:

Se você está procurando uma ideia para o seu TCC na área de ensino de espanhol para brasileiros, algumas sugestões de projetos de pesquisa incluem:

1.  Análise das dificuldades encontradas pelos estudantes brasileiros na aprendizagem da língua espanhola: Nesse projeto, você pode explorar as dificuldades mais comuns encontradas pelos estudantes brasileiros na aprendizagem da língua espanhola, bem como as possíveis soluções e estratégias para superá-las.

2. Avaliação do uso de tecnologias no ensino de espanhol para brasileiros: Esse projeto pode analisar a efetividade das tecnologias, como jogos digitais, aplicativos móveis e vídeos, no ensino de espanhol para brasileiros.

3. Análise da efetividade de métodos pedagógicos diferenciados no ensino de espanhol para brasileiros: Você pode comparar a efetividade de diferentes métodos pedagógicos, como aprendizagem baseada em projetos, ensino interativo e aprendizagem baseada em grupo, no ensino de espanhol para brasileiros.

Estas são apenas algumas ideias para o seu projeto de TCC. É importante que você escolha um tópico que seja de seu interesse e que possa ser bem pesquisado. Certifique-se de que há suficiente material disponível para apoiar a sua pesquisa e lembre-se de sempre seguir as diretrizes do seu programa de graduação ao escolher um projeto.

Perfeito. Fiquei bastante satisfeito até esse momento da conversa. Foi um diálogo longo sobre vários temas que deu resultados interessantes. 

O chatbot conversou naturalmente comigo de acordo com minhas perguntas e me proporcionou rapidamente um conhecimento geral e muito bem articulado, com base nos textos com os quais foi treinado previamente.  Por exemplo, as informações acima, sem grandes mudanças, seria o que eu colocaria em uma apresentação geral de introdução da disciplina, isto é, me pouparia o trabalho de fazer essa síntese, mas a coisa começou a complicar quando perguntei a continuação sobre autores e trabalhos especificos.

O ChatGPT citou vários conhecidos, mas inventou outros e mencionou textos que não existem ou que não consegui verificar, mas da forma como foi apresentada a informação parecia que existissem realmente.

Aqui está um exemplo:

Pergunta minha:

Pode mencionar algum trabalho sobre IA no ensino de línguas estrangeiras?

Resposta do ChatGPT:

Há vários trabalhos importantes sobre o uso da Inteligência Artificial (IA) no ensino de línguas estrangeiras. Alguns dos trabalhos mais notáveis incluem:

"An Investigation of an Artificial Intelligence Tutor for Second Language Vocabulary Acquisition" de R. Xu, Y. Yang, e Z. Li (2017)
"The Impact of Artificial Intelligence on the Teaching of English as a Foreign Language: A Review of the Literature" de S.K. Pal, e B. Basu (2019)

"A Review of Intelligent Language Tutoring Systems for Second Language Acquisition" de J. P. McLaren e L. He (2007)

"The Future of Intelligent Tutoring Systems for Language Learning: A Review of the Literature" de X. Chen e Y. Liang (2011)

🤔  Como assim?

Aí chegamos no aspecto mais importante que queria chamar a atenção de vocês. A alucinação nas respostas.

Vocês conhecem esses trabalhos citados? Podem ser encontrados e lidos? Acho que não.

Vamos para outro exemplo negativo.

Eu perguntei sobre alguns linguistas aplicados brasileiros e as respostas foram pouco seguras. Na realidade o chatGPT estava inventando coisas para manter a conversa.

Este foi um dos resultados nessa parte:

Pergunta minha:

E trabalhos da Carla Coscarelli sobre leitura online, quais poderia recomendar?

Resposta do ChatGPT:

Carla Coscarelli é uma professora e pesquisadora renomada na área de leitura e compreensão de textos na língua estrangeira.

Alguns dos seus trabalhos mais recentes incluem:
1.    "Reading online in a foreign language: A critical review of the research" (2017)
2.    "Developing Online Reading Comprehension Skills in English as a Foreign Language" (2015)
3.    "The role of L1 and L2 in online reading" (2012)
4.    "Developing online reading comprehension: An experimental study" (2011)

Estes trabalhos exploram questões importantes relacionadas à leitura online em línguas estrangeiras, incluindo a influência da primeira língua na compreensão de textos online, o desenvolvimento de habilidades de compreensão de leitura online, e a análise crítica da pesquisa nesta área. Eles oferecem uma visão valiosa da pesquisa atual sobre leitura online em línguas estrangeiras e são amplamente citados e respeitados na comunidade acadêmica. 

Esses trabalhos que você mencionou de Carla Coscarelli são em inglês ou em português?

Os trabalhos que mencionei de Carla Coscarelli são em inglês.

Foi a resposta do ChatGPT. ☝️

+++++++++++++++++++++

O que posso concluir de tudo isto neste momento?

O ChatGPT é um modelo de linguagem natural, mas não é um modelo de conhecimento.  

Se fosse para comparar a Wikipédia com o ChatGPT considero que a Wikipédia é mais confiável, pois normalmente as entradas são verificadas e devem ser apoiadas em referências. O ChatGPT não faz isso....... ainda. 

Podem ver que digo isto como uma opinião baseada em poucas experiências como usuário. Também estou relativizando com um "ainda" porque os testes foram feito em janeiro e fevereiro de 2023, aproveitando que eu estava de férias, e tudo isto avança muito rapidamente.

A versão 4 do ChatGPT parece que é muito superior quando comparada às versões anteriores. Provavelmente as API para integração com outras ferramentas devem proporcionar um salto em qualidade reunindo em várias camadas a presença e valor da IA nas aplicações do dia a dia. Por exemplo, a Microsoft já incoporou o ChatGPT no Bing.

Em termos acadêmicos e de aprendizagem  várias questões me preocupam no uso que muito provavelmente será feito cada vez mais de ferramentas apoiadas na IA como esta. 

O mais importante. Se não sabemos se o ChatGPT está alucinando, ou seja inventando coisas, qual será a segurança ou confiabilidade que poderiamos ter, estudantes e professores, sobre os resultados dados nas perguntas feitas como as que apresentei?

Isso mesmo, o ChatGPT pode alucinar, como bem explica Anderson Rocha com outros exemplos em uma entrevista para Carlos Rydlewski do jornal Metrópoles. Em inglês basta fazer uma pesquisa com os termos ChatGPT hallucination.

Utilize o ChatGPT com cuidado e criatividade. Essa é a primeira recomendação geral que brindam Sabzalieva e Valentini em um documento recente da UNESCO/IESALC (2023) em inglês ou espanhol.

Nesse mesmo documento aparece um diagrama de fluxo interessante.

fonte da imagem: Tiulkanov (2023 apud SABZALIEVA; VALENTINI, 2023, p. 8).

Se para nós é difícil saber se o texto produzido é real e confiável ou não, como será para os alunos com menos conhecimentos nessas áreas?

Com base nas recomendações de vários autores (ATLAS, 2023; BAIDOO-ANU; OWUSU ANSAH, 2023; LO, 2023; SABZALIEVA; VALENTINI, 2023; SULLIVAN; KELLY; MCLAUGHLAN, 2023) é urgente colocar em pauta de discusão das universidades o uso da IA, somado ao letramento necessário para o trabalho com este tipo de sistemas, por exemplo, para saber como gerar prompts (ordens) eficaces, discutir os resultados gerados e cuidar a integridade acadêmica, entre muitas outras questões.

[...] isso demonstra a necessidade de mais pesquisas e discussões sobre as implicações das ferramentas de IA, incluindo uso ético, práticas inovadoras de ensino e aprendizagem e garantia de acesso equitativo a oportunidades educacionais. A medida que essas tecnologias continuam avançando, é importante que as universidades se adaptem e adotem o uso de ferramentas de IA de forma a apoiar o aprendizado dos alunos e prepará-los para os desafios de um mundo cada vez mais digital (SULLIVAN; KELLY; MCLAUGHLAN, 2023, p.7).

 

Agora bem. Esta situação me fez lembrar que algo parecido aconteceu quando apareceu e se popularizou o tradutor automático de Google. Nos inícios eu mostrava para os docentes que as traduções que ele era capaz de realizar eram pouco confiáveis, mas o que aconteceu depois?

 

Hoje, até os tradutores profissionais utilizam o tradutor de Google como uma ajuda nas traduções. 

 

Algo parecido deve acontecer com o ChatGPT e outras ferramentas da empresa Open AI ou de outras ferramentas de IA, assim que mais vale começar a pensar em pautas e procedimentos claros e ajustáveis para esta nova situação nas universidades e na educação em geral.

 

Referências

ATLAS, Stephen. ChatGPT for Higher Education and Professional Development: A Guide to Conversational AI, College of Business Faculty Publications [Preprint] 2023. https://digitalcommons.uri.edu/cba_facpubs/548

BAIDOO-ANU, David; OWUSU ANSAH, Leticia. Education in the Era of Generative Artificial Intelligence (AI): Understanding the Potential Benefits of ChatGPT in Promoting Teaching and Learning. SSRN, 4337484, January 25, 2023. https://dx.doi.org/10.2139/ssrn.4337484

LO, Chung Kwan. What Is the Impact of ChatGPT on Education? A Rapid Review of the Literature. Education Sciences, v. 13, n. 4, 410, 2023. https://doi.org/10.3390/educsci13040410

RYDLEWSKI, Carlos. ChatGPT: “Cuidado, ele alucina”, diz especialista. Metrópoles, 04/03/2023.  https://www.metropoles.com/negocios/chatgpt-cuidado-ele-alucina-diz-especialista

SABZALIEVA, Emma; VALENTINI, Arianna. ChatGPT and Artificial Intelligence in higher education. Quick start guide. UNESCO/IESALC, 2023.
https://unesdoc.unesco.org/ark:/48223/pf0000385146

SABZALIEVA, Emma; VALENTINI, Arianna. ChatGPT e inteligencia artificial en la educación superior: guía de inicio rápido. UNESCO/IESALC, 2023
https://unesdoc.unesco.org/ark:/48223/pf0000385146_spa

SULLIVAN, Miriam; KELLY, Andrew; MCLAUGHLAN, Paul. ChatGPT in higher education: Considerations for academic integrity and student learning. Journal of Applied Learning and Teaching, v. 6, n. 1, 2023. https://doi.org/10.37074/jalt.2023.6.1.17