Notícias sobre óptica e fotônica

May 06, 2023

Hannah Lanford

Gerd Kortemeyer

O que significa para os educadores se um chatbot de IA pode passar em uma aula de física? Intrigado com o debate sobre grandes modelos de linguagem no mundo acadêmico, Gerd Kortemeyer, agora diretor de desenvolvimento educacional e tecnologia da ETH Zurique, na Suíça, decidiu testar o ChatGPT — literalmente. Ele relata que, com base em suas respostas a tarefas de casa e exames reais para um curso de física baseado em cálculo, o GPT-3.5 teria de fato conseguido uma nota (quase) de aprovação (Phys. Rev. Phys. Educ. Res., doi: 10.1103/ PhysRevPhysEducRes.19.010132).

Para alguns, esse resultado pode causar preocupação com a integridade acadêmica. Mas Kortemeyer, que ensinou física introdutória nos Estados Unidos por muitos anos, não está particularmente preocupado com o potencial da IA ​​para permitir a trapaça. Em vez disso, diz ele, levanta questões sobre como estamos realmente ensinando e avaliando os alunos de física. OPN conversou com Kortemeyer sobre seus pensamentos sobre o futuro do ensino de física e GPT, e as habilidades "inerentemente humanas" que ele espera transmitir em suas aulas.

Gerd Kortemeyer: Eu não deveria ter achado surpreendente, mas inicialmente achei, o quão próximos os erros do bot eram dos erros que os alunos reais cometem. Eu não deveria estar surpreso porque não sei exatamente com que corpo de texto ele foi treinado - pode até conter alguns fóruns de discussão sobre física.

Mas fiquei surpreso que algo que nada mais é do que um mecanismo probabilístico de autocompletar, basicamente correspondência de padrões, imitaria o comportamento dos alunos. Isso me faz questionar o que temos testado todo esse tempo.

Estamos realmente testando a correspondência de padrões? Estamos dando notas de física com base na correspondência de padrões, se tal algoritmo pode funcionar bem?

Se um aluno for treinado para essas avaliações padronizadas, ele se transformará em um pequeno robô. Você basicamente treinou essas crianças para fazerem tão bem quanto uma máquina.

A OpenAI publicou um artigo mostrando como o GPT se sai em avaliações padronizadas. Para o ACT, SAT, todos esses - termina nos percentis superiores. Isso significa que, se um aluno for treinado para essas avaliações padronizadas, ele se transformará em um pequeno robô. Você basicamente treinou essas crianças para fazerem tão bem quanto uma máquina. E isso me assusta.

A nota nos cursos introdutórios de física também é baseada em avaliações muito padronizadas: exames, trabalhos de casa, projetos de programação e questões de clicker. Portanto, não deveria estar tão surpreso com a aprovação do ChatGPT, porque, no final, resolver esses problemas introdutórios de física é algo muito algorítmico.

Bem, os alunos ainda precisam ser capazes de resolver esses problemas. Se você quiser fazer qualquer tipo de física avançada, todos esses conceitos básicos como as leis de Newton, leis de circuito e assim por diante, você precisa ter esse conhecimento prático bem no fundo da sua mente. Porque se você não conseguir extrair esse conhecimento imediatamente, não será capaz de avançar na física. Portanto, embora a IA possa fazer a física básica, preciso ser capaz de avaliar se os alunos também podem fazer isso. E as ferramentas de IA com certeza vão falhar em qualquer coisa que seja física realmente avançada.

Portanto, ainda precisamos avaliar essas coisas, mas não apenas. À medida que a inteligência artificial melhora, também precisamos nos concentrar nas habilidades que são inerentemente humanas. O que é a inteligência humana? O que é a criatividade humana? Em minhas aulas, sempre procuro ensinar um pouco mais do que apenas memorizar fatos. Quero que as pessoas tenham curiosidade sobre física, pensem criticamente, apliquem esses princípios a situações cotidianas. Eu quero ter todos esses tipos de processos metacognitivos em execução.

Digamos que eu dê um problema de lição de casa e, no final, sua resposta seja que um carro está se movendo a 4.000 milhas por hora. Como humano, você olha para isso e diz: "Provavelmente são 40 milhas por hora. Vamos voltar. O que eu fiz aqui?" Os humanos têm a capacidade de perguntar: isso é realista?

Não posso dizer nunca, mas a inteligência artificial está longe de descobrir algo novo. Porque não se questiona. Não questiona a natureza.