Em média, o ChatGPT tirou um "C-plus", em uma escala de notas das escolas dos EUA, que vão de A (a mais alta) a F (a mais baixa), com subdivisões: [A+, A, A-], [B+, B, B-], [C+, C, C-], [D+, D, D-] e [F].
O ChatGPT obteve sua melhor nota, um B, na prova sobre legislação constitucional, que abordou federalismo e separação de poderes. Ficou em 36º lugar em um grupo de 40 estudantes (grupo que incluiu o ChatGPT).
Na prova de direito trabalhista, focada em benefícios a empregados, tirou um "B-minus". Se posicionou em 18º lugar, em um grupo de 19 estudantes.
Na prova de legislação tributária, sua nota foi um "C-minus", colocando-se em 66º lugar, em um grupo de 67 estudantes.
Na prova sobre atos ilícitos civis extracontratuais (torts), sua nota também foi um "C-minus", ficando em 75º lugar em um grupo de 75 estudantes.
O ChatGPT foi particularmente mal na parte de múltiplas escolhas das provas. Nessa parte, ele "bombou", disse ao site Insider e à agência Reuters o professor Jonathan Choi, que coordenou a aplicação do teste.
Seu pior desempenho foi em questões que envolviam cálculos matemáticos, na prova sobre tributação: foi comparável a de um estudante que resolve "chutar" todas as respostas de uma prova e tem 25% de probabilidade de acertos.
No entanto, se saiu melhor na parte das provas que incluiu questões sobre redação jurídica. Em alguns casos, sua redação foi comparável ou melhor que a de estudantes humanos, dentro do prazo limitado do exame, disse Choi.
"Sua redação jurídica foi tipicamente clara e bem elaborada, mostrando um bom entendimento das regras jurídicas básicas", ele disse. "Mas quando as respostas foram incorretas, foram dramaticamente incorretas, resultando nas piores notas da classe."
Segundo o professor, o ChatGPT teve dificuldades para identificar questões relevantes e aplicou apenas superficialmente regras a fatos, o que os estudantes fizeram melhor. Descreveu corretamente casos, mas deixou de fornecer análises mais profundas em questões essenciais.
Em defesa do ChatGPT
Para o professor Jonathan Choi, o ChatGPT merece um "desconto", porque ainda está em fase de aprendizagem. Afinal, o sistema é habilitado por inteligência artificial, adquirida através da tecnologia de aprendizagem de máquina. Deve melhorar com o tempo.
Além disso, a máquina enfrentou uma competição difícil: os estudantes da Faculdade de Direito da Universidade de Minnesota estão entre os melhores do país: 97% deles passam na primeira vez que fazem o exame de ordem. O desempenho deles em exames de ordem é o terceiro melhor do país, ficando atrás apenas dos estudantes de Harvard e Yale. E a maioria deles tem uma carreira jurídica bem-sucedida.
Choi acredita que, apesar de uma certa deficiência de conhecimentos, o ChatGPT pode ser um ótimo colaborador, tanto para estudantes de Direito como para os advogados e outros profissionais da área. Os advogados poderão usá-lo, por exemplo, para produzir a versão preliminar de uma petição, que poderão, em seguida editar — ou comparar com a que elaboraram.
Alguns professores de Direito discordam do uso do ChatGPT pelos estudantes, porque eles podem, por exemplo, botar a máquina para fazer seus trabalhos de casa. Mas dois dos três professores que corrigiram as provas nessa competição com os estudantes, disseram que é relativamente fácil distinguir entre o que o ChatGPT escreveu e o que os escreveram. A redação do ChatGPT é repetitiva e sem qualquer falha gramatical.
Para o professor, melhor que banir a inteligência artificial dos cursos universitários, como alguns distritos escolares já estão fazendo, é fazer algumas adaptações nas faculdades para acrescentá-la ao método de ensino dos alunos.
Isso aconteceu, ele diz, quando surgiram as calculadoras. Inicialmente, algumas escolas se opuseram a seu uso em sala de aula, porque elas poderiam limitar o aprendizado dos estudantes. Mas, no final das contas, passaram a ensinar os estudantes como usar as calculadoras, principalmente as mais sofisticadas.
O professor Josh Blackman, da Faculdade de Direito de Houston, Texas, levanta outro problema: "O texto original produzido pelo ChatGPT não pode ser identificado pelos atuais softwares de detecção de plágio. E os professores devem se conscientizar de que haverá plágios", ele escreveu em um blog.
Por João Ozorio de Melo
Fonte: ConJur