Um grupo de leitores prefere poesia escrita por ChatGPT a clássicos como Shakespeare ou Sylvia Plath

'A arte tem a ver com a comunicação da experiência humana. A IA é uma ferramenta muito poderosa, mas acabará sendo uma espécie de auto-ajuste da criatividade', pontua especialista “Ouço o chamado da natureza, o farfalhar das árvores, / o murmúrio do rio, o zumbido das abelhas, / o chilrear dos pássaros e o uivo do vento, / tudo entrelaçado numa sinfonia que nunca parece terminar.” Esses são os primeiros versos de um poema gerado pelo ChatGPT 3.5 no estilo de Walt Whitman. São também os melhores para um painel de quase 700 pessoas sem nenhum conhecimento especial de poesia que tiveram que escolher entre verdadeiros poemas clássicos em inglês e versos gerados em poucos segundos pela máquina. Elton John, pai de dois: 'Qualquer pessoa gay que cria uma criança merece aplausos' 'Logo vou para casa': Viih Tube tranquiliza fãs ao deixar UTI após parto do segundo filho Um novo estudo compara dezenas de poemas gerados pelo ChatGPT com exemplos reais de poetas ingleses clássicos, de Chaucer e Shakespeare a T. S. Eliot, Sylvia Plath, Emily Dickinson e Allen Ginsberg. Os autores fizeram dois experimentos: em um perguntaram apenas se aquele poema era obra de um ser humano ou de IA, e no outro perguntaram sobre a qualidade. Em ambos, a IA se passa por humana ou excede suas capacidades presumidas. Em nenhum caso os autores do experimento escolheram o melhor poema que o ChatGPT escreveu, mas simplesmente o primeiro resultado. Então, como pode ser? A resposta simples é que a poesia é difícil de compreender. — Os resultados sugerem que o leitor médio prefere poemas mais acessíveis e que consiga compreender — diz Brian Porter, professor da Universidade de Pittsburgh e coautor do trabalho. O painel de leitores parecia acreditar que os versos difíceis de entender de um escritor como T. S. Eliot eram algo semelhante a alucinações e os descartou como possível autoria humana. Os cinco poemas de maior audiência foram produzidos pela IA, enquanto os poemas de menor audiência eram todos humanos. 'IA é capaz de criar poemas que transmitem emoções' — Alguns participantes explicaram que o conteúdo emocional de um poema era um sinal de que ele havia sido escrito por um humano — explica Porter, embora na verdade fosse obra do ChatGPT. — Outros parecem interpretar frases confusas ou difíceis como erros da IA, e não como escolhas intencionais de um poeta. Os resultados sugerem que as pessoas consideram que gostar de um poema é um sinal de que foi escrito por um ser humano e não por uma IA. O objeto do estudo não foi, porém, a capacidade humana de distinguir os clássicos da língua inglesa, mas a capacidade da máquina de transformar poemas artificiais em reais, e nisso venceu: — A ideia principal do experimento é que a IA é capaz de criar poemas que transmitem emoções e ideias de uma forma que soa aceitável, como se uma pessoa os tivesse escrito — diz Porter. E o que os especialistas fariam? Será que um grupo de críticos, acadêmicos ou leitores especialistas teria dado respostas mais precisas? Um grupo de acadêmicos espanhóis já fez este teste. Eles se uniram ao escritor argentino Patricio Pron para competir em histórias com a máquina e serem julgados por um pequeno painel de críticos. O escritor humano prevaleceu: — A diferença entre críticos e leitores é abismal — diz Julio Gonzalo, professor da UNED e autor do artigo. — É fácil para a IA confundir os não-especialistas — diz Guillermo Marco, pesquisador da UNED e coautor do trabalho com Pron, e também poeta. — Chega-se a uma conclusão que talvez já saibamos, mas é muito bom tê-la medida: um blockbuster bem desenhado com big data pode ter maiores chances de sucesso do que algo mais arriscado. A vantagem de trabalhar com o escritor Patricio Pron é que suas histórias eram novas. Os autores deste trabalho veem justamente essa dificuldade em fazer este estudo de poemas com especialistas: — Suspeitamos que um grupo de especialistas em poesia poderia fazê-lo melhor e pretendemos tentar em breve, mas isso significa encontrar poemas clássicos que os especialistas em poesia não conseguem reconhecer imediatamente, o que é bastante difícil — diz Porter. Os autores também descobriram que se avisassem aos participantes que o poema foi gerado por IA, eles automaticamente gostariam menos dele. É uma sabedoria humana que eles acham que não desaparecerá rapidamente, diz Porter: — Não tenho certeza se as pessoas aceitarão a poesia gerada pela IA, ou mesmo a arte gerada pela IA em geral. A linguagem costuma ser uma ferramenta para uma pessoa comunicar pensamentos e ideias para outra, e a IA, em sua essência, está apenas imitando isso. Os limites da IA Em seu último artigo, Gonzalo e Marco provaram que as máquinas não precisam de capacidades extraordinárias para contornar a capacidade humana de avaliar um texto criativo. Um pequeno modelo de linguagem de 500 milhões de parâmetros (uma versão antiga do ChatGPT tinha 175 bilhões) foi suficiente para eles verificarem que já era suficiente para passar com louvor a maioria dos critérios de um leitor comum. — Com esses experimentos chega-se a questões que estão mais no campo da sociologia ou da estética sobre como o gosto se configura em uma sociedade ou em sua educação — explica Marco. — É difícil julgar uma arte sem experiências anteriores suficientes. Marco é ainda mais claro sobre os limites da capacidade da IA ​​para criar experiências artísticas: — A arte tem a ver com a comunicação da experiência humana. A IA é uma ferramenta muito, muito poderosa, mas acabará sendo uma espécie de auto-ajuste da criatividade. Ela nunca será autônoma nem terá necessidade de se expressar se não receber instrução. Este sucesso da IA ​​face ao julgamento humano levou os seus autores a perguntarem-se se não deveria ser acelerada alguma regulamentação que exija aviso quando o conteúdo é artificial. — Se os leitores valorizarem menos o texto gerado por IA e não houver nenhum aviso de que o texto gerado por IA está sendo usado, existe o risco de que o dinheiro das pessoas seja obtido sob falsos pretextos: elas poderiam pagar um preço que não teriam aceitado se soubessem que há texto ou arte criada por IA envolvida — diz Porter.