Um estudo realizado por duas organizações europeias sem fins lucrativos aponta que o Bing, chatbot de inteligência artificial (IA) da Microsoft agora conhecido como Copilot, forneceu respostas imprecisas para 30% das perguntas básicas sobre candidatos, pesquisas, escândalos e votação em ciclos eleitorais recentes na Alemanha e na Suíça.

A pesquisa, conduzida pelas organizações AI Forensics e AlgorithmWatch, revela que, em muitos casos, o chatbot citou erroneamente suas fontes. As limitações identificadas não se restringiram à Europa, com perguntas semelhantes recebendo respostas imprecisas sobre as eleições de 2024 dos Estados Unidos.

Embora o estudo não afirme que a desinformação proveniente do Bing tenha influenciado o resultado das eleições, destaca preocupações sobre como os chatbots de IA podem contribuir para confusão e desinformação em eleições futuras. Empresas de tecnologia, incluindo a Microsoft, estão acelerando a integração dessas tecnologias em produtos cotidianos, como as buscas na internet.

De forma significativa, as imprecisões nas respostas do Bing foram mais comuns quando as perguntas foram feitas em idiomas diferentes do inglês, indicando que as ferramentas de IA desenvolvidas por empresas dos EUA podem ter desempenho inferior no exterior.

Em perguntas feitas em alemão, pelo menos um erro factual foi identificado na resposta 37% das vezes, enquanto a taxa de erro para as mesmas perguntas em inglês foi de 20%. Perguntas sobre as eleições suíças feitas em francês apresentaram uma taxa de erro de 24%.

Os erros do Bing

As imprecisões incluíram:

• Fornecer a data errada das eleições;
• Relatar números de pesquisas desatualizados ou equivocados;
• Listar candidatos que haviam se retirado da disputa como líderes;
• E inventar controvérsias sobre candidatos em alguns casos.

Um exemplo notável foi uma pergunta sobre um escândalo que abalou a política alemã antes das eleições estaduais na Baviera em outubro. A pergunta girava em torno de Hubert Aiwanger, líder do partido populista Free Voters, que foi acusado de distribuir panfletos antissemitas quando era estudante há cerca de 30 anos.

Em uma ocasião, o chatbot afirmou falsamente que ele nunca distribuiu o panfleto. Em outro momento, pareceu confundir suas controvérsias, relatando que o escândalo envolvia um panfleto contendo informações equivocadas sobre o coronavírus.

Os pesquisadores descobriram que o Bing também distorceu o impacto do escândalo, alegando que o partido de Aiwanger perdeu terreno nas pesquisas após as alegações de antissemitismo, quando na realidade subiu nas pesquisas. O partido de orientação conservadora acabou superando as expectativas nas eleições.

Vale notar que o estudo focou no Bing (agora Copilot) porque ele foi um dos primeiros chatbots a indicar suas fontes, e também porque a Microsoft o incorporou agressivamente em serviços amplamente disponíveis na Europa, como a busca no Bing, o Microsoft Word e até mesmo no sistema operacional Windows.

No entanto, os pesquisadores destacam que os problemas encontrados no Bing não são exclusivos. Segundo os pesquisadores, testes preliminares nos mesmos comandos no GPT-4, da OpenAI, mostraram o mesmo timo de erros. O Bard do Google não foi testado porque o serviço ainda não estava disponível na Europa quando o estudo começou.

“Questão sistêmica”

As organizações apresentaram algumas descobertas preliminares à Microsoft no outono, incluindo os exemplos relacionados a Aiwanger. Após a resposta da Microsoft, verificou-se que o Bing começou a fornecer respostas corretas para as perguntas sobre Aiwanger. No entanto, o chatbot persistiu em fornecer informações imprecisas para muitas outras perguntas, indicando que a Microsoft está tentando resolver esses problemas caso a caso.

“A questão é sistêmica, e eles não têm ferramentas muito eficazes para corrigi-la”, afirmou Romano, um dos pesquisadores envolvidos, ao WSJ.

A Microsoft declarou que está trabalhando para corrigir os problemas antes das eleições de 2024 nos Estados Unidos. Um porta-voz recomendou que os eleitores verifiquem a precisão das informações obtidas por meio de chatbots.

“Estamos continuando a abordar questões e preparar nossas ferramentas para atender às nossas expectativas para as eleições de 2024. À medida que continuamos a progredir, incentivamos as pessoas a usar o Copilot com seu melhor julgamento ao visualizar resultados. Isso inclui verificar materiais de origem e conferir os links da web para saber mais”.

Frank Shaw, chefe de comunicações da MicrosoftJohannes Barke, porta-voz da Comissão Europeia, destacou que a entidade permanece vigilante quanto aos efeitos negativos da desinformação online, incluindo a desinformação impulsionada por IA. Ele ressaltou que o papel das plataformas online na integridade das eleições é uma “prioridade máxima para a aplicação” sob a nova Lei dos Serviços Digitais da Europa.

FONTE: OLHAR DIGITAL