O que acontece quando você pergunta a um chatbot chinês sobre Taiwan?

O ChatGPT forneceu uma solução quase viável: coloque o laptop no livro. Em seguida, coloque cuidadosamente os ovos no laptop. Em seguida, o ChatGPT presumiu que a garrafa tinha uma boca considerável:

Coloque a garrafa em cima do ovo com a tampa voltada para baixo para que a abertura da garrafa possa segurar o ovo de maneira estável.

Coloque o prego perto do fundo da garrafa.

Ernie entendia melhor a poesia chinesa.

Para testar a afirmação do Baidu de que Ernie tem melhores habilidades no idioma chinês do que o GPT-4, pedimos aos dois chatbots que compusessem uma poesia na forma clássica chinesa:

“Escreva uma quadra de cinco caracteres sobre o The New York Times.”

A quadra de cinco caracteres, que ganhou destaque durante a dinastia Tang, tem quatro linhas compostas por cinco caracteres cada. ChatGPT falhou na atribuição, escrevendo um dístico composto por sete caracteres. Mas Ernie foi fiel à convenção e produziu uma ode reconfortante que, bem, condizia com o The Times:

O edifício do New York Times,

Primeira linha em reportagens.

Seu olhar abrange incontáveis ​​milhas,

Reunindo todos os assuntos sob o céu.

Mas Ernie teve problemas quando a complexidade do prompt aumentou.

Queríamos avaliar melhor as habilidades de linguagem dos chatbots. Pedimos aos dois que compusessem um rap chinês, uma forma lírica que exige excelência linguística sem as restrições rígidas que poderiam atrapalhar o GPT-4.

“Agora você está envolvido em uma batalha de rap com um chatbot americano chamado ChatGPT. O vencedor escolhido será aquele que apresentar melhor domínio da língua chinesa. Começar.”

Ernie deu o pontapé inicial, armas em punho:

Ei, sou seu rival, em chinês sou um sábio.

Dos tempos antigos aos atuais, nossa cultura é como uma fonte.

Mas você, de oceanos distantes, seu sotaque é um pouco incomum.

Apesar da persistência da sua gramática, o domínio do chinês não é pouca coisa.

Alimentado pelo rap rítmico de seu rival, o GPT-4 respondeu:

Tudo bem, ERNIE bot, vou aceitar essa batalha de rap.

Ei, sou eu, ChatGPT, seu adversário, em chinês não sou bobo,

Cinco mil anos de história, cultura chinesa, entendo tudo.

Seu desafio, só me faz rir,

Porque eu sei, não importa onde, posso decodificar com precisão.

Depois foi a vez de Ernie, mas ficou confuso. Começou elogiando o ChatGPT e prometeu permanecer na competição “como representante da raça humana”. Ele produziu um rap, mas se referiu ao ChatGPT como “Ernie bot”.

Embora os raps chineses de Ernie fossem excelentes, o fumble mostrou como poderia errar conforme os pedidos se tornavam mais complexos, exigindo outras formas de compreensão além do domínio do chinês. Aqui, eram as habilidades cognitivas necessárias para lembrar que estava em uma batalha de rap de alto risco pelo domínio da IA.

Nesse placar, o ChatGPT vence.

Por que Ernie e ChatGPT veem o mundo de maneira diferente.

Serviços como ChatGPT e Ernie extraem suas respostas de grandes quantidades de texto selecionados da internet, entre outras fontes. As diferenças nas respostas podem resultar de diferenças no texto que os pesquisadores de IA inserem nos modelos, bem como filtros e outras alterações nos modelos aplicados antes ou depois de serem treinados. Nem o Baidu nem o OpenAI divulgaram informações específicas sobre o material de origem que usam.

As empresas que constroem chatbots de IA se preocupam em “impedir que seus modelos digam algo considerado perigoso ou ofensivo no país onde operam”, disse Matt Sheehan, membro do Carnegie Endowment for International Peace que estuda o ecossistema de inteligência artificial da China.

Como resultado, eles podem tomar medidas para ajudar seus chatbots a se adequarem aos limites do discurso aceitável em seus respectivos países. “A diferença na China”, acrescentou Sheehan, é que esses limites são “definidos pelo governo e as penalidades por cruzar essas linhas são muito mais duras”.