O Gemini 3 Pro acaba de conquistar o primeiro lugar no nosso novo Índice AA-Omniscience — mas é uma história complexa AA-Omniscience é a nossa nova avaliação de conhecimento e alucinação. A liderança do Gemini 3 Pro é impulsionada pela sua alta Precisão (percentagem correta); o modelo obteve impressionantes 14 pontos a mais do que o próximo modelo com maior precisão, o Grok 4. A Taxa de Alucinação do Gemini 3 Pro na avaliação é de 88%, a mesma que a do Gemini 2.5 Pro e do Gemini 2.5 Flash. Isso sugere que o Gemini 3 Pro fez ganhos substanciais em conhecimento, mas não ganhos materiais em sua tendência a alucinar. Medimos a Taxa de Alucinação com base na frequência com que o modelo responde incorretamente quando deveria ter se recusado, definida como a proporção de respostas erradas em relação a todas as tentativas não corretas. No AA-Omniscience, descobrimos que havia pouca correlação entre Precisão e Taxa de Alucinação. Além disso, encontramos uma alta correlação entre o tamanho dos modelos de pesos abertos e a Precisão (mas não a Taxa de Alucinação). Assim, a muito alta Precisão do Gemini 3 Pro sugere que é um modelo muito grande. Veja abaixo para mais detalhes sobre o AA-Omniscience 👇