Artificial Analysis est dans le dernier épisode de @latentspacepod avec @Swyx Les fondateurs @_micah_h et @grmcameron discutent de : ➤ L'histoire d'origine d'Artificial Analysis ➤ L'état de l'évaluation de l'IA ➤ Nos dernières évaluations, y compris AA-Omniscience, GDPval-AA et l'Index d'Ouverture Lien ci-dessous !

TII, un laboratoire universitaire basé aux Émirats Arabes Unis, a lancé Falcon-H1R-7B, un petit modèle de raisonnement à poids ouverts qui se compare bien aux modèles de taille similaire 🧠 Score d'intelligence élevé parmi les modèles <12B : Falcon-H1R-7B obtient un score de 16 sur notre indice d'intelligence d'analyse artificielle v4.0 - devant le NVIDIA Nemotron Nano 12B V2, mais derrière le Qwen3 VL 8B. Le modèle est bien positionné sur la frontière de Pareto pour l'intelligence par rapport au nombre total de paramètres pour des modèles comparables. Par rapport à d'autres modèles <12B, Falcon-H1R-7B se distingue particulièrement bien dans 3 évaluations individuelles - L'Examen Final de l'Humanité (raisonnement et connaissance), 𝜏²-Bench Telecom (utilisation d'outils agentiques), et IFBench (suivi d'instructions) 🇦🇪 Deuxième entrant au classement des Émirats : Après le K2-V2 de MBZUAI, Falcon-H1R-7B est le deuxième modèle d'une organisation basée aux Émirats sur nos classements, parmi une mer de modèles américains et chinois. Fondé par le gouvernement d'Abou Dhabi, l'Institut d'Innovation Technologique (TII) est un centre de recherche mondial dont la mission est de repousser les frontières de la connaissance, et est actif dans plusieurs domaines, y compris l'énergie, la technologie quantique et la cryptographie. Ils ont plus de 100 modèles et variantes à poids ouverts sur Huggingface 📖 Modèle modérément ouvert : Falcon-H1R-7B obtient un score de 44 dans l'Indice d'Ouverture d'Analyse Artificielle - notre mesure nouvellement publiée, standardisée et évaluée de manière indépendante de l'ouverture des modèles d'IA en termes de disponibilité et de transparence. Cela le place devant le gpt-oss-20B d'OpenAI, mais derrière le Qwen3 VL8B. Nos modèles les plus ouverts, par MBZUAI et l'Allen Institute for AI, partagent le sommet du classement à 89, grâce à une plus grande transparence et un accès à leur méthodologie et données d'entraînement 📈 Tokens de sortie élevés : Le modèle a utilisé 140M de tokens pour compléter notre Indice d'Intelligence. Cela le classe en dessous de GLM-4.7, mais au-dessus de la plupart des autres modèles - tant dans sa catégorie de taille que parmi les modèles de pointe 📘 Connaissances attendues pour sa taille, taux d'hallucination modéré : AA-Omniscience est notre nouvel indice mesurant la connaissance factuelle et l'hallucination des modèles. Falcon-H1R-7B reçoit un score modéré de -62. Son score de précision des connaissances (14) est conforme aux attentes, étant donné que nous observons une forte corrélation entre la taille du modèle et la précision (combien de faits le modèle se souvient correctement). Le modèle hallucine 87% du temps lorsqu'il ne se souvient pas correctement des réponses - un score modéré parmi les modèles de pointe et les petits modèles à poids ouverts Félicitations pour le lancement @TIIuae !

L'Analyse Artificielle a été mentionnée par Jensen Huang lors de la keynote de Nvidia au CES 2026 aujourd'hui ! Le dernier Nemotron 3 Nano (30B A3B) de @NVIDIAAI se distingue comme un modèle à poids ouverts très efficace dans nos benchmarks d'intelligence et d'efficacité.