Artificial Analysis er med i den siste episoden av @latentspacepod med @Swyx Grunnleggerne @_micah_h og @grmcameron snakker gjennom: ➤ Opprinnelseshistorien til kunstig analyse ➤ Tilstanden til AI-benchmarking ➤ Våre nyeste referanseindekser inkluderer AA-Omniscience, GDPval-AA og Openness Index Lenke nedenfor!

TII, et universitetsbasert AI-laboratorium basert i UAE, har lansert Falcon-H1R-7B, en liten modell for åpen vekt som sammenlignes godt med modeller av lignende størrelse 🧠 Sterk intelligensscore blant <12B-modeller: Falcon-H1R-7B scorer 16 på vår oppdaterte Artificial Analysis Intelligence Index v4.0 – foran NVIDIA Nemotron Nano 12B V2, men under Qwen3 VL 8B. Modellen er godt plassert på Pareto-fronten for intelligens vs totale parametere for sammenlignbare modeller. Sammenlignet med andre modeller <12B, presterer Falcon-H1R-7B spesielt godt i 3 individuelle evalueringer – Humanity's Last Exam (resonnement og kunnskap), τ²-Bench Telecom (bruk av agentisk verktøy) og IFBench (instruksjonsfølging) 🇦🇪 Andre deltaker på UAE-topplisten: Etter MBZUAIs K2-V2 er Falcon-H1R-7B den andre modellen fra en UAE-basert organisasjon på våre topplister, blant et hav av amerikanske og kinesiske modeller. Grunnlagt av Abu Dhabi-regjeringen, er Technology Innovation Institute (TII) et globalt forskningssenter med mål om å flytte kunnskapens grenser, og er aktivt på tvers av flere domener, inkludert energi, kvanteteknologi og kryptografi. De har over 100 åpne vektmodeller og varianter av Huggingface 📖 Moderat åpen modell: Falcon-H1R-7B scorer 44 i Artificial Analysis Openness Index – vår nylig utgitte, standardiserte, uavhengig vurderte måling på åpenhet for AI-modeller på tvers av tilgjengelighet og åpenhet. Dette plasserer den foran OpenAIs gpt-oss-20B, men bak Qwen3 VL8B. Våre mest åpne modeller, fra MBZUAI og Allen Institute for AI, deler topplisten på 89, drevet av større åpenhet og tilgang til deres treningsmetodikk og data 📈 Høyutgangstokens: Modellen brukte 140 millioner tokens for å fullføre vår Intelligence Index. Dette plasserer den under GLM-4,7, men høyere enn de fleste andre modeller – både i størrelseskategori og blant grensemodellene 📘 Forventet kunnskap for sin størrelse, moderat hallusinasjonsrate: AA-Omniscience er vår nylig lanserte referanse for å måle faktakunnskap og hallusinasjoner i modeller. Falcon-H1R-7B får en moderat poengsum på -62. Dens kunnskapsnøyaktighetsscore (14) ligger innenfor forventningene, gitt at vi ser en sterk korrelasjon mellom modellstørrelse og nøyaktighet (hvor mange fakta modellen husker korrekt). Modellen hallusinerer 87 % av gangene når den ikke husker svarene riktig – en moderat poengsum blant både frontmodeller og små åpne vektmodeller Gratulerer med lanseringen @TIIuae!

Kunstig analyse ble referert til av Jensen Huang i Nvidias CES 2026 Keynote i dag! @NVIDIAAI nyeste Nemotron 3 Nano (30B A3B) skiller seg ut som en svært effektiv åpen vektmodell i våre intelligens- og effektivitetsbenchmarks