Chamath: Twee termen waar je op moet letten in AI zijn Prefill en Decode "Er zijn twee termen waarvan ik denk dat je ze de komende jaren veel zult horen." "De eerste term is prefill, en de volgende is decode." "Wat prefill en decode zijn, zijn twee heel verschillende manieren waarop modellen denken, en hoe een model het proces doorloopt om een vraag te beantwoorden die je het stelt." "En dus wanneer je een prompt naar AI stuurt, wat er gebeurt is dat het model het verwerkt. Dit wordt de leesfase of prefill genoemd." "Het leest je hele prompt in één keer. En dan doet het een hoop wiskunde, berekent het al deze relaties tussen alle woorden, en slaat ze op in tijdelijke geheugen." "Het probleem is dat dit echt rekenkracht vereist. Dus het vereist enorme brute kracht. En Nvidia GPU's zijn hier geweldig in." "En hun architectuur is ontworpen voor massale parallelle verwerking, wat ze echt geweldig maakt in het verwerken van deze lange prompts." "Dus het probleem wordt steeds groter, Nvidia domineert gewoon volledig." "Maar de volgende fase, deze kritieke fase, de decodefase, is de schrijf fase, toch?" "Dus het model begint een antwoord te genereren, je stelt het een vraag en zijn antwoord, één token tegelijk." "En dan om het volgende token, het volgende woord te kiezen, moet het terugkijken naar alles wat het al heeft gezegd, zodat het niet hallucinaties heeft." "Het probleem is dat dit ongelooflijk beperkt is door de geheugenbandbreedte." "En in onze architectuur hebben we, heel lang geleden, deze ontwerpeisen vanaf dag één gemaakt." "En dus wat we deden was een heel andere architectonische benadering nemen, we namen een zeer conservatieve proces technologie. We duwden de grenzen van de fysica niet." ...