Чамат: Два термина, на которые вам нужно обратить внимание в AI, это Prefill и Decode “Есть два термина, о которых, я думаю, вы будете слышать много в течение следующих нескольких лет.” “Первый термин - это prefill, а следующий - decode.” “Что такое prefill и decode, это два очень разных способа, как модели думают и как модель проходит процесс ответа на вопрос, который вы ей задаете.” “Итак, когда вы отправляете запрос в AI, происходит следующее: модель обрабатывает его. Это называется фазой чтения или prefill.” “Она читает ваш весь запрос сразу. А затем делает кучу расчетов, вычисляет все эти отношения между всеми словами и сохраняет их во временной памяти.” “Проблема в том, что это действительно требует много вычислительных ресурсов. Поэтому требуется огромная вычислительная мощность. И здесь Nvidia GPUs просто доминируют.” “Их архитектура разработана для массовой параллельной обработки, что делает их действительно удивительными в обработке этих длинных запросов.” “Таким образом, проблема только увеличивается, Nvidia просто полностью доминирует.” “Но следующая фаза, эта критическая фаза, фаза decode, это фаза написания, верно?” “Таким образом, модель начинает генерировать ответ, вы задаете ей вопрос, и ее ответ, один токен за раз.” “И затем, чтобы выбрать следующий токен, чтобы выбрать следующее слово, ей нужно оглянуться на все, что она уже сказала, чтобы не «галлюцинировать».” “Проблема в том, что это невероятно ограничено по пропускной способности памяти.” “И в нашей архитектуре, давно, мы сделали эти проектные решения с первого дня.” “Итак, что мы сделали, так это то, что мы выбрали очень другой архитектурный подход, мы выбрали очень консервативную технологию процесса. Мы не пытались раздвинуть границы физики.” “И мы использовали много того, что называется SRAM. То есть память на чипе, чтобы мы могли делать эту декодирующую вещь так же хорошо или лучше, чем все остальные.” “Итак, теперь, когда вы объединяете эти две вещи, я просто думаю, что это создаст огромное ускорение в способности этого всего инфраструктурного слоя стать намного дешевле и намного более ценным, что, как я подозреваю, тогда привлечет гораздо больше разработчиков, вы получите гораздо больше приложений, которые будут созданы, миллиарды и миллиарды людей будут это использовать.”

Я проанализировал данные. Снова. Я составил карту. Снова. Теперь картина еще более ЧИСТАЯ. Штаты без требований к удостоверению личности избирателей в 16 раз более склонны предлагать социальные пособия незаконным иммигрантам, чем штаты, требующие удостоверение личности (67% против 4%, p<0.0001). Демократы импортируют и платят незаконным иммигрантам за голоса. Детали👇

Ньюсом активно пытался скрыть расточительство и мошенничество в расходах на бездомность. Он наложил вето на законопроект, требующий отчетности о данных о затратах и результатах, который был единогласно принят Законодательным собранием и рекомендован Государственным аудитором после того, как было установлено, что штат потерял следы 24 миллиардов долларов.