Чамат: Два термина, на которые вам нужно обратить внимание в AI, это Prefill и Decode “Есть два термина, о которых, я думаю, вы будете слышать много в течение следующих нескольких лет.” “Первый термин - это prefill, а следующий - decode.” “Что такое prefill и decode, это два очень разных способа, как модели думают и как модель проходит процесс ответа на вопрос, который вы ей задаете.” “Итак, когда вы отправляете запрос в AI, происходит следующее: модель обрабатывает его. Это называется фазой чтения или prefill.” “Она читает ваш весь запрос сразу. А затем делает кучу расчетов, вычисляет все эти отношения между всеми словами и сохраняет их во временной памяти.” “Проблема в том, что это действительно требует много вычислительных ресурсов. Поэтому требуется огромная вычислительная мощность. И здесь Nvidia GPUs просто доминируют.” “Их архитектура разработана для массовой параллельной обработки, что делает их действительно удивительными в обработке этих длинных запросов.” “Таким образом, проблема только увеличивается, Nvidia просто полностью доминирует.” “Но следующая фаза, эта критическая фаза, фаза decode, это фаза написания, верно?” “Таким образом, модель начинает генерировать ответ, вы задаете ей вопрос, и ее ответ, один токен за раз.” “И затем, чтобы выбрать следующий токен, чтобы выбрать следующее слово, ей нужно оглянуться на все, что она уже сказала, чтобы не «галлюцинировать».” “Проблема в том, что это невероятно ограничено по пропускной способности памяти.” “И в нашей архитектуре, давно, мы сделали эти проектные решения с первого дня.” “Итак, что мы сделали, так это то, что мы выбрали очень другой архитектурный подход, мы выбрали очень консервативную технологию процесса. Мы не пытались раздвинуть границы физики.” ...