這個鞍具讓你在隨意行動時能走得更遠,但透過一些性能分析可以顯著提升效能。是什麼佔用了上下文?是什麼佔用了空間,看看追蹤記錄。是什麼在記憶體中擁擠?是什麼搞砸了並拋出錯誤?是什麼花了太長時間(長了300倍)(因為它以fp32加載而不是fp16,並且交換到系統記憶體中)
模型的傾向是什麼?你可以在這個環境中建立什麼來增強基於這些傾向的能力?你如何增強長期的一致性和記憶?
80