iPhone 17 Pro のオンデバイス LLM パフォーマンスの別のデモ 今回は、@TheInclusionAI の Ling mini 2.0 で、~120tk/s で動作する 1.4B アクティブ パラメーターを備えた 16B MoE モデルです MLX DWQ 2ビットクオンツの@awnihannunのおかげで