LLM 优化,常用技巧是压缩,有两个相反操作路径。 1, 对输入进行压缩,常见于旗舰级模型,用概念替代大段描述;李继刚“神级 prompt”是典范,"Oscar Wilde" "鲁迅" "林语堂"替代行文风格;难度在于对概念的抽象理解和积累,并且需要反复尝试,跨模型适配差; 2. 对输出进行压缩,适用于所有模型,尤见于 agentic 产品,用精准封装的 tools 替代agent 完整执行任务;难度在于 tools 尺度的选择,太少没效果,太多又会占据注意力,导致效果劣化,考验设计哲学;
9.52K