热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
steve hsu
物理学家、AI 创始人、Manifold 播客
对于非专家：Frontier 模型已经在大量人类知识上进行了训练——包括高级数学、物理学、医学和编程。它们具有巨大的潜在能力。
相对便宜的“微调”过程（在这种情况下是 LoRA）能否使模型适应特定用例，从而使其更有用？
这正是 Thinking Machines 正在探索的内容。请注意，这依赖于对开源 Frontier 模型的访问。
15 小时前
约翰·舒尔曼与思维机器：无悔的LoRA
LoRA用修改后的版本W’=W+γBA替换原始模型中的每个权重矩阵W，其中B和A是参数总数远少于W的矩阵。
当以下情况发生时，LoRA的表现与完全微调相似：
1. LoRA应用于网络的所有层，特别是包含大多数参数的MLP/MoE层。
2. LoRA没有容量限制，即可训练参数的数量超过要学习的信息量，这可以通过数据集大小来估算。
影响：大型（例如万亿参数）基础模型可以以训练新模型的极小成本进行定制。
1.47K
热门
排行
收藏