跳转至主要内容
行情
扫链
追踪
信号
跟单
兑换
资产
邀请计划
更多
产品
DeFi
市场
安全中心
开发者中心
X Layer
探索 X Layer
X Layer 浏览器
跨链桥
开发者文档
测试网水龙头
GitHub
Wallet API
探索 Wallet API
API 文档
API Key 管理
区块链浏览器
DApp 连接钱包
Boost
X Launch
参与 X Launch,抢先赚新币
X Campaign
参与活动,赢取丰厚奖励
奖励中心
领取奖励和空投
预警
语言
货币
颜色设置
下载 OKX Wallet
Web3 指南
公告
返回
简体中文
繁體中文
English
Tiếng Việt
Русский
Español (Latinoamérica)
Bahasa Indonesia
Français
Deutsch
Italiano
Polski
Čeština
Română
Português (Portugal)
Português (Brasil)
Українська
Español (España)
Nederlands
العربية
日本語
Norsk (bokmål)
Suomi
Svenska
Türkçe
返回
返回
学院
帮助中心
热门话题
#
Bonk 生态迷因币展现强韧势头
Hosico
-10.48%
USELESS
-4.1%
IKUN
-6.66%
gib
-2.09%
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
Bonk
-0.11%
ALON
+3.7%
LAUNCHCOIN
-5.41%
GOONC
-2.13%
KLED
+13.31%
#
Solana 新代币发射平台 Boop.Fun 风头正劲
BOOP
+1.51%
Boopa
-5.98%
PORK
0.00%
主页
steve hsu
物理学家、AI 创始人、Manifold 播客
查看原文
steve hsu
7 小时前
一家中国公司开发的机器人成功地在一只30公斤的猪身上进行了胆道手术,使用AI模型自主完成了该手术。
14
steve hsu
23 小时前
这个东西生活在你的眼睑里,钻入睫毛毛囊。
25
steve hsu
1月9日 04:21
通用权重子空间假设 我们的研究提供了关于深度网络内部信息固有组织的新见解,并提出了关于在不需要大量数据和计算资源的情况下发现这些通用子空间的可能性的重要问题。 ... 通过执行逐层谱分解并仅保留主要主方向,可以提取这些通用子空间的准确近似。经验上,这种行为广泛出现:在完全微调的模型和基于LoRA的适配器中,在从头训练的模型中,在生成和判别设置中,以及在多模态配置中。此外,近似的子空间可以推广到分布外任务,在这些任务中,仅通过投影模型和学习一小组系数就足以恢复强大的性能。这使得在不重新训练或存储完整权重的情况下适应新任务成为可能,并支持稳健的多任务学习、可扩展的微调和在单一统一框架内的原则性模型合并。 实际影响是巨大的。通过重用一组通用的逐层主方向,并为每个任务学习仅轻量级的系数,大型模型可以在计算、内存和工程开销大幅减少的情况下扩展和服务。 ... 我们可以有效地回收和替换可用的预训练模型,使用一个通用子空间模型,每个个体由一组稀疏系数表示。在本节中,我们展示了一组实验,利用通用子空间通过冻结组件并仅使用梯度下降学习系数来学习新任务。我们发现,由于我们仅学习系数,这大大减少了训练新模型所需的参数数量。此外,由于这些系数仅是线性缩放值,优化过程更加平滑和快速。
51
热门
排行
收藏