トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
steve hsu
物理学者、AI創設者、Manifold Podcast
専門家でない方へ: フロンティア モデルは、高度な数学、物理学、医学、コーディングなど、人間の知識の大部分でトレーニングされています。には巨大な潜在的な能力があります。
比較的安価な「微調整」プロセス(この場合はLoRA)で、モデルを適応させて、特定のユースケースでより有用にすることができますか?
それがThinking Machinesが探求していることです。これは、オープンソースのフロンティアモデルへのアクセスに依存していることに注意してください。
15時間前
ジョン・シュルマン & シンキング・マシーンズ: 後悔のない LoRA
LoRAは、元のモデルの各重み行列Wを、修正バージョンのW'=W+γBAW'=W+γBAに置き換えます。ここで、BとAは、Wよりもはるかに少ないパラメータを持つ行列です。
LoRAは、次の場合に完全な微調整と同様に機能します。
1. LoRAは、ネットワークのすべての層、特にほとんどのパラメータを格納するMLP / MoE層に適用されます。
2. LoRAは容量に制約がなく、学習可能なパラメータの数が学習する情報量を超えており、データセットのサイズで推定できます。
含意: 大規模な (たとえば、1 兆のパラメーター) ベース モデルは、新しいモデルのトレーニングのコストの数分の一でカスタマイズできます。
1.47K
はい、中国政府は意図的に経済に関する報告を下回っています。それは以前の「かくれんぼ」時代の名残です。
この点で、西側の経済学者を責めることはできませんが、数字が現実的かどうかを確認するために数字を再確認する常識を持つべきだということを除いて、西側の経済学者を責めることはできません。
(状況は非常に複雑で、成長率の数字の一部が誇張されている可能性がありますが、公式のGDP数字では、サービスや住宅などのより重要なことを報告しています。
13時間前
国内政府は、公式に宣言されたGDPで米国を上回りたくないはずです。
今は立地が良い。
米国政府も中国がGDPで米国を上回ることを望んでいない。
今は立地が良い。
14.95K
ジョン・シュルマン & シンキング・マシーンズ: 後悔のない LoRA
LoRAは、元のモデルの各重み行列Wを、修正バージョンのW'=W+γBAW'=W+γBAに置き換えます。ここで、BとAは、Wよりもはるかに少ないパラメータを持つ行列です。
LoRAは、次の場合に完全な微調整と同様に機能します。
1. LoRAは、ネットワークのすべての層、特にほとんどのパラメータを格納するMLP / MoE層に適用されます。
2. LoRAは容量に制約がなく、学習可能なパラメータの数が学習する情報量を超えており、データセットのサイズで推定できます。
含意: 大規模な (たとえば、1 兆のパラメーター) ベース モデルは、新しいモデルのトレーニングのコストの数分の一でカスタマイズできます。
4.29K
トップ
ランキング
お気に入り