「Mixture of Experts」の版間の差分
Administrator (トーク | 投稿記録) ページの作成:「'''Mixture of Experts'''（MoE）とは、人工知能、とくに大規模言語モデル（LLM）で使われる重要なアーキテクチャのひとつで、「巨大なモデルを複数の「専門家」に分割し、入力ごとに必要な専門家だけを動かす仕組み」です。 従来は全教科を1人の全知全能の先生が担当していたものを、国語の先生、数学の先生、社会の先生などと科目ごとに…」 |
Administrator (トーク | 投稿記録) |
||
| 5行目: | 5行目: | ||
== 最小メモリ使用量が増える == | == 最小メモリ使用量が増える == | ||
すべての専門家をメモリに保持する必要あるため「起動した直後のメモリ使用量」は増えます。 | すべての専門家をメモリに保持する必要あるため「起動した直後のメモリ使用量」は増えます。 | ||
つまり人工知能アプリの起動に必要なメモリ容量が増えます。 | |||
== 最大メモリ使用量が減る == | == 最大メモリ使用量が減る == | ||