ai-garage
技術

Mixture of Experts(MoE)とは?

別名: MoE / 専門家混合

巨大モデルを「専門家チーム」に分けて軽くする手法。

⚡ 30秒でわかる

Mixture of Experts(MoE) の主なポイント

  • 1 Mixture of Experts(MoE)は、複数の小さな専門家モデルを用意し、入力ごとに使う専門家だけを切り替えて動かすAIの設計手法です。
  • 2 「ルーター」が質問に応じて関連する専門家を数個だけ起動するため、モデル全体は巨大でも1回の処理は軽く、推論が速く安くなります。
  • 3 毎回すべてを使う通常の密(Dense)モデルと違い、MoEは総パラメータ数と実際に使うアクティブパラメータ数が分かれているのが特徴です。
  • 4 Mistral の Mixtral 8x7B(総約467億・アクティブ約130億)や DeepSeek V3(総6710億・アクティブ約370億)が代表例です。
  • 5 起源は Google 研究者らによる2017年の論文で、近年の大規模言語モデルを安価に賢くする中核技術として再評価されています。

📖 詳しく

Mixture of Experts(MoE) とは

Mixture of Experts(MoE、専門家混合)とは、1つの巨大なAIモデルで全てを処理するのではなく、役割の違う複数の小さな「専門家(エキスパート)」を用意し、入力に応じて使う専門家だけを切り替えて動かす仕組みのことです。入り口にいる「ルーター」と呼ばれる振り分け役が、質問ごとに最適な専門家を2〜数個だけ選んで起動し、残りは眠らせておきます。これが重要なのは、モデル全体は超巨大なのに、1回の処理で実際に動く部分はごく一部で済むため、賢さを保ったまま推論を速く・安くできるからです。たとえるなら、総合病院に大勢の専門医がいても、患者ごとに関係する数人の医師だけが診察し、全員が毎回出てくるわけではないイメージです。一般的なモデル(密/Denseモデル)が毎回すべてのパラメータを使うのに対し、MoEは「全パラメータ(総数)」と「実際に使うパラメータ(アクティブ数)」が分かれているのが最大の違いで、たとえば DeepSeek V3 は、総パラメータ6710億のうち1回の処理では約370億だけを使う構成になっています。

❓ FAQ

よくある質問

Q. Mixture of Experts(MoE)とは何ですか?
A. 1つの巨大モデルですべてを処理するのではなく、専門分野の異なる複数の小さな「専門家」を用意し、入力ごとに使う専門家だけを切り替えて動かす仕組みです。入り口の「ルーター」が質問に合った専門家を数個だけ選んで起動するため、モデル全体は巨大でも実際に動く部分は少なく、賢さを保ちながら推論を速く・安くできます。
Q. MoEと普通の(Dense)モデルの違いは何ですか?
A. 普通の密(Dense)モデルは、どんな入力でも毎回すべてのパラメータを使って計算します。一方MoEは「総パラメータ数」と「1回の処理で実際に使うアクティブパラメータ数」が分かれており、必要な専門家だけを動かします。そのため、同じ計算コストでもMoEの方がはるかに大きな知識量(総パラメータ)を持てるのが本質的な違いです。
Q. MoEを採用している有名なモデルはありますか?
A. Mistral の Mixtral 8x7B(総約467億パラメータのうち1回に約130億を使用)や、DeepSeek V3(総6710億のうち約370億を使用)が代表例です。GPT-4 もMoE構造だと広く報じられていますが、OpenAI からの公式な確認はありません。
Q. 初心者がMoEモデルを使うときに注意することは?
A. 使う側の操作は通常のチャットAIと変わらないので、特別な設定は要りません。ただしモデルのスペックを見るときは、「総パラメータ数」だけで賢さや動作の重さを判断しないことが大切です。実際の処理速度やコストに効くのは1回あたりのアクティブパラメータ数なので、両方の数字を分けて見る習慣をつけると理解が深まります。

更新を受け取る