技術
蒸留（Distillation）とは？
別名: Knowledge Distillation / 知識蒸留
大きいモデルの知識を小さいモデルに移す。
⚡ 30秒でわかる
蒸留（Distillation） の主なポイント
- 1 蒸留は、大きな「先生モデル」の知識を小さな「生徒モデル」に移して、軽くて賢いモデルを作る技術
- 2 正解だけでなく先生の「答えの確率分布（自信度）」まで教えるのが普通の学習との違い
- 3 スマホやPCで動く軽量LLMの多くが、この蒸留で作られている
- 4 量子化（モデルを圧縮）やファインチューニング（用途に合わせ込む）とは目的が異なる
- 5 2015年に Hinton らが提唱した古典的手法で、DistilBERT や DeepSeek-R1 の軽量版など実例も多い
📖 詳しく
蒸留（Distillation） とは
蒸留（知識蒸留）とは、大きく賢い「先生モデル」のふるまいを、小さく軽い「生徒モデル」に真似させて学習させる技術です。ふつうの学習が「正解・不正解」だけを教えるのに対し、蒸留では先生が出す「答えの自信度（この答えが80%、別の答えが15%…という確率の分布）」まで生徒に渡すため、生徒は少ないサイズでも先生の判断のクセごと吸収できます。たとえば、できる先輩の答案を丸暗記するのではなく「なぜその答えに自信があり、どこで迷ったか」まで教われば、後輩が短期間で実力に近づけるのと同じイメージです。この技術のおかげで、スマホやノートPCでも動く軽量LLMが、はるかに大きなモデルに近い受け答えをできるようになりました。似た言葉に量子化やファインチューニングがありますが、量子化が「同じモデルを圧縮して軽くする」、ファインチューニングが「モデルを特定の用途に合わせ込む」のに対し、蒸留は「別の小さなモデルへ知識を引っ越しさせる」点が違います。
❓ FAQ
よくある質問
- Q. 蒸留（ディスティレーション）とは何ですか？
- A. 大きく賢い「先生モデル」の出力を手本にして、小さく軽い「生徒モデル」を学習させる技術です。先生の答えだけでなく「どの答えにどれくらい自信があるか」という確率まで真似させるため、生徒は小さいサイズでも先生に近い性能を出せます。スマホで動くLLMの多くがこの方法で作られています。
- Q. 蒸留と量子化・ファインチューニングは何が違うの？
- A. 量子化は「同じモデルの数値を圧縮して軽くする」、ファインチューニングは「既存モデルを特定の用途に合わせ込む」技術です。これに対し蒸留は「先生モデルから別の小さなモデルへ知識を引っ越しさせる」点が違います。目的が近いため、軽量化の現場では蒸留と量子化を組み合わせて使うこともよくあります。
- Q. 初心者が蒸留で気をつけることは？
- A. まず「軽いモデルが賢い理由のひとつが蒸留」と理解すれば十分です。ただし生徒モデルは先生を超えることは基本的になく、先生の弱点や偏りもそのまま受け継ぎます。また、他社の非公開モデルの出力を勝手に蒸留に使うと規約違反になる場合があるため、利用条件の確認が大切です。
🔗 関連
あわせて読みたい
関連用語
関連 AI モデル