安全性
Constitutional AIとは？
別名: 憲法AI / CAI
AIに「憲法」を与えて自律的に行儀よくさせる手法。
⚡ 30秒でわかる
Constitutional AI の主なポイント
- 1 AIに「守るべき原則（憲法）」を文章で与え、AI自身が自分の答えを点検・修正しながら学ぶ安全化手法。
- 2 AI開発企業 Anthropic が2022年の論文で提唱し、Claude シリーズの土台になっている。
- 3 「この答えは有害か」を人間が一つずつ判定する手間を減らせるのが最大の利点。
- 4 評価役を人間が担う RLHF に対し、憲法を参照するAIが評価役を担うため RLAIF とも呼ばれる。
- 5 ルールが文章で見えるため、判断のぶれが小さく透明性が高い点も特徴。
📖 詳しく
Constitutional AI とは
Constitutional AI（憲法AI、CAI）とは、AIに「守るべき原則」を文章でまとめた“憲法”を与え、AI自身がその原則に照らして自分の答えを点検し、書き直しながら学習していく手法です。AI開発企業 Anthropic が2022年の論文「Constitutional AI: Harmlessness from AI Feedback」で提唱しました。
これが重要なのは、AIを安全にする作業の多くを人手に頼らずに進められるからです。従来は「この答えは有害だ」と人間が一つひとつラベル付けする必要がありましたが、CAI では憲法という“ルールブック”さえ用意すれば、AIが自分でダメな点を指摘して直していけます。人によって判断がぶれにくく、ルールが文章で見えるので透明性が高いのも利点です。
身近な例えでいうと、作文の宿題を「先生が毎回赤ペンで直す」のではなく、生徒に校則やお手本を渡して「これに沿って自分で読み返し、書き直してごらん」と任せるイメージです。AIは「この回答は差別的では？」と自己批判し、より良い形に修正する、という練習を何度も繰り返します。
仕組みは大きく2段階で、まずAIが自分の答えを憲法に沿って批判・修正する学習をし、次にAI同士が「どちらの答えが原則に合うか」を判定してそのフィードバックで強化学習します。後者は人間の代わりにAIが評価役を務めるため RLAIF（AIフィードバックによる強化学習）とも呼ばれます。Claude シリーズはこの考え方を土台にしています。
混同しやすい RLHF（人間のフィードバックによる強化学習）との違いは、評価役が「人間」か「憲法を参照するAI」かという点です。CAI は RLHF を置き換えるというより、人手を減らしつつ価値観を明文化できる発展形だと捉えると整理しやすくなります。
❓ FAQ
よくある質問
- Q. Constitutional AI とは？
- A. AIに「守るべき原則」をまとめた憲法を与え、AI自身がその原則に照らして自分の答えを点検・修正しながら学習していく手法です。AI開発企業 Anthropic が2022年に提唱し、対話AI「Claude」シリーズの安全性の土台になっています。有害な答えを人間が一つずつ判定する手間を減らせるのが大きな特徴です。
- Q. Constitutional AI と RLHF の違いは？
- A. どちらもAIを行儀よくする学習手法ですが、答えを評価する“採点役”が違います。RLHF は人間が「どちらの答えが良いか」を判定するのに対し、Constitutional AI は憲法を参照したAIが判定役を務めます（このため RLAIF とも呼ばれます）。人手を減らせて、判断基準が文章で見える分ぶれにくいのが Constitutional AI 側の利点です。
- Q. なぜ「憲法」と呼ぶの？AIに法律を入れるの？
- A. 国の法律のことではなく、AIが従う「行動原則を箇条書きにした文章」を比喩的に憲法と呼んでいるだけです。たとえば「差別的な表現を避ける」「危険な行為を助長しない」といった指針が並びます。AIはこの文章を判断のよりどころにして、自分の答えが原則からはみ出していないかを確認します。
- Q. 初心者が知っておくべき注意点は？
- A. まずは「AIを安全にするための学習方法の一つで、Claude の根っこにある考え方」と押さえれば十分です。注意点として、憲法に書かれた原則が偏っていれば、その偏りがそのままAIの振る舞いに反映されます。また、これは“絶対に悪用されない保証”ではなく、巧妙な指示で安全装置を破るジェイルブレイクなどへの対策とは別に考える必要があります。
📰 この用語が登場する記事
