ベンチマーク
GPQAとは？
別名: Graduate-Level Google-Proof QA
ググっても答えが出ない博士課程レベルの理系難問集。推論モデルの真価が問われる難所。
⚡ 30秒でわかる
GPQA の主なポイント
- 1 GPQAは、生物・物理・化学の博士課程レベルの難問でAIを試すベンチマーク（全448問）
- 2 「Google-proof」設計：専門外の人がウェブで30分以上調べても正答率は約34%しか届かない
- 3 検索や暗記が効かず深い推論が要るため、推論モデルの実力差がはっきり出る難所
- 4 特に難しい問題を厳選した「GPQA Diamond（198問）」が、各社の性能比較で最もよく引用される
- 5 MMLU（広く浅い知識）より狭く深く、HLE（さらに極端な難問集）の手前に位置する指標
📖 詳しく
GPQA とは
GPQA（Graduate-Level Google-Proof Q&A）は、生物・物理・化学の博士課程レベルの難問を集めたAIの評価テスト（ベンチマーク）です。最大の特徴は「Google-proof（ググっても解けない）」設計で、専門外の人がウェブで30分以上調べても正答率は約34%にとどまる一方、その分野の博士号レベルの専門家は約65%正解します。なぜ重要かというと、検索や暗記では太刀打ちできず、腰を据えて筋道を立てて考える力が必要なため、近年伸びている「推論モデル」の真価がはっきり表れるからです。たとえるなら、MMLUが「広く浅い総合学力テスト」なら、GPQAは「狭く深い大学院の口頭試問」のような位置づけです。中でも特に難しい問題だけを選んだ「GPQA Diamond（198問）」が各社の性能比較で最もよく使われ、新モデル発表時のスコア競争の常連になっています。
❓ FAQ
よくある質問
- Q. GPQAとは何ですか？
- A. 生物・物理・化学の博士課程レベルの難問を集めた、AIの性能を測るベンチマーク（共通テスト）です。専門家が作問し、ネット検索しても答えにたどり着けないよう設計されているのが特徴で、AIが本当に深く推論できるかを試します。新しいAIモデルが発表されるたびにスコアが比較される定番指標のひとつです。
- Q. GPQAとMMLUは何が違うの？
- A. MMLUは57科目をカバーする「広く浅い総合学力テスト」で、知識量を測るのに向いています。一方GPQAは科目を理系3分野に絞り、博士課程レベルまで掘り下げた「狭く深い」難問集で、検索では解けない推論力を測ります。MMLUは多くのAIがほぼ満点に近づいたため、より難しいGPQAが新たな差別化の指標として注目されています。
- Q. ニュースでよく見る「GPQA Diamond」とは？
- A. GPQA全体の中から、特に質が高く難しい問題だけを選んだ198問の上位サブセットです。複数の専門家が正解できる一方、専門外の人はほぼ解けない問題に絞られているため、AIの実力差がよりくっきり表れます。各社の比較表で「GPQA」と書かれている数字の多くは、このDiamondのスコアを指しています。
- Q. 初心者がGPQAのスコアを見るときの注意点は？
- A. GPQAが高いAIは「腰を据えて難しい問題を考える力」が強い、と捉えるのが基本です。ただし高スコア＝あらゆる用途で最強ではなく、理系の難問に特化した指標なので、日常的な文章作成やコーディングの体感とは別物です。1つの数字を鵜呑みにせず、用途に合ったベンチや実際の使用感と合わせて見るのが安全です。
🔗 関連