ai-garage
基本

パラメータとは?

別名: Parameters / 重み

モデルの賢さを決める「重み」の数。

⚡ 30秒でわかる

パラメータ の主なポイント

  • 1 パラメータは、AIが学習で自動調整する無数の数値(重み)で、モデルが覚えた知識やクセはここに蓄えられている
  • 2 「7B」「70B」などの数字はパラメータの個数を表し、B は Billion(10億)の意味
  • 3 パラメータが多いほど覚えられる容量は増えるが、動かすのに必要なメモリや計算コストも増える
  • 4 「多い=賢い」とは限らず、学習データや学習手法の質も性能を大きく左右する
  • 5 学習前に人間が決める「ハイパーパラメータ」や、文章の単位である「トークン」とは別の概念

📖 詳しく

パラメータ とは

パラメータとは、AIモデルが学習を通じて自動的に調整していく無数の数値(重み)のことです。 AIは大量のデータを読みながら、「この単語の次にはこの単語が来やすい」といった規則性をこのパラメータの値に少しずつ刻み込んでいきます。つまり、モデルが覚えた知識や判断のクセは、すべてパラメータの中に蓄えられているといえます。 イメージとしては、ミキサーについた無数のつまみのようなもので、学習とは「正しい出力になるように、ひとつひとつのつまみを少しずつ回して合わせていく作業」だと考えると分かりやすいです。 「7Bモデル」「70B」のように書かれる数字は、このパラメータの個数を表していて、B は Billion(10億)の意味です。たとえば「7B」なら約70億個のパラメータを持つことになります。 一般にパラメータが多いほど複雑なパターンを覚える容量は増えますが、その分だけ動かすのに大きなGPUメモリと計算コストが必要になり、必ずしも「多い=賢い」とは限りません(学習データや手法の質も同じくらい重要です)。 なお、学習の前に人間が決める「学習率」などの設定値はハイパーパラメータと呼ばれ、学習で調整されるパラメータとは別物です。また、文章を区切る単位の「トークン」とも意味が異なります。

❓ FAQ

よくある質問

Q. パラメータとは何ですか?
A. AIモデルが学習を通じて自動で調整していく、無数の数値(重み)のことです。モデルが覚えた知識や判断のクセは、すべてこのパラメータの値の中に蓄えられています。たくさんのつまみを少しずつ回して最適な値に合わせていくイメージで、その合わせ込みの作業こそが「学習」です。
Q. 「7B」「70B」のBって何の意味?パラメータの数とどう関係するの?
A. B は Billion(10億)の略で、そのモデルが持つパラメータの個数を表しています。「7B」なら約70億個、「70B」なら約700億個のパラメータという意味です。数が大きいほど一般に表現できる複雑さは増えますが、その分メモリも計算コストも重くなります。
Q. パラメータとハイパーパラメータは何が違うの?
A. パラメータは学習の中でAI自身が自動的に調整していく数値で、モデルの「中身」そのものです。一方ハイパーパラメータは、学習率やバッチサイズなど、学習を始める前に人間が決める「設定値」を指します。ざっくり言うと、料理の味そのものがパラメータ、火加減や時間の設定がハイパーパラメータだとイメージすると分かりやすいです。
Q. パラメータが多いモデルほど賢いと考えていい?
A. 必ずしもそうとは限りません。パラメータが多いほど多くのパターンを覚える「容量」は増えますが、性能は学習データの質や学習手法にも大きく左右され、少ないパラメータでも工夫次第で高性能なモデルは数多くあります。むしろパラメータが多いほど動作に大きなGPUメモリやコストが必要になるため、用途に合ったサイズを選ぶことが大切です。

更新を受け取る