モデルを変えるとパフォーマンスが低下する

Date2026/09/11
Last Modified2026/09/11

概要

会話中にトークンが足りなくなってきて、モデルを変更したいなと思うことがある。
このとき「モデルを変更するとパフォーマンスが低下する」という警告が出るが、それって本当なのかなと思って調べてみた。

モデル変更とパフォーマンスの低下は間接的な要因である

仮説として「会話中にモデルが変わったとしても、コンテキストを取り戻せば何も変わらないのでは」と考えた。
会話と出力されたコードはそこにあるし、もし考え中のことがあったなら、変更前のモデルから共有してもらえばいいのではないかと思った。
仮に別のモデルから渡された情報のせいで混乱する、という方が妥当かなと思っていた。

調べたところ、実際「完璧にコンテキストを渡せたら、十分なパフォーマンスを発揮しうる」ということだった。
まさに人員交代したときの引継ぎと同じで、完璧に引き継げたのなら、そのモデルをパフォーマンスが100%発揮されるらしい。
しかし完璧に引き継げないのは原因があって、「前のモデルが考えていたことは、次のモデルが引き継ぐことができない」ということらしい。

会話として、コードとして、仕様に紐づく部分が出力されていればコンテキストとして拾いやすい。
しかし、推論の源となっているKVキャッシュと呼ばれる未出力情報は、モデル間で引き継いだ時に構造の違いなどで欠落してしまう可能性が高いという。
そういった欠落が、「AはいいけどBはダメ」のような約束事の引き継ぎで表面化すると、いわゆるパフォーマンスの低下という表現になるらしい。

ちなみに同じ世代間で変更するよりも、別モデルに移行する方が欠落の可能性が高い模様。（5.6 Sol -> 6 Astra）

個人的にはこれを聞くと「コンテキストの欠落」という面が大きいなと感じる。パフォーマンスが落ちるというよりは、情報を失って困っているというだけなので、それはまた補完してやれば、会話の中で復帰していけると思われる。
けれど、どのコンテキストが落ちたのかと石橋をたたいて渡るくらいなら、結局新しい会話セッションを立ち上げたほうがいい気がする。

ちなみに推論を変更するとどうなる

推論レベルというと抽象的になるが、「思考量と時間量」という風に置き換えれば少しわかりやすい。（厳密には違うらしい）
つまり、同じモデルで推論を変えただけならば、コンテキストの欠落はほとんど起こりにくく、ただ単純に推論レベルを変えたあとの推論レベルになる、というだけである。
同じ人の思考時間を変えただけ、と例えてみれば想定しないパフォーマンスの低下は起こりにくい、といえそう。