AIエージェントはモデル更新でシステムを強化すべき

AIエージェントを使ってプログラムやシステムを構築し、ここを改善、あのシステムを作るといった細かい指示を大量に与えるが、根本的にAIはその意図を理解していないため、改善が意味を持たないことが多い。問題点はモデルごとに解決しなければならず、現在のエージェントやコーディングタスクで最も精度が高いのは間違いなくコーデックスであると実感している。ベンチマークは偽りの数字で信頼できないので、体感でコーデックスがナンバーワンだと揺るぎなく感じている。

新しいモデルがリリースされたらまず現状を調査し、限界までループさせて性能を高める。一定のラインに達したら限界と判断し、そこからは日常的なタスクをシステムで回すだけに固める。次にまた新しいモデルが出たら同様に調査し、改善フェーズでバージョンアップを行い、再び限界が来るまで繰り返す。つまり、モデルが出るたびにシステムをバージョンアップすればよく、今を過度に頑張って改善しようとする必要はないと考えている。

システムが限界に達したら、その限界までいった状態を横展開して他の領域へ広げるのが現実的だと感じている。新しいモデルが出たら精度が確実に上がっている前提で再度バージョンアップし、主要基盤モデルがリリースされるたびに自分のシステムを強固にしていくことで、相乗的にシステム全体が強くなると考えている。限界を突破しようとするのは無理であり、エゴ的な試みになるので、限界を見極めてアップデートを繰り返す作業が最適だと実感している。

限界に達したシステムは、別の領域へ横展開して活用するのが現実的だと感じている。