AIコーディングは実用容量で見る

いまのAIコーディングでは、モデルのベンチマークだけではなく、実際の作業を最後まで回せる容量とコストがかなり重要になる。Claude Codeは本番実装で使う選択肢になっているが、Fuguは現状だと期待より先に制限が来てしまった。

Codexの限界が見えてきた

今日はAIに関して二つ記録しておく。まずはCodexとClaudeについて。今まではCodexをメインで使っていたが、Codexの能力というかパフォーマンスの限界が、自分の中でかなり見えてきた。ここまではできるけど、ここから先は厳しいというラインがある。そこが無意識の領域でも分かるようになって、最近はClaude Codeもかなり使っている。

Claude CodeのUltra Codeが強い

Claude Codeには、Maxプランにすると使えるUltra Codeがある。以前、三カ月くらい前にClaudeを使っていた時は、性能がそこまで良くなく、粗も多くて、ちゃんとやってくれない印象があった。だからCodexをメインにしていた。ただ、今のClaude Codeは正直Codexを上回っていると感じている。汎用的なタスクはCodexでもいいが、本番で使うコードやコーディングタスクは、Claude Code、特にUltra Codeで回した方がいい。

容量もClaudeの方が多く感じる

最近、Claude側も一番高いプランにした。以前はCodexの方が圧倒的に容量が多いと思っていたが、今は肌感覚だとClaudeの方が容量も多い。測定したわけではないが、実際に使っている感覚では、Claudeの方がコーディング性能が高く、容量も多い気がしている。ChatGPTのMaxプランを二つ契約していて合計六万円くらい払っていたが、そのうち一つを解約して、今はChatGPTとClaudeの最上位プランで回す構成にした。

コーディングの競争はさらに激しくなる

AIは今後もどんどん容量が増えて、できることも増えていくはず。今はウェブサイトやアプリも問題なく作れるレベルになってきている。前は専門知識やエンジニアの介入がないと厳しいところがあったが、もう知識がない人でもかなり作れるところまで来ている。競争は激化しそうだが、AIの最先端はコーディングなので、ここは引き続き見ていきたい。

Fuguは期待して課金した

もう一つは、日本のSakana AIが出した独自モデルのFuguについて。日本企業で独自モデルを出しているところはほぼなかったので、これはすごいと思った。Claudeの最新モデルを上回るようなベンチマークも出していたので、とりあえず四千円くらいのサブスクプランに課金した。Codexに組み込めるような説明もあったので、Codex CLIからAPIをつないで、自分のリポジトリをレビューさせて性能を見ようとした。

レビュー一つで制限に当たった

ただ、自分のプロジェクトは大きい。レビューの途中で入力トークン、出力トークン、オーケストレーション、キャッシュ済み入力などの制限に当たり、レビュー自体が完了しなかった。一つのリポジトリのレビューもできずに制限が来た時点で、これは使えないと感じた。性能がどうであれ、体験プランでレビュー一つも回せないなら、ユーザーとしては金を捨てる感覚になる。Sakana AIは日本の企業なので頑張ってほしい気持ちはあるが、実際のユーザーはより安く、より高いパフォーマンスを出せるものを選ぶ。今の状態では、Fuguは正直まだ実用に乗らないという結論になった。

応援と実用判断は分ける

Claude Codeは本番実装で使う価値がかなり上がっている。一方で、Fuguは期待していた分、レビュー一つで制限に当たったのがかなり残念だった。応援したい気持ちはあるが、ユーザーとしては実用容量、コスト、性能をシビアに見るしかない。そこが改善されるかどうかを見ていきたい。