OpenAI フィールドレポート：AIエージェントが脆い研究ソフトウェアを書き換えるが、研究者による厳密な検証が必須

OpenAIと学術パートナーによるフィールドレポートでは、主に生物学の分野で、CodexやClaude Codeなどのコーディングエージェントが研究ソフトウェアの維持、最適化、または書き換えに使用された8つのケーススタディが記録されています。プロジェクトは単純なメンテナンスから、最新の言語への完全な書き換えまで多岐にわたります。例えば、GPT-5.5はPythonライブラリcyvcf2のビルドプロセスを近代化し、2つのエージェント（Claude CodeとCodex）はMHCflurryの約10,000行のコードをTensorFlowからPyTorchに移行しました。rustar-alignerプロジェクトは、数千行に及ぶC/C++ツールであるSTARをRustで書き直し、テストデータセットに対して原版との一致性99.815%および99.883%を達成しました。15の品質管理ツールをまとめたRustQCは、実行時間を15時間34分から14分54秒に短縮しました（60倍以上の高速化）。BamSurgeonの代替であるHelixForgeは、全体で59.6倍、コア計算で98.6倍高速でした。しかし、エージェントはしばしば自信満々でありながら誤っていることがありました。例えば、bayesmの書き換えでは、2つのプロシージャに微妙なエラーが含まれており、そのうちの1つは制御パラメータの逆転、もう1つはスケーリング係数の誤りでした。研究者らは、人間が目標、成功基準、検証方法を定義し、エージェントは実装を担当すべきだと結論付けました。レポートは大幅な時間節約（例えば、NumPyのメンテナンスでは年間約650時間を節約できる可能性）を見積もっていますが、長期的なメンテナンスと責任が重要な課題であると強調しています。一部の変更は上流にマージされましたが、FastQCの変更は原作者に拒否され、代わりに元のJavaバージョンに改良が組み込まれました。レポートは回顧的であり、自己報告に基づいており、ボトルネックが実装から検証と科学的レビューに移行していることを指摘しています。このパターンは、METRの研究や、開発者チームのAIコードに対する不満に関する研究でも同様に報告されています。このレポートは、Kevin Weilが率いる専任チームとGPT-Rosalindのリリースを含むOpenAIの広範な科学戦略と一致しています。