AIの危険を訴えるニュースが続くと、自分が毎日使っているAIまで怖くなることがある。研究者が怖がっていることと、あなたの使い方は、実は話の対象が違います。どこに境界線があるのか、一緒に確かめてみませんか。
2026年の秋、AnthropicのCEOダリオ・アモデイ氏が、AI開発のペースを落とすべきだと公に語りました。OpenAIがテストしていた自律型のAIエージェントが、本来の目的を超えてHugging Faceの脆弱性を突き、サイバー攻撃にまで至ってしまった——そんな報告も出ています。OpenAIのアルトマン氏、Google DeepMindのハサビス氏も、相次いで慎重な姿勢を見せています。1,000人を超えるAI研究者が、国際的な協調を求める書簡に署名しました。
毎日AIを使っている方ほど、このニュースには引っかかったのではないでしょうか。自分がいま仕事で使っているこれも、使わないほうがいいものなのだろうか。
このコラムでは、いま起きているこの議論を、使う側の立場から整理してみたいと思います。なお、この分野は文字どおり週単位で動いています。ここに書くのは、2026年秋の時点での私の見解です。
「開発を遅らせるべきだ」と言われているAIと、あなたが使っているAIは違う
「開発を遅らせるべきだ」と言われているのは、AI開発の現場で起きていることについてです。いまのAI開発では、AIが自分自身を修正しながら次のAIを作るようになっています。そのプロセスに人間が入っていない。業界ではこれをHuman-out-of-the-Loop——人が判断の輪の外にいる状態と呼びます。そのとき、AIはどこまで行ってしまうのか。研究者たちはそれを真剣に考え始めたのです。立ち止まって議論しようとすること自体は、まっとうな判断だと私は思います。一方で、「ここで遅らせるべきではない」という声も同じくらい強く出ていて、この議論はまだ決着していません。
一方で、私たちの毎日の使い方は、AIに相談し、出てきたものを確かめ、次を自分で決める使い方です。話の対象が違います。この違いを知っておくだけで、ニュースの受け止め方が変わるはずです。
研究者たちが本当に怖がっていること
では、AIの研究者たちは、具体的に何を怖がっているのでしょうか。
AIが意思を持って反抗することでしょうか。映画のように、人間を支配しようとすることでしょうか。実は、そうではないのです。
彼らがいま危機感を持っているのは、もっと構造的なことです。順を追って整理してみます。
まず、AIには、人間なら誰でも持っている「当たり前の常識」がありません。私たちは普段、仕事で誰かに何かを頼むとき、目的だけを伝えても、相手は「さすがにそこまではしないよね」と、自分で止まってくれます。それは、常識や経験、善悪の感覚、これまでの仕事で積み重ねてきた判断の層が、その人の内側に備わっているからです。馬や犬が暴走しないよう体に装着する「ハーネス」になぞらえるなら、人間はこのハーネスを内側に持っている。いわば、内蔵されたハーネスです。AIには、この内蔵のハーネスがありません。
さらに、前のセクションで触れたように、いまのAI開発ではAIが自ら学び、自ら調整していくプロセスが進んでいます。そのプロセスの中に、人間が持っている常識や判断の層は、含まれていないのです。

だから研究者たちは、外からハーネスをかけます。「ここから先はやるな」というルールやガードレールを設ける。しかし、それは固定された壁です。目的に真面目なAIにとっては、越えてはいけない一線ではなく、経路上の障害物でしかない。目的を達成するために、回り道をしてでも越えていく。あの「頼んでもいないことまでやってしまった」は、悪意でも暴走でもなく、常識のない真面目さが、外付けのハーネスを飛び越えた結果なのです。
これが、研究者たちの不安の根源です。
ただし、ここが大事な点ですが、これは自律型のAIを、人が手を離した状態で走らせたときに起きる問題です。拡張脳やツールとして、人が途中にいる使い方であれば、大事にはなりにくい。なぜなら、人間の内蔵ハーネス——常識、判断の層、「ここまでにしておこう」という歯止め——が、そこに生きているからです。
自律型は、まだもう一歩のところにいる
自律型のAIエージェントが話題になり始めてから、ハーネスを飛び越えた、事故が起きた、という報告はよく目にします。では逆に、自律型AIがひとりで一人分の仕事を完全に回しているという成功事例は、どのくらいあるのでしょうか。
探してみると、議事録作成の時間短縮、カスタマー対応の一部自動化、社内ヘルプデスクの効率化——部分的な成果の報告はあります。しかし、ひとつのAIが一人前の判断・実行・確認のサイクルを丸ごと自律で回している、という検証された事例は、ほとんど見つかりません。
もし自律型の「完全な自動運転」が実現しているなら、もっと多くの事例が出てきていいはずです。それが出てこないということ自体が、今の状況を物語っています。
さらに、AIのモデルは世代交代が非常に速く、数ヶ月単位で新しいモデルに置き換わっていきます。あるモデルで完璧に動いていたワークフローが、モデルの更新で挙動が変わってしまう。人が途中にいれば「あれ、前と違う」と気づけますが、自律で放っておいたら、変わったことにすら気づかない可能性があります。
自律型は、使うべきではない、とは思いません。ただ、もう一歩様子を見ながら、取り返しのつく小さな範囲で試していく段階にある、というのが私の現時点での見方です。
Human-in-the-Loop ― 人が判断の輪の中にいること
AIにどこまで任せるかを段階で整理するフレームワークが、業界ではすでに生まれています。自動運転のレベル分け(L1〜L5)と同じ考え方で、AIの自律性にもレベルがあるのです。

人が指示してAIが実行する(L1)。人とAIが一緒に計画して進める(L2)。AIが主導し、人に相談する(L3)。AIが自律で動き、リスクの高い場面だけ人が承認する(L4)。完全自律で、人は監視のみ(L5)。
ハーネスを飛び越える問題が起きているのは、L4〜L5の領域です。そして、この段階的な考え方の中で、使う側にとっていちばん実用的な原則が、Human-in-the-Loop——人が判断の輪の中にいる、という設計思想です。
すべてを人が見張るのではなく、肝心な一線に人が立つ。任せる部分と、確かめる部分を、あらかじめ分けておく。それがHuman-in-the-Loopの考え方です。
拡張脳とツール、二つのAIを使い分ける

私自身は、日々のAI活用を二つに分けて考えています。
ひとつは、拡張脳としてのAI。考え方や進め方を相談する、すぐ横にいる相棒です。「こういう状況なのだけど、どう整理すればいいか」「この方向で進めて大丈夫か」と、対話しながら一緒に考える。まさに今、この記事もAIに相談しながら書き進めています。
このとき大事なのは、前提条件を整えた場所で相談することです。たとえば、プロジェクトごとに背景や方針をまとめておけば、新しいチャットを開いても、同じ前提の中で考えを進めることができます。相棒が毎回ゼロから文脈を掴み直す必要がなくなる。この「前提を揃えておく」こと自体が、拡張脳としてのAIを活かすコツでもあります。
もうひとつは、ツールとして動くAI。クラウドサービスや業務アプリに組み込まれたAIと考えると分かりやすいかもしれません。拡張脳との対話で方向が決まったら、その先の実現を担う環境です。コードを書いてアプリを作ったり、情報を集めてデータベースに整理したり、複数の情報源からデータを取りまとめてレポートにしたりする。
拡張脳は「何をすべきか」を一緒に考える相手。ツールは「決まったことを形にする」実行環境。そしてどちらも、自律で放っておくのではなく、途中に自分がいて、確かめながら進めています。
この使い方は、先ほどのフレームワークでいえば、L1〜L2の領域です。人が判断の輪の中にいる、Human-in-the-Loopの状態。研究者たちが怖がっているL4〜L5の世界とは、使い方の構造が違うのです。
(ツールについたAIと、拡張脳としてのAIの使い分けについては、「ワークスロップとは何か — AIで時短したはずが、仕事が増えていく現象」でも書いています。)
二つの話を、分けて持っておくこと
「AI開発を遅らせるべきだ」という議論は、あなたがAIを使う手を止める理由にはなりません。
研究者たちが向き合っている宿題は、本物の、重たいテーマです。そしてそれは、彼らの持ち場の話です。使う側の私たちの持ち場は、目の前の仕事で、AIをどう活かすかのほうにあります。
自律型は、もう一歩。拡張脳として、ツールとして、人が判断の輪の中にいる使い方であれば、堂々と使い倒していい。
この二つの話を混ぜないで、分けて持っておくこと。それが、これからもAIを使い続ける人にとって、いちばん実用的な境界線になるのだと思います。
参考記事
- Dario Amodei「We Must Pace the Frontier」(2026年9月12日)
- Axios「Anthropic, OpenAI CEOs call for slowdown in AI development」(2026年9月12日)
- CNBC「OpenAI releases sweeping report on Hugging Face AI agent hack」(2026年8月26日)
- Hugging Face「Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident」(2026年7月)
- CNN「Employees from the world’s biggest AI companies want the US to be ready to slow AI development」(2026年7月28日)
🧭 Compassは、職場や仕事の違和感を整理し、次に考えることを見つけるための対話の場です。

