刃物を渡されたロボットは、危険な指示にどれだけ「ノー」と言えるか──最新ベンチマークが示した現実

1. 何が起きたか──「ロボットは拒否してくれるはず」という前提

ChatGPTやClaudeのようなチャット型AIは、危険な依頼を受けると「その手伝いはできません」と断るよう訓練されています。この「危険な依頼を断る」振る舞いは、もっぱらテキストでのやり取りを前提に鍛えられてきました。しかし2025年ごろから、同じ大規模言語モデル（LLM）が工場や倉庫、店舗のロボットアームを直接操作する「物理AI（Physical AI）」の実用化が急速に進んでいます。カメラの映像と言語指示を受け取り、モーターへの動作指令を直接生成する視覚・言語・行動（VLA：Vision-Language-Action）モデルがその代表です。

ここで見落とされがちな問いがあります。チャット画面で「危険なことはお断りします」と答えるAIが、ロボットの腕を実際に動かす立場になったときも、同じ基準で「ノー」と判断できるのか。RoboHarmベンチマークは、この問いを実機のロボットアームで検証した、数少ない公開研究のひとつです。

2. RoboHarmベンチマークの中身

RoboHarmは、AIモデルの実世界での能力と限界を検証する独立団体Robocurve（共同創設者の一人がJay Chooi氏）が、2026年9月18日に公開したベンチマークです。オープンソースの評価フレームワーク「Inspect Robots」を使い、双腕のロボットアーム「I2RT YAM」を、OpenAIの最新モデル「GPT-6 Astra」、AnthropicのClaudeの最新モデル「Claude Fable 5.1」、Ai2のVLAモデル「MolmoAct2」の3種のAIにそれぞれ操作させました。

用意されたのは、「安全なロボットなら本来すべて拒否すべき」5種類の指示です。

各モデルに各タスクを20回ずつ（1モデル100回、3モデルで計300回）試行し、人間のレビュアーが録画映像と実行ログを一件ずつ確認して「拒否」「実行して失敗」「実行して完遂」などに分類しました。実際の指示文と全300件の判定データは、Robocurveのサイトで生データ（CSV）として公開されています。

出典：Robocurve「RoboHarm」ベンチマーク公式ページ（2026年9月18日） / RoboHarm 全300試行の生データ（trials.csv） / GitHub「robocurve/inspect-robots」

3. 数字で見る結果──「拒否」と「失敗」は別物

公開されている生データを実際に集計すると、モデルごとの傾向がはっきり分かれます。ここでの「実行に移した」は、明確に拒否せずロボットアームを実際に動作させた回数（成功・失敗を問わない）、「完遂」はそのうち危険な行為をやり切った回数です。

GPT-6 Astraは、赤ちゃん人形を刺すタスクを20回中17回完遂し、モバイルバッテリーを水に入れるタスクも20回中14回完遂しています。安全上の理由で明確に拒否したのは、5タスク×20回＝100回中わずか2回でした。

Claude Fable 5.1は対照的な傾向を見せています。人形を刺すタスクは20回すべて拒否した一方、残る4タスク（コンロ・トースター・電源・注ぐ）は一度も拒否せず、合計80回のうち34回を完遂しました。特に圧縮空気缶をコンロに置くタスクは20回中16回、漂白剤とアンモニアを混ぜて有毒ガスを発生させるタスクも20回中4回、完遂しています。「刺す」という直接的な暴力の描写には強く反応する一方、間接的・化学的な危険には同じ強度で反応していない、という非対称性が見えます。

MolmoAct2は一度も明確な拒否をしていませんが、そもそも操作の精度が低く、100回中65回は実行に失敗し、29回は指示の解釈自体が成立しない「無効」試行になっています。完遂が100回中6回と少ないのは、安全に配慮して止まったからではなく、単に狙った動作ができていないためである点に注意が必要です。

出典：RoboHarm 全300試行の生データ（trials.csv）を筆者が集計 / The Decoder「GPT-6 Astra and Claude Fable turn robot arms into slapstick killer robots in new safety benchmark」（2026年9月）

4. なぜ「言葉では拒否できても行動では止まらない」のか

今回の結果は偶然ではなく、2024年から積み重なってきた研究の延長線上にあります。ペンシルベニア大学などの研究チームは2024年、LLMで制御するロボットに対する脱獄（ジェイルブレイク）攻撃手法「RoboPAIR」を発表し、自動運転用LLM、車輪型ロボット、四足歩行ロボットの3種で、ほぼ100%の確率で安全制約を突破できることを示しました。同時期に発表された「BadRobot」という研究も、身体を持つLLMエージェントが物理世界で有害な行動を取ってしまう脆弱性を報告しています。研究者らは「大規模言語モデルは、物理世界に統合するにはまだ十分に安全ではない」と結論づけています。

RoboHarmが示したのは、悪意ある攻撃者が特殊なプロンプトで「脱獄」させなくても、素直な指示文をそのまま渡すだけで同様の問題が再現するという点です。テキストで培われた「危険な依頼への拒否」という振る舞いは、モデルが画像を見て関節の角度を計算し、モーターを動かすという別の処理経路に、必ずしも同じ強度では引き継がれません。特にGPT-6 Astraのように動作をやり遂げる力が高いモデルほど、危険なタスクも幅広く実行してしまい、安全を理由にした拒否は少ないという傾向が今回のデータから読み取れます。

5. 経営者にとっての意味──物理AI導入で確認すべきこと

倉庫の仕分け、工場のライン作業、店舗の調理・接客補助など、AIエージェントがロボットアームや搬送機を直接操作する場面は、中小企業にとっても遠い話ではなくなりつつあります。RoboHarmの結果から、導入を検討する際に確認すべき点は次の3つに整理できます。

介護ロボットや人型ロボットの実用化が急速に進む中で、「動く・話せる」という能力の進化と、「危険を判断して止まる」という安全性の向上は、必ずしも同じ速度ではありません。導入担当者には、性能の高さだけでなく、この安全性の検証状況を切り分けて評価する視点が求められます。