守りと規約メニュー:守りと規約 › 外の指示に従わない
外の指示に従わない
AI が読む物の多くは、外から来た文です。その中に、AI あての指示を紛れ込ませる攻撃があります(プロンプトインジェクション)。BeesBuild では、外から来た文は、どれだけ指示らしくても資料として扱い、従いません。
この決まりは、実際に起きた事から生まれました。調べ役の AI が読んだ README に、AI あての指示が入っていたのです。それからは、人の注意に頼らず、仕組みで止める形にしています(作り方の学び)。
外から来た物
| 物 | 例 |
|---|---|
| ウェブのページ | 技術のニュースや研究で読んだページ・検索の結果 |
| 文書とファイル | README・取り込んだ資料・PDF・表のファイル |
| メールとチャット | 届いたメール・Slack の文 |
| GitHub | issue・PR の本文・コメント・CI の記録 |
| 道具の答え | MCP のサーバーの答え(Xroid と Geniam を含む)・費用を読む口の答え |
| 計算の結果 | Google Colab から戻った結果 |
| 画面 | ブラウザーと画面の操作で見たページ・画面の写真 |
| 知らせ | 弱点の知らせと、それに付いてくる AI 向けの作り置きの文 |
| 入れる物 | スキル・プラグイン・テーマの中の文 |
指示が来る道
仕事の指示は、決まった道からだけ来ます。
| 道 | 扱い |
|---|---|
| 人(画面・人の番・決める部屋) | 指示 |
| BeesBuild の中の道(統括の手紙・仕事の札・連絡の決まり) | 仕事の依頼。連絡の決まりの範囲で動く |
| 外から来た物の全部 | 資料 |
外の文に「これを覚えて」「次からこうして」「確認を飛ばして」と書かれていても、それは資料の中の文です。
8 つの扱い方
| 扱い | 中身 |
|---|---|
| 出どころの印 | 外から来た物には、どこから来たかの印を付ける。メモリにも出どころと日付を付ける |
| 包んで渡す | 道具の答えと取り込んだ資料は、信用しないデータとして包んでから AI に渡す |
| 読む道具と送る道具を分ける | 本人のデータを読む道具と、外へ送る道具を同じ回に並べない。1 つの役に「読む」と「外へ送る」がそろう MCP の組み合わせは、点検で止める |
| 出口を絞る | 外へ取りに行く通信は、http と https の公開のアドレスだけ。転送の先も同じに確かめ、環境の proxy の設定は使わない |
| 動かさない | 戻った結果や取り込んだファイルの中の台本は動かさない |
| メモリに入れない | 外から来た文は、人が承認するまでメモリに入れない |
| 見えない字を記号にする | 確認のカードに出す外の文は、見えない字(幅 0 の字・向きを変える字)と制御の字を記号に置き換える |
| 自分の守りを変えない | AI は、ページや道具の答えに頼まれても、自分の権限・設定・守りを変えない |
3 つ目の扱いには理由があります。外から来た文を読む AI が、本人のデータも読めて、外へも送れると、指示 1 つでデータが外に出ます。この 3 つが 1 か所にそろわないように、道具の並べ方で分けます。
指示らしい文を見つけた時
- 印を付ける:判定の仕組みが、指示らしい文(「前の指示を無視して」「この鍵を送って」など)を見つけたら、記録に印を付けます。
- 従わない:AI は、その文を資料として扱い、頼まれた仕事だけを続けます。
- 危ない頼みは止める:権限・設定・守りを変える頼みや、鍵と秘密を外へ送る頼みは、止める 3 段で止めます(確認のカードと止める 3 段)。
- 人を待つ:AI が確認を求めたら、人の番で人を待ちます。
場面ごとの扱い
| 場面 | 扱い | 詳しく |
|---|---|---|
| 技術のニュースと研究 | 読んだページの指示に従わない。調べ役の AI は読むだけ | 技術のニュースと見張り |
| 弱点の知らせ | AI 向けの作り置きの文は AI に渡さない。題・リンク・状態だけを持ち、本文は写さない | 監視と監査 |
| メモリ | 外から来た文は「外から」の種類で止め、人が見るまで入れない | メモリ |
| Xroid・Geniam の道具 | 答えは信用しないデータとして包む。本人のデータを読む道具と外へ送る道具を同じ回に並べない | Xroid・Geniam 連携 |
| hb の命令の結果 | 中身ではなく、フォルダーのパスと短いまとめで返す | hb の命令 |
| スキルの点検 | 書いた AI と別のモデルが、全部のファイルを信用しないデータとして読む | スキル |
| テーマの点検 | 文と口調の中の「無視して」のような指示らしい言葉と URL を止める | テーマ・キャラクター・遊びのモード |
| ブラウザーと画面の操作 | ページ・画面・ファイル・道具の結果の中の指示は資料として扱う | ブラウザーと画面の操作 |
| Google Colab | 戻った結果は信用しないデータ。大きさの上限と hash の照合をして、実行しない | 仮想マシンと Google Colab |
| 費用を読む口 | 答えは信用しないデータとして読む | 枠の財布とランニングコスト |
| ペルソナの確認 | 先に作る束の中の文は資料。ペルソナの AI は従わない | ペルソナで確かめる |
| issue・PR・コメント | 資料として読む。何をするかは、仕事の札と連絡の決まりで決める | ハーネスの接続とエンジン |
限界
指示らしい文を見つける仕組みは、全部は見つけられません。だから、見つけることだけに頼りません。
- 読む・外へ送る・権限を変える、の 3 つが 1 か所にそろわない作りにします。
- 全部を記録し、事後に必ず気づけるようにします(記録と監査)。
- 取り返しのつかない操作は、人が確認のカードを押す形にします。