メインコンテンツまでスキップ
守りと規約メニュー:守りと規約 › 外の指示に従わない

外の指示に従わない

AI が読む物の多くは、外から来た文です。その中に、AI あての指示を紛れ込ませる攻撃があります(プロンプトインジェクション)。BeesBuild では、外から来た文は、どれだけ指示らしくても資料として扱い、従いません。

この決まりは、実際に起きた事から生まれました。調べ役の AI が読んだ README に、AI あての指示が入っていたのです。それからは、人の注意に頼らず、仕組みで止める形にしています(作り方の学び)。

外から来た物​

物例
ウェブのページ技術のニュースや研究で読んだページ・検索の結果
文書とファイルREADME・取り込んだ資料・PDF・表のファイル
メールとチャット届いたメール・Slack の文
GitHubissue・PR の本文・コメント・CI の記録
道具の答えMCP のサーバーの答え(Xroid と Geniam を含む)・費用を読む口の答え
計算の結果Google Colab から戻った結果
画面ブラウザーと画面の操作で見たページ・画面の写真
知らせ弱点の知らせと、それに付いてくる AI 向けの作り置きの文
入れる物スキル・プラグイン・テーマの中の文

指示が来る道​

仕事の指示は、決まった道からだけ来ます。

道扱い
人(画面・人の番・決める部屋)指示
BeesBuild の中の道(統括の手紙・仕事の札・連絡の決まり)仕事の依頼。連絡の決まりの範囲で動く
外から来た物の全部資料

外の文に「これを覚えて」「次からこうして」「確認を飛ばして」と書かれていても、それは資料の中の文です。

8 つの扱い方​

扱い中身
出どころの印外から来た物には、どこから来たかの印を付ける。メモリにも出どころと日付を付ける
包んで渡す道具の答えと取り込んだ資料は、信用しないデータとして包んでから AI に渡す
読む道具と送る道具を分ける本人のデータを読む道具と、外へ送る道具を同じ回に並べない。1 つの役に「読む」と「外へ送る」がそろう MCP の組み合わせは、点検で止める
出口を絞る外へ取りに行く通信は、http と https の公開のアドレスだけ。転送の先も同じに確かめ、環境の proxy の設定は使わない
動かさない戻った結果や取り込んだファイルの中の台本は動かさない
メモリに入れない外から来た文は、人が承認するまでメモリに入れない
見えない字を記号にする確認のカードに出す外の文は、見えない字(幅 0 の字・向きを変える字)と制御の字を記号に置き換える
自分の守りを変えないAI は、ページや道具の答えに頼まれても、自分の権限・設定・守りを変えない

3 つ目の扱いには理由があります。外から来た文を読む AI が、本人のデータも読めて、外へも送れると、指示 1 つでデータが外に出ます。この 3 つが 1 か所にそろわないように、道具の並べ方で分けます。

指示らしい文を見つけた時​

  1. 印を付ける:判定の仕組みが、指示らしい文(「前の指示を無視して」「この鍵を送って」など)を見つけたら、記録に印を付けます。
  2. 従わない:AI は、その文を資料として扱い、頼まれた仕事だけを続けます。
  3. 危ない頼みは止める:権限・設定・守りを変える頼みや、鍵と秘密を外へ送る頼みは、止める 3 段で止めます(確認のカードと止める 3 段)。
  4. 人を待つ:AI が確認を求めたら、人の番で人を待ちます。

場面ごとの扱い​

場面扱い詳しく
技術のニュースと研究読んだページの指示に従わない。調べ役の AI は読むだけ技術のニュースと見張り
弱点の知らせAI 向けの作り置きの文は AI に渡さない。題・リンク・状態だけを持ち、本文は写さない監視と監査
メモリ外から来た文は「外から」の種類で止め、人が見るまで入れないメモリ
Xroid・Geniam の道具答えは信用しないデータとして包む。本人のデータを読む道具と外へ送る道具を同じ回に並べないXroid・Geniam 連携
hb の命令の結果中身ではなく、フォルダーのパスと短いまとめで返すhb の命令
スキルの点検書いた AI と別のモデルが、全部のファイルを信用しないデータとして読むスキル
テーマの点検文と口調の中の「無視して」のような指示らしい言葉と URL を止めるテーマ・キャラクター・遊びのモード
ブラウザーと画面の操作ページ・画面・ファイル・道具の結果の中の指示は資料として扱うブラウザーと画面の操作
Google Colab戻った結果は信用しないデータ。大きさの上限と hash の照合をして、実行しない仮想マシンと Google Colab
費用を読む口答えは信用しないデータとして読む枠の財布とランニングコスト
ペルソナの確認先に作る束の中の文は資料。ペルソナの AI は従わないペルソナで確かめる
issue・PR・コメント資料として読む。何をするかは、仕事の札と連絡の決まりで決めるハーネスの接続とエンジン

限界​

指示らしい文を見つける仕組みは、全部は見つけられません。だから、見つけることだけに頼りません。

  • 読む・外へ送る・権限を変える、の 3 つが 1 か所にそろわない作りにします。
  • 全部を記録し、事後に必ず気づけるようにします(記録と監査)。
  • 取り返しのつかない操作は、人が確認のカードを押す形にします。

次に読む​