メインコンテンツまでスキップ
機能 › ハーネス(AI の道具立て)メニュー:ハーネス(AI の道具立て) › ハーネスの設計 › 試してから選ぶ

試してから選ぶ

どのハーネスとどの AI が自分の仕事に合うかは、評判では決めません。開発の前に、同じ試験を全部の候補に流し、出来・時間・トークン・費用を並べて比べます。決めた結果は、ハーネスの設計の役ごとの表に入ります。

試してから選ぶの画面。統括の判断・画面の実装・守りの点検・キャラクターの画像の 4 つの試験の札と、統括の判断 20 問の結果の表が並んでいる
試してから選ぶ。同じ試験を全部に渡して比べる画面設計(開発中)・数字は見本

目的ごとの試験​

試験は、役の目的ごとに作ります。AI が設計図から作るので、そのハイブで本当にやる仕事に近い問いになります。

試験の例中身数
統括の判断仕事の分け方・順番・止める所の判断20 問
画面の実装設計図の画面を、決まった部品で作る10 本
守りの点検決まりに外れたコードを見つける30 件
キャラクターの画像ブランドの決めに合った絵を描く12 枚

同じ物を、全部のハーネスと AI の組み合わせに渡します。採点は、作った AI とは別の AI と、人の目で行います。

試す流れ​

  1. 目的を選ぶ:役ごとの表で、比べたい役を選びます。
  2. 試験を作る:AI が設計図から、その役の試験を作ります。人は問いを足したり外したりできます。
  3. 走らせる:「試験を走らせる」を押すと、同じ試験が全部の候補に流れます。
  4. 採点する:別の AI が採点し、人が見て直します。
  5. 比べる:出来・時間・トークン・費用を並べます。
  6. 決める:採る組み合わせに「採用」を付けます。役ごとの表の状態が「試した」になります。

結果の読み方​

統括の判断 20 問の結果の見本です。数は見本です。

組み合わせ出来(点)時間トークン判定
Claude Code・Opus 5.5・超高9241 分1.9M—
Claude Code・Opus 5.5・高9128 分1.2M採用
Codex・高8633 分1.4M—
Antigravity(API キー)8430 分調べ中—
DeepSeek(API)7825 分1.1M中国製
  • いちばん点の高い組み合わせが、いつも答えになるとは限りません。見本では、「超高」と「高」の差は 1 点で、「高」の方が時間は 3 分の 2、トークンは 35% 少なく済みました。統括は「高」で足りる、と読みます。
  • 「中国製」の札は、データの扱いの既定が違うことを示します。秘密を含まない下書きだけを回せば、費用を下げられます(データの扱い)。
  • 測れていない数は「調べ中」と出し、0 や推測で埋めません。

何を比べるか​

比べる物中身
出来採点の点。問いごとの正しさと、決まりを守ったか
時間走らせてから全部の答えが出るまで
トークン入力と出力の合計
費用トークンと値段の台帳から出した見込み。契約の枠で動く物は、使った枠の割合で出す
規約と守りできること表の「規約の注意」と「安全」の欄(ハーネスの設計)

同じ試験は、ハーネスの版が上がった時や、新しいモデルが出た時に流し直せます。技術のニュースで新しいモデルが出たと分かった時は、試験の候補に足す提案が届きます(技術のニュースと見張り)。

データの形​

型中身
HbEngineRun1 回の走り(ハーネス・モデル・思考の量・時間・トークン・結果)
HbRunEvent走りの出来事の流れ
HbCapabilityできること表の 1 行

次に読む​