AIエージェントの出発点は、人間が書いた「テキスト」だ
――目的と役割だけでなく、「いつ止まるか」まで決める
「AIエージェントが自律的に動く」と聞くと、 人間から離れた何かが、自分の意思で活動しているように感じます。
しかし、私がつくったエージェントの実態は、 人間が目的と役割を記したテキストです。 そのテキストをAIモデルに渡すところから、仕事が始まります。
１．「あなたは何者か」を、人間が書く
たとえば「この文章を読んで、読者が分からなくなる箇所を挙げてください」と書けば、 AIに読者の役割を与えられます。
「確定した設定と照合し、矛盾した箇所と根拠を示してください」と書けば、 今度は整合性を確認する役割になります。
モデルそのものが、別の生き物に変わるわけではありません。 人間が目的と役割をテキストで定め、AIモデルがそれに沿って仕事をする。 私には、これがエージェントを理解する入口になりました。
一つの仕事にも、いくつもの役割があります。 書く人、調べる人、読む人、矛盾を確かめる人。 それぞれの結果をつなげると、一つの大きな仕事を進められます。
ただし、エージェントの全体がテキストだけでできているわけではありません。 指示を受けるAIモデルがあり、資料を読んだりWebを検索したりする手段があり、 結果を受けて次の作業に進む仕組みがあります。 テキストは、その全体の目的と振る舞いを決める出発点です。［１］
２．「いつ止まるか」も、書かなければならない
ここで、役割の説明だけでは足りないことに気づきました。
「問題がなくなるまで直す」と書いたら、どうなるでしょう。 AIが文章を直し、別のAIが評価し、また修正を求める。 新しい問題を見つけるたびに、作業が続くかもしれません。
「必要な情報を集める」だけでも、どこまで集めれば十分なのか分かりません。 動き出した後に毎回人間の指示を待たないのなら、 終わり方も先に決めておく必要があります。
↓
書く
↓
評価する
↓
また調べて書き直す
↓
どこで終える？
たとえば、指示文にはこう書けます。 「重大な矛盾がなければ終了する」。 「新しい根拠のない指摘は繰り返さない」。 「判断が分かれたら、人間に返す」。
さらに、文章上の約束だけに任せず、実行するプログラムにも 作業回数や利用量の上限、承認が必要な操作、停止方法を設定します。 テキストが進み方を示し、実行の仕組みが上限を守る。 どちらも人間が設計するものです。［１］［２］
停止条件を書き忘れた瞬間に、AIがひとりで起動し、永久に動くという意味ではありません。 人間が動かした仕組みの中で、次の仕事が何度も呼ばれ、 予想以上に長く続くリスクの話です。
３．スピードを求めるほど、止め方が重要になる
私たちの社会では、早く調べ、早く作り、早く決めることに大きな価値が置かれます。 人が一つずつ確認するより、AIが次のAIへ仕事を渡した方が速く見えます。
ただ、速い仕組みは、目標を取り違えたときも速く進みます。 調査結果に誤りがあれば、それをもとに別のAIが文章を書き、 さらに別のAIが整った文章として評価するかもしれません。 外部のサービスを操作できるなら、誤った判断が現実の行動にもつながります。［３］
「AIの暴走」には、いろいろな意味があります。 現在のエージェントで具体的に考えたいのは、 人間が決めた目標や停止条件が不十分なまま、与えられた範囲で望まない作業を繰り返すこと です。
複数のエージェントをつないだからといって、 AIモデルが自分自身を再訓練し始めるわけではありません。 目の前で起き得る反復の問題と、将来の能力向上への懸念は、分けて考えたいと思います。
４．小説制作で、終わらない評価を経験した
私は長編小説を書く中で、執筆、読者視点、会話、情景、設定の整合性、 事業の現実性などの役割をAIに与えました。
ある一話を６つの担当で同時に評価すると、合計で約８２．７万トークン。 ファイルの読み込みは１３１回。 最も遅い担当が終わるまで、約１５分かかりました。
評価が８４点になり、文章を直す。 次の版ではある評価が上がり、別の評価が下がって、また８４点になる。 設定の一文と本文の台詞が衝突したときは、作者が決めない限り、 AIが何度評価しても結論は出ません。
第１版から第９版まで、作者の判断と再評価の往復を含めた経過は２日でした。 大げさな意味での「暴走」ではありません。 でも、何を任せ、いつ人間に戻し、どの条件で完成とするかを 決めていなければ、仕事は予想以上に長くなる。 そのことを、自分の現場で経験しました。
５．AIは、物理資源の上で動いている
この経験で、もう一つ当たり前のことを思い出しました。 AIは文章の中だけに存在するわけではありません。
モデルを動かすサーバー、半導体、メモリ、通信、冷却。 そして、それらを稼働させる電力が必要です。 国際エネルギー機関（IEA）も、AIの利用とデータセンターの電力需要を結びつけて分析しています。［４］
トークンは、AIが扱う文章などを数える単位です。 データセンターに蓄えた燃料ではありません。 私の約８２．７万トークンという記録から、電力量を直接計算することもできません。
それでも、計算資源と電力がなければ、AIの処理は続きません。 自律的に見える仕事も、物理的な基盤の上で動いています。
だからといって「電力を止めればよい」で済むわけでもありません。 すでに送ったメールや変更したデータは、サーバーを止めても元には戻らないからです。 仕事を始める前に、権限と終了条件を決めておく必要があります。
６．「何をさせるか」と「どこで止めるか」
エージェントの出発点は、人間が書いたテキストです。 そこに目的と役割を書く。 そのテキストが、AIモデル、道具、計算資源と結びついて、仕事として動き出します。
私は今、エージェントへの指示を考えるとき、 「何をしてほしいか」と一緒に、 「どこまで任せるか」「何を人間に返すか」「いつ終えるか」を考えるようになりました。
その条件を、実際に動かす仕組みでも守る。
目的を書くのも、止め方を決めるのも、人間です。 AIエージェントを使うとき、私たちの手元に残しておきたい設計は、 そこにあると思います。