AIに任せる。
だから、止める仕組みを。
実務をAIエージェントに任せるために、自社で入れている安全策。
AIは間違える。
だから、間違えても困らない位置に。
指示文だけでは、守られない
私たちは、会計の記帳、Webサイトの更新、動画の制作と投稿を、AIエージェントに任せています。AIは便利ですが、思い込みで作業を広げたり、終わっていないことを終わったと報告したりします。注意書きを増やしても、それだけでは防ぎきれませんでした。
そこで、AIが間違えても大きな被害にならないよう、取り消しにくい操作を人に残し、守るべき規則を機械に確かめさせています。以下の8つは、実際の失敗をきっかけに足してきたものです。
入れている仕組み
- 01お金と帳簿は、承認を通ったものだけ。
経理の書き込みは「提案 → 承認 → 実行 → 完了」の順にしか進みません。AIが記録できるのは提案までで、承認・送金・ログインは人が行います。提案の中身は固定して保存し、誰がいつ承認したかを残します。
きっかけ方針として最初に決めたことです。取り消しにくい操作は、AIに任せる範囲に入れていません。
- 02鍵やパスワードは、AIに見せない。
パスワード管理はサービスアカウント方式に一本化し、AIは決められた窓口からだけ必要な情報を取り出します。用途ごとに取り出せる範囲を分け、影響の大きい鍵は常に置かず、使うときだけ渡します。
きっかけ2026年7月、ある定期処理が決められていない経路で鍵を取りに行き、確認画面を出し続けたまま数時間止まりました。
- 03規則は、記憶ではなく機械で守らせる。
AIがコマンドを実行する直前に、検査プログラムが内容を確かめます。決められていない方法での鍵の取り出し、稼働中の重要なフォルダの削除、履歴の強制上書きなどは、その場で拒否されます。
きっかけ上の停止の翌日に導入しました。AIへの指示文に書いても、守られない場面があったためです。
- 04帳簿への登録は、ルールで止める。
登録の前に、税区分が明示されているか、科目や取引先の対応が過去と合っているかを決まった規則で判定し、1件でも合わなければ全件を登録しません。登録後は読み戻して確かめ、期間全体の仕訳を同じ取引先・科目の全月と比べる監査も回します。
きっかけ一括登録した仕訳の一部で、税区分が既定値のまま入っていました。入力済みの帳簿を正しいものとして点検していたため、その後の確認でも見逃していました。
- 05「終わりました」を、自己申告にしない。
作業を完了と呼べるのは、権限の範囲内で状態が進み、元になる記録が更新され、変更が履歴に保存されたときだけです。週に一度、保存されていない変更や古くなった記録がないかを機械的に探します。
きっかけ引き継ぎの確認で、終わっている作業が「未着手」のまま記録され、次のAIが同じ作業をやり直しかけた例が見つかりました。
- 06やりすぎは、別のAIが止める。
AIが「次はこれを」と作業を広げようとするときは、別の会社のAIが、それが本当に頼まれた範囲かを判定します。範囲を超えていれば、その場で見直させます。
きっかけ指示を出し続ける連鎖で、小さな分析の依頼が、常設の大きな仕組みにまで膨らんだことがありました。
- 07外部の協力者には、窓口だけを開く。
外部の方には、チャットでの依頼と、成果物へのレビューだけをお願いできる窓口を用意しています。実際の作業は社内のAIだけが行い、窓口には取り消しのきく情報しか置きません。
きっかけ窓口を作る段階の社内レビューで見つかった弱点は、その場で構成を変えて塞いでから運用を始めています。
- 08毎日、業務とは別の場所へバックアップ。
作業データ全体を暗号化し、毎日差分でバックアップしています。保管先は業務で使うクラウドとは別のサービスにし、ひとつのアカウントの障害で両方を失わないようにしています。
きっかけ2026年7月の棚卸しで、作業環境のバックアップがなかったことが分かり、その週のうちに始めました。
まだ足りないところ
機械の検査は、決めた規則に当てはまるものしか止められません。別のAIによる判定が、本来必要な作業まで止めてしまう割合も、まだ測れていません。最終的な判断を人が持つ前提は、今後も変えないつもりです。
内部の構成、接続先、利用しているアカウントの情報は掲載していません。仕組みの名前は、一般的な言葉に言い換えています。