開発事例 / AIに安全に操作させる仕組み(ハーネス)

AIに社内データを触らせるときの、権限と記録の作り方

AIが動かせる範囲をあらかじめ決めたうえで、読む操作と書く操作を別々の操作として分けた。データを扱う操作は申請と承認を必須にし、判定は人が複数人で確認して決める。処理の記録を残し、AIが使えないときは別のAIに切り替えて止まらないようにした。

※ ※ 社内の評価基準と項目の中身は非公開

相談のきっかけ

商談音声のような取り扱いに注意が要るデータをAIに処理させるにあたり、誰が・何を・いつ処理したかを後から説明できる形にする必要があった。

この案件の中身

運用状況
実運用中(2026年11月時点)
対象業務
AIが社内データを扱う範囲の制限、データ取り込みの申請と承認、処理の記録、AI障害時の切り替え
導入前の手間
生成AIに社内のデータを渡す運用を広げるとき、「誰が・どのデータを・何のために処理したか」を後から説明できる形になっていなかった。とくに商談の音声は取り扱いに注意が要るため、担当者の判断だけでアップロードできる状態は避けたかった。
実装した範囲
  • —AIが呼び出せる操作をあらかじめ定義し、その範囲の外は実行できないようにした
  • —読む操作と保存する操作を、わざと別の操作として用意した。中身が同じ処理でも二つに分けてあり、保存する側は利用者がはっきり頼んだときにしか呼ばれない。AIに「保存していいか」を判断させない作りにしている
  • —AIに渡す操作の説明文に、見える範囲を書き込んだ。既定ではログイン中の担当者が持っている取引先しか見えず、全員ぶんを横断するには明示的な指定が要る
  • —人が確認する場面では、複数人がそれぞれ独立に判断し、決まるまでの経緯が記録として残る形にした。ひとりの承認だけで通らない
  • —AIの判定を自動で確定させない。確定は人の操作でのみ行われる
  • —データの取り込みは申請 → 承認 → 使用 の形にし、承認されていないものは処理されない
  • —申請にはファイルの指紋(ハッシュ)を持たせ、承認したものと違うファイルは使えないようにした
  • —承認には期限を設け、使ったあとは再利用できない状態に変わる
  • —誰が・何に・どう操作したかを記録に残す(操作者・操作・対象・内容・日時)
  • —上長が内容を確認してレビューする画面を用意し、確認の履歴を残す
  • —利用しているAIが応答しないときは自動で別のAIに切り替え、繰り返し失敗する場合は一時的に呼び出しを止める
確認できている成果
  • —AIが呼べる操作のうち、保存する操作は1つだけに絞った。計画を作る操作と保存する操作を分けてあるため、頼まれない限りAIはデータを書き換えない
  • —音声の取り込みを申請・承認制にし、承認されたファイルだけが処理される状態にした
  • —判定にかけた565件について、誰がいつ何をしたかと、決まるまでの経緯が残っている
  • —AIの処理が失敗したときに別のAIへ自動で切り替わる構成にし、片方の障害で業務が止まらないようにした
開発期間・体制
先にAIを動かす部分を作り、運用しながら「ここは人の承認が要る」という箇所を足していった。最初から全部を固めようとすると使われなくなるため、動かしながら絞る進め方をとっている
費用目安
既存のシステムにこの仕組みだけを足す場合、月額3万〜8万円(税別)が目安。対象の操作数と承認の流れによって変わります

御社の様式で無料試作 → この費用感で相談する →

安全のために入れたもの
  • —扱ったデータ:商談の録音と、担当者ごとの取引先の情報
  • —守り方:AIが呼べる操作を読む/書くに分け、保存する操作は1つに絞った。取り込みは申請→承認→使用で、承認したファイルの指紋(ハッシュ)と違うものは使えない。誰が・何を・いつ処理したかを記録
  • —人が確認する場面:取り込みの承認と、判定(複数人が独立に判断し、経緯が残る)
対応できない条件
  • —承認を挟む以上、その場ですぐ処理したい業務には向かない
  • —承認する人が決まっていない組織では、仕組みだけ作っても運用が回らない
  • —記録は残せるが、法令や業界基準への適合そのものを保証するものではない
今つくる場合の構成
AIエージェント、権限制御、読み取りと書き込みの分離、監査ログ、合議レビュー、フォールバック設計、フルスクラッチ開発

同じような相談をお持ちの方へ

この事例と近い状況であれば、上の「対応できない条件」に当てはまらないかを確認したうえで、同じ範囲を初期費用0円・月額制で作れます。稼働するまで課金は始まりません。まず状況を聞かせてください。

関連する事例

導入事例の一覧に戻る 料金の考え方