「就業規則のこの場合はどうなる？」「この製品の保守は年何回？」。社内の資料に書いてあるのに、探すより人に聞く方が早い。その「人に聞く」をAIに置き換える技術がRAGです。
結論を先に書くと、RAGとは「AIが答える前に社内文書を検索して、見つけた箇所を根拠に答える」仕組みです。AIに自社のことを覚え込ませるのではなく、答えるたびに資料を見に行かせます。だから資料を差し替えればすぐ反映され、「どの資料のどこを見たか」も示せます。
この記事では、仕組みを図1枚で、ファインチューニングやローカルLLMとの違いを表で、費用の目安と実際に運用している事例を、作っている側の立場で書きます。
結論：RAGは「資料を見ながら答えるAI」
RAG（Retrieval-Augmented Generation、検索拡張生成）の動きは3段階です。
- 社員が質問する
- 社内文書の中から、質問に意味の近い箇所を数件探す
- 質問と、見つけた箇所をセットでAIに渡す
- AIがその箇所を根拠に答え、どの資料を見たかを添える
ポイントは、AIが「自分の記憶」で答えないことです。ChatGPTをそのまま使うと、それらしい嘘（ハルシネーション）を答えることがありますが、RAGは資料という事実を見ながら答えるので、誤答が減ります。見つからなければ「分からない」と返す作りにもできます。
RAG・ファインチューニング・ローカルLLMの違い
この3つは混同されやすいのですが、答えている質問が違います。
| RAG | ファインチューニング | ローカルLLM | |
|---|---|---|---|
| 何の話か | 何を見て答えるか | AIに何を覚えさせるか | AIをどこで動かすか |
| やること | 資料を検索して渡す | モデルを追加学習させる | AIを社内のサーバーで動かす |
| 情報の更新 | 資料を差し替えるだけ | 再学習が必要 | （RAGと組み合わせる） |
| 根拠の提示 | どの資料か示せる | 示しにくい | （RAGと組み合わせる） |
| 向いている用途 | 社内の質問対応、文書検索 | 文体や専門用語の癖を覚えさせる | 外に出せない資料を扱う |
| 費用感 | 比較的安い | 高い（データ整備と学習） | サーバー費が別途かかる |
中小企業が「社内の質問に答えるAI」を作りたいなら、まずRAGです。ファインチューニングは「自社の言い回しで書かせたい」ときに検討するもので、知識を足す目的では割に合いません。ローカルLLMはRAGの代わりではなく、RAGのAI部分を社内で動かす選択肢です。詳しくはローカルLLMとはに書いています。
RAGでできること
「社内のことを聞けば答えてくれる人」をAIで作るイメージです。
- 社内ヘルプデスク：就業規則、経費精算のルール、申請の手順
- 技術の継承：ベテランの作業手順書や過去のトラブル記録を若手が質問
- 営業支援：過去の提案書・見積から似た案件を探す
- 問い合わせ対応：製品マニュアルをもとに一次回答を作る
- 製造現場：作業手順や図面の仕様を現場で確認
共通しているのは、「資料はあるが探せない」「ベテランしか知らない」という状態の解消です。
作り方（4ステップ）
1. 資料を集めて、整える
PDF・Word・Excel・社内Wikiなど、読ませたい資料を集めます。ここが精度の8割を決めます。古い版と新しい版が混ざっていると、AIは両方を根拠にして矛盾した答えを返します。
2. 検索できる形に変える
資料を意味で検索できる形（ベクトル）に変換して、専用のデータベースに入れます。長い資料は段落ごとに分けます。ここは道具で自動化できます。
3. 検索とAIをつなぐ
質問が来たら「検索→該当箇所を添えてAIに渡す→回答」が動くようにします。AIはChatGPTのAPIでも、社内で動かすローカルLLMでも構いません。
4. 画面を用意する
社員が使うチャット画面を用意して完成です。「どの資料を見たか」を表示し、部署や役職で見える資料を分ける仕組みも、この段階で入れます。
費用の目安
| 作り方 | 費用の目安 | 向いている場合 |
|---|---|---|
| 既製のSaaSを使う | 月数万円〜 | 資料が社外に出てよい。すぐ試したい |
| 自社で内製する | 人件費＋APIの従量料金 | 社内に作れる人がいる |
| 専用に構築する（当社） | 初期費用0円・月額1万円〜（税別）。サーバー費は別途 | 外に出せない資料がある。権限や記録が要る |
既製のSaaSは手軽ですが、社内文書を外部のサーバーに置くものが多く、図面・契約書・顧客情報を読ませるなら確認が要ります。当社は、資料をどこに置き、AIをどこで動かすかから一緒に決めて作ります。費用の考え方はAI導入費用の考え方｜方式別の予算・見積もり内訳・計算例にまとめています。
実際に運用している例：資料約800件・社員50名
当社が構築した社内AIナレッジ検索の例です。共有フォルダに資料が約800件あり、ファイル名がばらばらで検索が効かず、探すのに1回10分、見つからなければベテランに聞く、という問い合わせが1日10回ほどありました。
作ったのは、約800ファイルを質問文で検索できる仕組み（RAG）、答えだけでなくどの資料のどこを見たかを示す表示、見つからなければ「分からない」と返す作り、部署や役職で見える資料を分ける権限です。よく聞かれる資料から取り込み、答えの精度を確かめながら対象を広げました。いまは社員50名が使い、質問は月300回ほど。費用は月額2万〜6万円（税別）・初期費用0円です。
限界も書いておきます。元の資料が間違っていれば答えも間違います。画像だけのPDFや図で説明している資料は読み取りの精度が落ちます。資料が更新されたときの取り込み方を決めておかないと、古い内容を答え続けます。詳しくは社内AIナレッジ検索の事例に書いています。
RAG × ローカルLLMで「外に出ない社内AI」
RAGのAI部分をローカルLLMにすると、資料も、質問も、回答も、社外に出ない社内AIになります。ChatGPTへの入力を心配している会社が求めている形はこれです。小規模なら月数千円のサーバーで動き、GPU搭載機を置く場合は機器費がかかります。
当社がどう安全に作っているかは、安全にAIを入れる当社のやり方にまとめています。
よくある質問
Q. RAGとは何ですか？
AIが答える前に社内文書を検索し、見つけた箇所を根拠に回答する仕組みです。AIに覚え込ませるのではなく、答えるたびに資料を見に行かせるので、資料を差し替えれば次の質問から新しい内容で答え、どの資料を見たかも示せます。
Q. ファインチューニングとどちらを選べばいいですか？
社内の知識を答えさせたいならRAGです。ファインチューニングはモデルの追加学習で、知識の更新のたびに再学習が要り、根拠も示しにくいため、知識を足す目的には向きません。自社の文体や専門用語の癖を覚えさせたいときに検討します。
Q. 精度はどのくらい出ますか？
元の資料の整理で決まります。古い版が混ざっていれば矛盾した答えになり、画像だけのPDFは読み取れません。当社の事例では、よく聞かれる資料から取り込み、答えを確かめながら対象を広げる進め方で、社員50名が月300回使う運用になっています。
Q. 費用はいくらかかりますか？
既製のSaaSなら月数万円〜、内製なら人件費とAPIの従量料金、当社の専用構築なら初期費用0円・月額1万円〜（税別、サーバー費別）です。資料約800件・社員50名の事例で月額2万〜6万円です。
Q. 機密文書を読ませても漏れませんか？
AI部分をローカルLLMにすれば、資料も質問も回答も社外に出ません。クラウドのAIを使う場合も、学習に使われない契約（API等）を選び、資料の置き場所と権限を決めてから始めます。
まとめ
- RAGは「資料を検索して、根拠つきで答えるAI」。覚え込ませるのではなく、見に行かせる
- ファインチューニングは「覚えさせる」、ローカルLLMは「どこで動かすか」。目的が違う
- 精度は資料の整理で決まる。よく聞かれる資料から始めて広げる
- 費用は既製SaaSで月数万円〜、当社の専用構築で初期0円・月額1万円〜（サーバー費別）
- 外に出せない資料があるなら、RAG × ローカルLLM
「うちの資料でどこまで答えられるか」は、資料の種類と量を伺えば当たりがつきます。下のフォームからどうぞ。
