「8万円のデザイン制作を外注したい。部長の承認があれば発注していい？」
社内AIは「はい」と答え、根拠として購買規程を示した。ところが調達部から「事前にこちらの承認が必要です」と連絡が来る。
AIの誤回答として報告が上がる。担当者が調べると、規程には「10万円未満は部長承認のみで発注可能」、調達部のFAQには「外注は金額にかかわらず調達部の事前承認が必要」と書かれている。どちらも現行版。現場では、急ぎの案件を発注後に相談していることもある。
これは架空の例です。ただ、ここで「もっと賢いモデルに替えよう」と話を進めると、重要な問いが残ります。
この会社は、この場合の正しい手続きを決めているのでしょうか。
間違いを全部「AIの精度」に入れると、直す場所を見失う
RAGは、社内文書などを検索し、その結果を使ってAIに回答させる仕組みです。誤回答が出たとき、まず疑うべき技術的な原因はあります。
必要な資料を検索できていない。例外条件が文書の分割で落ちた。取得できた根拠をモデルが読み違えた。正しい資料を渡しているのに、書かれていない条件を補った。
こうした問題には、検索や文書の分割、生成時の指示、評価の改善が効きます。具体的な切り分けは、RAGの精度が上がらない7つの原因で整理しています。
ただ、根拠をすべて集めたあとにも矛盾が残ることがあります。資料をたくさん読めるAIほど、その矛盾を拾ってしまう。検索が成功したからこそ、会社の説明が一つになっていないことが見えるわけです。
ここを区別せず、誤回答という箱にまとめてしまうと、担当者はプロンプトを何度も直すことになります。「必ず正しい回答をしてください」と書き足しても、組織内の合意は増えません。
「矛盾している」には、別々の事情がある
とはいえ、資料の答えが違うだけで「会社が決めていない」と結論づけるのも早計です。
たとえば一方は国内の正社員向けで、もう一方は海外拠点向けかもしれません。FAQの「外注」が、規程とは異なる契約区分を指している可能性もあります。本文の前後や対象者の情報を戻せば、両方とも正しくなることがあります。
また、今月改定された規程と、昨年のFAQを一緒に検索しているだけなら、施行日と版の管理を直すべきです。この問題は社内規程RAGの旧版・新版管理の領域です。
整理すると、少なくとも次の違いがあります。
| 食い違いの理由 | 必要になる対応 |
|---|---|
| 対象者や適用条件が違う | 条件を回復し、利用者に必要な確認をする |
| 旧版と現行版が混ざっている | 施行日や失効状態で使う根拠を絞る |
| 正式文書と参考情報が競合している | 会社が定めた優先関係に従う |
| 同じ条件の現行文書が衝突し、優先関係も決まっていない | 権限を持つ人や部署が判断を確定する |
Google Researchが紹介する研究「(D)RAGged Into a Conflict」も、取得した情報の衝突には複数の種類があり、種類に応じた回答が必要だとしています。実験では、衝突の種類を明示的に扱うことで、期待される回答行動が改善しました。ただし、これは検索結果を使った研究であり、企業内の意思決定を調べたものではありません。研究概要
この考え方を社内AIに当てはめると、「どちらの文が正しそうか」を選ぶ前に、「何が原因で食い違っているか」を確かめる必要があります。
最新版を選んでも、解けない問題がある
冒頭の例で、購買規程がFAQに優先すると会社として定めているなら、答えはかなり明確です。AIはその関係を使い、FAQに不整合があることも示せます。
難しいのは、調達部が「FAQは規程の補足だ」と考え、現場は「少額案件には適用されない」と理解していて、どちらの扱いも放置されてきた場合です。同じ案件について、担当部署によって求める手続きが違う。資料の日付を比べても、この食い違いは解消しません。
ここでAIが新しいほうのFAQを採用すると、更新日時が事実上の決裁権になります。社内で頻繁に繰り返される説明を採用すると、文章の多さが決裁権になります。現場の実例に寄せれば、何度も行われているという理由で例外が標準に変わります。
どれも、会社が本来決めるべき優先関係を、検索順位や生成の都合に肩代わりさせています。
もちろん、会社の仕事には裁量が必要です。個別事情を全部規程に書くのは無理があります。「案件ごとに調達部が判断する」というルールでも成立します。大切なのは、その裁量を誰が持つかが分かることです。
「人によって答えが変わる」と「権限を持つ人が事情に応じて決める」は、外からは似て見えます。しかし、社員が次に誰へ何を説明すればよいかは大きく違います。
AIがきれいに答えるほど、見えなくなるもの
従来なら、社員は規程を読み、FAQを見て、首をかしげたかもしれません。そのあと調達部に聞けば、説明のずれが表に出ます。
AIが一つの滑らかな回答にまとめると、この引っかかりが消えます。「この条件なら発注できます」という一文だけが残り、裏側で別の文書が反対のことを言っていた事実は見えなくなる。
しかも出典が付いていれば、安心しやすい。けれど、出典があることは、その資料が存在する証拠です。その資料の説明を会社全体が最終回答として認めているかまでは分かりません。
MicrosoftのRAG向けガイドは、情報が衝突した場合に黙って解消せず、食い違いとそれぞれの出典を示すよう指示することを勧めています。また、情報源の権威が異なる場合の優先ルールも扱っています。Microsoft Learn
私なら、冒頭の質問に対する回答は次のように設計したいと思います。
購買規程では部長承認のみで発注可能ですが、調達部FAQでは事前に調達部の承認が必要とされています。今回の外注に対する適用関係を、取得した資料だけでは確定できません。発注前に調達部へ、この2つの記載のどちらが適用されるか確認してください。
歯切れは悪くなります。その代わり、何が分かっていて、何が決まっていないかが残ります。窓口だけを投げ返す回答よりも、確認する論点が具体的です。
実際にこの回答を使うには、調達部が判断先であることも確認が必要です。AIが相談先まで適当に選んでは、同じ問題を一段先へ送るだけになります。
正解集を作る会議で、人間の答えが割れたら
この問題は、AIの評価でも顔を出します。
同じ質問に対して、現場は「発注できる」が正解と言い、管理部門は「事前承認が必要」が正解と言う。評価者ごとに採点が変わるなら、その問題を使ってモデル同士の優劣を比べても、結果の意味は曖昧になります。
そこで、声の大きい人の答えを正解として登録すれば、その場の評価は進みます。しかし、本番では別の部署から「AIが間違っている」と言われ続けるでしょう。
こうした質問は、合意された答えを用意できるまで、矛盾を適切に示せるかを評価する問題にしたほうがよいと思います。同時に、その矛盾が業務に与える影響を見て、判断が必要な部署へ戻す。
すべての資料を完璧に整備してからAIを導入する必要はありません。使う範囲を絞り、解決していない論点を見えるままにする方法もあります。困るのは、未解決の部分を自信のある文章で埋めてしまうことです。
社内AIに期待したいのは、答えを速く見つける力に加えて、「この会社ではまだ答えが一つになっていません」と示せる力です。
次に誤回答が報告されたら、モデルの性能と一緒に、根拠となった資料を並べてみる。その結果、AIが読み間違えていたなら技術を直す。人間が読んでも決着しないなら、会社が決める番です。
WRITTEN BY
コメント