同じ質問に毎回違う答えを返すAIは、現場では使えない — 産業用LLMの「一貫性」を再学習なしで上げる5手法の比較

社内にAIチャットを入れた企業の多くが、同じ壁にぶつかっている。同じことを聞いても、聞くたびに答えが違う。作業手順を尋ねれば、それらしい手順が返ってくる。ただし昨日と今日で微妙に違う。これでは点検チェックリストにも作業標準にも使えない。今回の論文は、この問題を「幻覚（ハルシネーション）」ではなく認識論的な安定性の問題として立て、モデルを再学習させずに一貫性を上げる5つの手法を比較している。最も効いたのは、プロンプトの工夫ではなかった。

1. なぜ今、この研究なのか

理由1：対象業務が具体的である。 論文が想定するのは、保全手順書、点検チェックリスト、技術要約、計測パイプラインの計画、インシデント対応報告。いずれも製造業の現場が実際にAIへ任せたがっている文書だ。

理由2：モデルの再学習を前提としない。 5手法はすべてプロンプト設計と参照情報の整備で完結する。GPUも学習データセットも要らない。今日から自社で試せる範囲に収まっている。

理由3：手法間の優劣が数字で出ている。 「プロンプトエンジニアリングが大事」で終わらせず、どの工夫がどれだけ効くかを比較している。投資の順番を決める材料になる。

この記事で持ち帰れる3つのこと

1. 産業用AIの評価軸を「正しさ」から「一貫性」へ切り替える考え方
2. 5手法のうち、最初に手を付けるべきものはどれかという優先順位
3. この論文の評価方法が持つ弱点と、自社で検証するときの補い方

2. 論文を読む：一貫性を作る5つの手法

2-1. 問題の立て方

幻覚とは、もっともらしく見えて事実性や文脈適合性を欠く出力である。産業用途では、これが単発の誤りとしてではなく再現性の欠如として現れる。同じ入力に対して毎回違う手順が出れば、その出力を業務標準として承認できない。論文はここを起点に置いている。

2-2. 5つの手法

2-3. 結果

100回の試行を、LLMによる判定（LLM-as-Judge、閾値0.7）で評価した結果、改善が確認された割合は次の通り。

最も効いたのは、プロンプトの書き方ではなく、参照させるデータを整えることだった。 M4は自社データを構造化して登録し、そこから引かせる手法である。プロンプト工学の話に見えて、実質は情報整備の話に着地している。

M2が初版で34%と低く、改訂版で80%まで回復した点も示唆的だ。同じ手法でも実装の質で倍以上ぶれる。手法名だけを見て採否を決められないということでもある。

2-4. 誠実な限界

本論文は査読付き会議・論文誌への採択情報が示されていないプレプリントである（初版2026年3月8日、改訂版2026年4月5日）。当社では「最新研究」として扱う。加えて、読者側で強く補うべき留保が2点ある。

• 評価がLLMによる判定である。 人間の専門家が評価したものではない。AIがAIの出力を採点している構造上、人間の現場感覚とずれる可能性が残る。第14号で扱った予知保全の研究が「精度は測ったが業務効果は未検証」だったのと同じ性質の留保だ
• 論文自身が、一貫性は改善しても絶対的な正しさは保証できないと明記している。一貫して同じ誤りを返す状態も、一貫性の指標上は改善に見える

この2点は導入判断に直結する。一貫性が上がったからといって、内容が正しくなったわけではない。

2-5. シリーズの地図

第15号では、予測の入力となる計測値の信頼性を扱った。第17号では、契約レビューでAIが「該当なし」と誤答する問題を扱った。本号はその中間にあたる。AIの出力を業務に組み込むには、正しさ・一貫性・見落としの3つを別々に測る必要がある。この3本を並べると、その測り分けの必要性がはっきりする。

3. 日本のビジネスに置き換えると何が起きるか

本章以降の適用シナリオは、論文が直接検証した範囲（LLM判定による一貫性評価）を超えた、当社の応用解釈である。自社業務での成立は、人による検証を含めた実測が必要になる。

日本の製造業にとって最も重要な示唆は1行目である。M4が示しているのは、結局のところ自社の文書を整えた企業が勝つという構図だ。作業標準書、保全手順書、不具合対応記録、設備台帳。これらが構造化されて登録されているかどうかで、同じAIを入れても結果が変わる。

これは第15号（工程文書が計測補正の入力になる）、第18号（安全規程が映像判定の入力になる）と完全に同じ構図である。3号続けて同じ結論に着地している。文書資産の整備が、AI活用の前提条件になりつつある。

4. 導入シナリオ：PoC → 拡大 → 展開

フェーズ1：文書の棚卸しとレジストリ設計（2ヶ月）
AIを入れる前にここから始める。対象業務で参照される文書を洗い出し、版管理・所管部署・最終更新日を明確にする。古い版が混在している状態でAIに引かせると、一貫して古い手順を返すようになる。

フェーズ2：PoC（3ヶ月）
1業務（例：特定設備の点検手順生成）に絞り、M4＋M5（データレジストリ＋用語集）から着手する。評価は同一の問いを20回投げて出力がどれだけ揃うかと、熟練者が内容を承認できるかの2軸で測る。

フェーズ3：拡大・展開（6ヶ月＋）
対象業務を広げ、文書更新時にレジストリを同期する運用を作る。この同期を誰が担うかを決めないと、半年で陳腐化する。

5. 残っている課題3点

課題1：一貫性の改善を、正確性の改善と取り違える。 論文自身が明記する最大の留保である。同じ誤りを安定して返す状態は、指標上は「改善」に見える。熟練者による内容確認を必ず併走させること。

課題2：古い文書を登録したまま運用する。 レジストリの効果が大きいということは、そこに古い情報が入っていたときの害も大きいということだ。版管理を先に整えること。

課題3：AIの出力を、承認を経ずに作業標準として配布する。 手順書は労働安全と品質保証に直結する。人による承認工程を省略しない運用境界を、最初に文書化しておく。

6. 稟議で使えるキーワードと自己診断

キーワード1：一貫性という評価軸。 「正しいか」ではなく「毎回同じか」を検収基準に入れる。同一の問いを20回投げて出力を比べる、という具体的な検証方法まで書けると強い。

キーワード2：文書資産の構造化。 AI投資ではなく、情報基盤への投資として説明する。AIが陳腐化しても資産は残る、という論法が使える。

キーワード3：承認工程の保持。 人が承認する工程を残すことを明記する。安全・品質部門の懸念が下がる。

自己診断チェックリスト

• 作業標準書・点検表の最新版が、どこにあるか全員が即答できるか
• 同じ設備の手順書が、部署ごとに別々に存在していないか
• 文書の版管理と所管部署が明確になっているか
• 技術問い合わせの対応に、月何時間かかっているか把握しているか
• 現在の社内AIに同じ質問を3回投げて、答えが揃うか確かめたことがあるか
• AIが生成した手順を、誰が承認して配布するかが決まっているか

上記の自己診断と稟議キーワードは、社内で最初の一歩を決めるための叩き台にしてほしい。

7. まとめ

キーメッセージ1：産業用AIの評価軸は、正しさだけでなく一貫性である。 毎回違う答えを返すシステムは、正しくても業務に組み込めない。

キーメッセージ2：最も効いたのはプロンプトの工夫ではなく、参照データの整備だった。 AI投資の初手は、社内文書の構造化に置くべきである。

キーメッセージ3：一貫性が上がっても、正しさは保証されない。 人による承認工程を省略した瞬間に、この手法の前提が崩れる。

一次ソース

• Brian Freeman, Adam Kicklighter, Matt Erdman, Zach Gordon. “Toward Epistemic Stability: Engineering Consistent Procedures for Industrial LLM Hallucination Reduction.” arXiv:2603.10047、初版2026年3月8日投稿（改訂版2026年4月5日）
• 評価方法：LLMによる判定（LLM-as-Judge）、100回試行、閾値0.7
• 対象手法：M1反復類似度収束／M2分解型プロンプト／M3単一タスク特化エージェント／M4拡張データレジストリ／M5ドメイン用語集注入
• 掲載状況：査読付き会議・論文誌への採択情報は公開されていない

次号予告

第20号は、建設機械の自律化を取り上げる。実機による現場試験で、人間のオペレーターと直接比較した研究を扱う。人手不足が最も深刻な業界で、機械はどこまで人に近づいたのか。