契約リスク条項の抽出は、どこまで任せられるか — 19モデル・41類型が示す到達点と使いどころ

本記事は、AI技術の実務適用可能性を論じるものであり、法的助言ではない。個別契約の判断は必ず自社の法務部門・弁護士に確認してほしい。

購買部門と法務部門が抱える仕事量は、年々増えている。取引先が増え、契約書の類型が増え、経済安全保障やESGの条項が足されていく。「契約書のリスク条項をAIに拾わせたい」という要望は、当然出てくる。今回の論文は、その要望に真正面から答えるベンチマークだ。実在する102件の商用契約、41のリスク類型、19のモデルを同一条件で測っている。結論は明快で、最良のモデルでもF1値は0.641。任せきりにできる水準ではない。ただし、使いどころを限定すれば十分に実務価値がある——その線引きが本号の主題である。

1. なぜ今、この研究なのか

理由1：契約書は社外に出しにくい文書の代表格である。 クラウドの大規模モデルに投げられない、という制約が最初に来る。本研究は専有モデル4種とオープンソース15種を並べて測っており、自社内で動かす選択肢の実力が数字でわかる。

理由2：評価対象が実在の商用契約である。 使われているCUADは、実際の102件の契約書から作られたデータセットで、契約書の長さは0.6千字から30万字超まで幅がある。実務の分量感がそのまま入っている。

理由3：失敗の仕方まで測っている。 精度だけでなく、モデルが「該当する条項はありません」と答えて逃げる頻度を測っている。この逃げこそが、実務で最も危険な失敗である。見落としは気づかれない。

この記事で持ち帰れる3つのこと

1. 契約レビューAIの実力を、購買・法務の現場基準で測るための数字
2. オンプレミス運用（オープンソースモデル）で妥協した場合に失うものの大きさ
3. 現時点で投資対効果が成立する、限定的な適用範囲の設計

2. 論文を読む：19モデル・41リスク類型の総当たり

2-1. 評価の枠組み

対象は商用契約のリスク条項抽出である。契約書を読ませ、41種類のリスク類型（責任上限の有無、知的財産の共有、独占条項、解約条件など）ごとに、該当する条項を抜き出させる。データはCUADの検証セット、4,128件のデータ点、元となる契約書は実在の102件。

2-2. 比較したモデル

オープンソース側に4B〜14Bという小型モデルが揃っている点が実務的だ。この規模なら社内サーバーで動かせる。

2-3. 結果

読み取るべき点は3つある。

第一に、最良でもF1値0.641である。人間の法務担当者を置き換える水準ではない。第二に、オープンソース最良は専有最良に対しF1値で約16%劣る。社外にデータを出せない制約を受け入れる代償が、この16%だ。第三に、「該当条項なし」と誤って答える率が、一部のオープンソースモデルでは30%を超える。論文はこれをモデルの「怠惰」と表現している。

2-4. 弱いのは、実務で最も怖い類型

論文が指摘する苦手分野は「責任上限なし（Uncapped Liability）」「知的財産の共同保有（Joint IP Ownership）」といった、出現頻度が低く解釈の難しい類型である。滅多に出ないが、出たときの損害が大きい条項ほど、モデルは見落とす。これは実務上きわめて重要な性質だ。

もう1つ興味深い結果がある。思考モード（推論を長く回す設定）を有効にすると、一致度は改善するがF1値はむしろ低下した。論文は、単純な抽出作業を過度に複雑化していると解釈している。第16号の生産スケジューリングで見た「推論を厚くしても良くならない」現象と同じ構図である。

2-5. 誠実な限界

本論文は査読付き会議・論文誌への採択情報が示されていないプレプリントである。当社では「最新研究」として扱う。著者自身が挙げる限界も明記しておく。

• 評価指標が、経験を積んだ法務専門家の判断基準と完全には一致しない可能性がある
• プロンプトの書き方によって結果が変動する（プロンプト感度）
• 実業務の流れの中での信頼性評価と、人手による評価枠組みの整備が今後必要

加えて、対象は英語の商用契約であり、日本語契約・日本法準拠の契約での再現性は本論文では検証されていない。これは日本の読者にとって最も大きな留保である。

2-6. シリーズの地図

第5号『SOPRAG』では、非定型の知識をLLMが引き出す事例を扱った。第9号『CORTEX』では、大量のアラートを選別する事例を扱った。本号は同じ「文書を読む」タスクだが、間違いが許されない領域である点が異なる。第16号で見た「LLMは最良ではなく最悪回避に効く」という結論が、ここでも当てはまる。

3. 日本のビジネスに置き換えると何が起きるか

本章以降の適用シナリオは、論文が直接検証した範囲（英語の商用契約41類型）を超えた、当社の応用解釈である。日本語契約での成立は実測による確認が必要になる。

日本の製造業の購買部門で最も現実的な使い方は、「人が読んだ後の、抜け漏れ確認の網」である。人が一次レビューを終えた契約書に対してAIを走らせ、人が拾わなかった条項を提示させる。AIが何も出さなくても安心はしないが、AIが出したものは必ず人が確認する。この非対称な運用にすれば、F1値0.641でも価値が出る。

逆に、AIの出力が空だったことを根拠に承認へ進む運用は危険である。誤って「該当なし」と答える率が7〜30%ある以上、それは審査を通したことにならない。

4. 導入シナリオ：PoC → 拡大 → 展開

フェーズ1：PoC（3ヶ月）
過去にレビュー済みの自社契約50〜100件を使い、人が指摘した論点をAIがどれだけ再現できるかを測る。評価は再現率を主指標にする。見落としが問題である以上、適合率より再現率が重要だ。

フェーズ2：拡大（6ヶ月）
自社の重要リスク類型を10〜20項目に絞り、その類型に特化した検出へ設計を寄せる。41類型すべてを追う必要はない。社内の契約管理システムと接続し、レビュー記録を残す。

フェーズ3：展開（以降）
全契約への適用と、四半期ごとの精度検証を定常運用に載せる。法改正や自社方針の変更があった月は、必ず検出類型の見直し対象とする。

5. 残っている課題3点

課題1：AIの「該当なし」を審査済みと解釈する。 本記事で最も強調したい点である。誤答率が最大30%を超える以上、空の出力は情報として扱えない。

課題2：日本語契約での性能を検証せずに導入する。 論文の評価は英語契約である。日本語の商慣習的な表現（「別途協議の上」「誠実に対応する」等）に対する挙動は、自社データで測るしかない。

課題3：機密の取り扱いを曖昧にしたまま進める。 契約書は取引先の情報を含む。クラウドの外部モデルへ送る場合、取引先との秘密保持契約に抵触しないかを法務に確認してから着手すること。

6. 稟議で使えるキーワードと自己診断

キーワード1：再現率優先。 見落としを減らすことが目的である以上、評価指標を再現率に置くと明記する。これで検収基準がぶれなくなる。

キーワード2：二次チェック限定。 一次レビューの置き換えではないことを稟議書に明記する。法務部門の抵抗が下がり、責任の所在も明確になる。

キーワード3：既存基盤への相乗り。 単独で立ち上げるより負担が小さい。社内で既にLLM基盤があるなら、その追加用途として起案するほうが通る。

自己診断チェックリスト

• 年間の新規契約件数と、1件あたりのレビュー時間を把握しているか
• 過去3年で、契約条項に起因するトラブルが何件あったか
• 自社にとって「絶対に見落とせない」リスク類型を10項目挙げられるか
• 契約書を外部クラウドへ送ることが、取引先との秘密保持契約上許されるか
• 現在のレビュー担当者が不在のとき、同じ品質のレビューができるか
• 契約書の電子データは、検索可能な形式で一元管理されているか

上記の自己診断と稟議キーワードは、社内で最初の一歩を決めるための叩き台にしてほしい。

7. まとめ

キーメッセージ1：契約レビューAIは、置き換えではなく網である。 F1値0.641という数字は、人の後ろに置く道具としてなら十分に意味を持つ。

キーメッセージ2：「該当なし」を信じてはいけない。 誤って見落とす率が最大30%を超える以上、空の出力は審査の完了を意味しない。

キーメッセージ3：効果が出る条件がはっきりしている。 契約件数が多い企業か、既存のAI基盤に相乗りできる企業から着手するのが順当である。

一次ソース

• Shuang Liu, Zelong Li, Ruoyun Ma, Haiyan Zhao, Mengnan Du. “ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts.” arXiv:2508.03080v1, 2025年8月5日投稿
• 所属：カーネギーメロン大学、ラトガース大学、スタンフォード大学、ニュージャージー工科大学
• データ：CUAD検証セット（実在の商用契約102件、41リスク類型、4,128データ点）
• 評価モデル：専有4種／オープンソース15種の計19種
• 掲載状況：査読付き会議・論文誌への採択情報は公開されていない

次号予告

第18号は、鉱山・重工業の現場安全を取り上げる。危険作業が日常的に存在する現場で、映像を理解するAIが規則違反をどこまで検出できているか。第7号で扱った建設現場の安全管理と読み比べたい。