検証レポート「ビジネスメタデータ整備がAIエージェントの回答精度に与える影響」

生成AIはなぜ社内データを正しく読めないのか？AIエージェントの回答精度を左右する「ビジネスメタデータ」の重要性

「社内データを自然言語で検索・分析させたいが、期待した通りのSQLやデータが返ってこない――」

生成AI（LLM）やAIエージェントを業務基盤に導入しようとする多くの企業が、このような「解釈精度の壁」に直面しています。
モデルの性能向上だけでは解決が難しいこの課題に対し、Quollio Technologiesは「メタデータの整備状況がAIエージェントの回答精度にどれほど寄与するのか」を定量評価するPoC検証を実施しました。

本記事では、合計180ケースに及ぶテストから導き出された重要インサイトをダイジェストでご紹介します。

3種類のエージェントで比較：メタデータの充足度と回答精度

本検証では、クラウドDWH環境において保持するメタデータの種類・量が異なる3種類のAIエージェントを用意し、同一プロンプトに対する実行正確性・コンテキスト正答率を比較測定しました。
※ 「コンテキスト正答率」は、意図・文脈の解釈が正しかったかを判定するものであり、出力そのものが完全に一致したことを示すものではありません。

Agent 0（No Catalog）
- 保持情報：データベースの物理名（TBL_123, COL_A...）のみ
- 特性：意味を推測するしかなく、構文エラーやハルシネーションが頻発
Agent 1（Technical）
- 保持情報：テーブル名、カラム名、データ型などの技術的メタデータ
- 特性：物理構造は理解できるが、業務固有のロジック解釈には限界あり
Agent 2（Light Semantic）
- 保持情報：技術メタデータ＋論理名・概要・ビジネス用語定義
- 特性：「先月の売上」といった曖昧な指示を正しいカラムへ正確にマッピング

なぜ物理名だけでは「先月の売上」が導けないのか？

ユーザーからの「先月の売上を出して」という自然言語指示に対し、各エージェントの挙動には大きな差が生じました。

指示プロンプト：「先月の売上を出して」
Agent 0（メタデータなし）
「売上」の物理名が不明なため全体から推測 ➜ エラー・ハルシネーション頻発
Agent 1（技術メタデータのみ）
型は把握できるが金額関連カラムが複数あり絞り込めず ➜ 意図と異なるデータを抽出
Agent 2（ビジネスメタデータ保持）
用語定義を参照し「売上」＝「sales_amount_JPY」と解決 ➜ 正しい物理カラムへ完全一致マッピング

データベースの物理名や型情報だけでは、業務で交わされる言葉との「意味のギャップ」を埋められないことが実証されました。

Agent0,1,2の違い — 「先月の売上を出して」という自然言語指示に対し、各エージェントの挙動には大きな差が生じる

検証から得られた3つのインサイト

1. 自然言語理解の改善幅は「ビジネスメタデータ」が圧倒的

第1段階（自律基盤）におけるコンテキスト正答率の検証では、技術メタデータ追加による改善幅が+8.3 pt（61.1% ➜ 69.4%）だったのに対し、ビジネスメタデータの追加は+13.9 pt（83.3%）と大きく上回りました。

Agent 0 (No Catalog)：61.1%
Agent 1 (Technical)：69.4% (+8.3 pt)
Agent 2 (Light Semantic)：83.3% (+13.9 pt)

2. コンテキストは「量」ではなく「構造と一貫性」が重要

外部から用語集を無秩序に追加した第2段階では、すでに定義を持っていたAgent 2の正答率が一時的に低下（83.3% ➜ 58.3%）しました。定義の重複や矛盾によってAIが優先順位を見失うためであり、データカタログを唯一の正（Single Source of Truth）とするガバナンスと正規化プロセスが不可欠です。