論文解説: D-RAC — PDFに正規化し、画像を1回だけ読んでMarkdown化するRAG取り込み
社内のPDF・Word・スライドをまずPDFにそろえ、マルチモーダルLLMで1回だけMarkdown化し、あとはIDだけでチャンクを決める取り込み手法D-RACを、前提知識なしで解説します。
要点
- D-RACは、あらゆる文書をPDFにそろえ、マルチモーダルLLMで1回だけ検索向けのMarkdownに直す手法である。
- Markdown化では表を1行ずつ自己完結した文にし、見出し階層を保持する。
- 分割段階では本文ではなく要素のIDだけをLLMに並べさせる。
- ルールベース抽出やOCRは読む順番を壊し、表を潰し、見出しの階層を失う。
- 236文書・795ページを72分でエラーなく処理し、分割段階の出力トークンを95.7%減らした。
Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion
一次資料 — この記事の根拠
論文の発表 2026-09-21→この解説の公開 2026-09-26同月
Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown ConversionUday Allu, Abhivanth Sivaprakash, Pratik Singh ほか · 2026-09-21 · v1arXiv:2609.24220論文ページ·PDF原文の要旨（Abstract）を読む
Retrieval-Augmented Generation (RAG) systems over enterprise knowledge bases must ingest heterogeneous document formats -- PDFs, Word documents, presentations, and scans -- whose content is locked inside complex visual layouts, multi-column pages, and dense tables. Rule-based extraction and OCR destroy reading order, flatten tables, and lose heading hierarchy, while fully agentic chunking over extracted text incurs high token costs and hallucination risk. We present Document Retrieval-Aware Chunking (D-RAC), an extension of our Web Retrieval-Aware Chunking (W-RAC) framework to arbitrary document formats. D-RAC first normalizes any input document into PDF, exploiting the fact that virtually every format has a faithful, deterministic PDF rendering. A single multimodal LLM pass then converts rendered pages into retrieval-optimized Markdown -- rewriting tables as self-contained prose statements and preserving heading hierarchy -- after which chunking proceeds exactly as in W-RAC: deterministic parsing into ID-addressable units followed by lightweight LLM-based chunk planning over identifiers rather than text. Source text is never regenerated during chunking, preserving W-RAC's cost, determinism, and observability benefits while unlocking every renderable format as a first-class input. On the 236-document, 795-page PDF subset of the RAG-Multi-Corpus benchmark spanning five enterprise domains, D-RAC converts and chunks the entire corpus in 72 minutes with zero errors, producing 1,748 retrieval-ready chunks. Compared to agentic chunking with frontier LLMs, D-RAC reduces chunking-stage output tokens by 95.7%, cutting chunking cost by 77.8% (GPT-4.1 pricing) to 85.6% (Gemini 2.5 Pro pricing) and chunking time by 75%. D-RAC scales linearly to documents of 500+ pages.
この論文は何を解いたのか
今回読むのは、Yellow.ai の研究チームが2026年9月に公開した "Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion"（arXiv:2609.24220）です。
アブストラクトの要旨はこうです。社内ナレッジを検索するRAGは、PDF・Word・スライド・スキャン画像を取り込む必要があるが、中身は段組みや表の中に閉じ込められている。ルールベース抽出やOCRは読む順番を壊し、表を潰し、見出しの階層を失う。抽出テキストをLLMに丸ごと書き直させる「エージェント型チャンキング」は、トークン代が高く幻覚の危険もある。D-RACは、どんな文書もPDFにそろえ、マルチモーダルLLMで1回だけ検索向けのMarkdownに直し（表は1行ずつ自己完結した文に、見出し階層は保持）、その後は本文ではなく要素のIDだけをLLMに並べさせて分割する。236文書・795ページを72分でエラーなく処理し、エージェント型と比べて分割段階の出力トークンを95.7%、費用を77.8〜85.6%、時間を75%減らした——というものです。
RAGが初めての方は、先に RAGの基礎 を読むと以下が追いやすくなります。
比喩: 「清書係」と「目次係」を分ける
図書館に、手書きメモや料金表など形式がばらばらの資料が届いたとします。スキャナで文字だけ吸い出すと安いものの、2段組みが混ざり、表は数字の羅列になります。優秀な職員に話題ごとに全部書き写させるときれいになりますが、時間とお金がかかり、写し間違いも入ります。
D-RACは仕事を2人に分けます。清書係が資料を1回だけ読み、見出し付きの清書にする。目次係は清書の段落番号だけを見て「3〜6番で1冊」と束ね方を決める。目次係は本文を写さないので速く、写し間違いも起きません。束ね方を変えても清書はやり直さずに済みます。
なぜPDFはRAGにとって扱いにくいのか
論文はPDFを「意味の形式ではなく見た目の形式」と呼びます（§1）。文字は紙面の座標で並んでいるだけで、どこが見出しか、どの段から読むかを持っていません。PyMuPDFなどで抜くと段組みが交ざり、表は位置のあいまいな断片になります（§2.1）。LayoutLMやDoclingのようなレイアウト解析でも表は格子のまま出てきます（§2.2）。問題は、セルの値は行と列の見出しから切り離されると意味を失うことです。「20」だけがベクトルになっても、保険期間なのか払込年数なのか検索側には分かりません。
文脈を失った断片がベクトル空間でどこにも狙って引けなくなる感覚は、次の図で体感できます。
コメント
コメントにはログインが必要です