企業中存在大量需要從文檔中抽取信息并進行處理的業務場景，例如從發票、報銷單、發貨單等不同類型的文檔中抽取所需字段，進行錄入、校驗、比對等操作。因此，文檔信息抽取是智能文檔處理平臺的核心能力之一。通常情況下，文檔信息抽取需要用到機器學習技術。我們知道，訓練一個機器學習模型需要一定規模的標注數據，在文檔信息抽取任務下訓練機器學習模型面臨兩個挑戰。

第一，文檔的類型繁多，即便是同一個類型的文檔，其版式也可能存在多種。下面是幾個中文完稅證明的例子，我們可以發現，它們雖然都是完稅證明，但版式差別很大，尤其體現在明細表格部分，表格的字段數量、字段順序都不太一樣。這意味著，如果使用傳統的方法，需要訓練多個機器學習模型才能滿足不同版式信息抽取的需求。

*完稅證明示例（圖片來源于網絡）

第二，很多文檔類型是企業特有的，也就是說我們很難提前收集到數據并訓練好模型，而是需要基于企業特有的文檔數據，在小樣本下訓練出可用的模型，否則模型的訓練成本太高。下面是幾個英文發票（Invoice）的例子，我們可以發現它們不僅版式不同，而且每一類的數量都不多。

*英文發票示例（圖片來源于網絡）

本文中，我們介紹來也科技 IDP 平臺中用到的文檔信息抽取方法，該方法充分利用文檔的視覺特征和語義特征，能夠在較少樣本的情況下訓練出效果很好的模型，且具備較強的泛化能力，從而快速滿足企業中多種文檔信息抽取的需求。

我們的技術方案以 OCR 識別的結果作為輸入，充分利用視覺和語義信息建模，在低成本（標注數據少、資源占用少）的情況下完成文檔信息抽取任務。該方案將 OCR 和信息抽取完全解耦合，這樣設計有兩個優點：

OCR 引擎完成識別和預處理后，由三個子任務構成完整的 pipeline ，如下圖所示。下面我們分別介紹。

這個任務的目的是將 OCR 識別到的文本塊，按正常的閱讀順序重新進行排列，解決內容折行、數據分組的問題。

如在下面的完稅證明示例中，稅收詳情中存在較多的內容折行， OCR 識別引擎通常會按從左到右、從上到下的順序返回。如圖中所示，OCR輸出的文本塊的順序為圖上標識的數字（1、2、3……11），顯然這個順序既不符合閱讀順序，也會打亂語義和排版信息。如果不進行調整，會導致模型無法準確的得到正確的語義信息和結構信息。

通過上述的例子可以發現，文本序列化任務和具體文檔類型基本無關，因此我們可以通過大量標注數據訓練一個通用的文本塊序列化模型，在其他項目中直接使用，降低項目啟動的代價。以下是經過文本塊序列化模型重排序后的順序，在這個排序基礎上進行一定的后處理，我們就可以還原出文檔中的字段。

對文本塊進行序列化之后，我們的下一個任務是利用文本分類的方法獲得每個文本塊對應的標簽，即每個文本塊屬于哪個待抽取的字段。在這個任務中，我們將每個 OCR 輸出的文本塊作為獨立的分類目標，利用多分類的方法獲得每個文本塊對應的信息標簽。通過文本塊的文本語義、空間位置、上下文關系、排版格式等視覺特征，使用統計模型進行建模并訓練文本塊分類模型。以下是文本塊分類模型用到的主要特征：

通過使用以上兩個子任務的輸出結果，我們就可以進行最終的抽取結果組裝。以下面這個數據為例，抽取結果組裝主要解決兩類問題：

為了驗證上述文檔信息抽取方案的效果，我們選擇了“中文完稅證明”和“英文發票”兩個數據集進行測試。

如第一節中樣本所示，全國各個省市的完稅證明版式存在較大差異，但待抽取的字段基本相同。我們從中文完稅證明中抽取 15 個字段：發票號碼、填發日期、稅務機關、納稅人識別號、納稅人名稱、稅款所屬時期、原憑證號、稅種、品目名稱、實繳（退）金額、大寫金額、總金額、填票人、備注信息、入（退）庫日期。我們共使用 12 個版式共 98 張完稅證明進行模型訓練，在 33 張樣本上進行評測。

*以下為完稅證明信息抽取輸出的示例：

如第一節中樣本所示，我們從英文發票中抽取 15 個字段：發票號碼、發行日期、買家姓名、買家地址、產品項目No.、產品明細、數量明細、產品單價、總額明細、稅額合計、含稅總額、付款方式、采購訂單號、到期日、折扣合計。共使用 34 個版式共 294 張進行模型訓練，在 90 張樣本上進行評測。

*以下為英文發票信息抽取輸出的示例：

首先，我們針對上述兩個數據集，分別測試模型的整體效果，即模型抽取的準確率、召回率和 F1 值?？梢钥吹轿覀兊姆椒?span style="box-sizing: border-box; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); color: rgb(0, 78, 162); margin: 0px; padding: 0px; outline: 0px; max-width: 100%; overflow-wrap: break-word !important;">在兩個數據集上都能取得約 0.95 的 F1 值。

*F1 值：準確率及召回率的綜合評價指標，越趨近于 1 則表明算法或模型越佳

最后，我們用模型從未見過的文檔來測試模型的泛化能力，并用極少量的該類文檔重新訓練模型，對比原模型和新模型的效果。我們在中文完稅證明模型上進行上述實驗，結果如下：

可以發現，在遇到全新版式的數據時，原模型的效果并不理想， F1 值在 0.5 以下。此時，我們只需要補充 5 張數據重新訓練模型，就可以迅速改善模型在新版式上的效果，將 F1 值提升到 0.93 以上。這充分說明，模型有一定的泛化能力，只需原模型的基礎上用極少量樣本即可適應新的版式。

來也科技 IDP 平臺提供強大的文檔信息抽取能力，它通過使用視覺和語義信息進行建模，在處理類似發票、證件、發貨單、完稅證明等文檔信息抽取任務時，只需極低的標注成本，就能達到非常好的效果。在遇到新數據格式帶來的 badcase 時，通過少量的標注干預，即可有效的提升效果，讓文檔處理的自動化變得更加容易。

來源：來也科技

來源鏈接：智能文檔處理技術揭秘：如何低成本實現高準確率的文檔信息抽??？-來也科技 (laiye.com)