boqdata-extractionconstructiontraining-datadata-preparation
從工程量清單(BOQ)到 AI 訓練數據
如何將 Excel、PDF 和掃描件中的工程量清單轉換為結構化 AI 訓練數據:表格提取、標準化、標注與匯出。
Edward Xi Yang
工程量清單(BOQ)是建築成本估算的骨幹。它們列出項目中的每一種材料、勞工項目和活動,包含數量、單價和金額。對於建築行業的 AI 應用——成本預測、自動估算、工程量核對驗證——BOQ 是主要的訓練數據來源。
問題是:BOQ 的格式極其不統一,將其轉換為結構化訓練數據需要處理格式差異、嵌套層次結構和領域特定術語。本指南介紹了實際操作管線。
BOQ 格式問題
一家建築公司可能擁有以下所有格式的 BOQ:
- Excel 試算表,列佈局各異,帶有合併儲存格和彩色編碼的分節
- PDF 匯出,來自估算軟體(CostX、Bluebeam、PlanSwift)
- 掃描紙質文件,來自舊項目
- CSV 匯出,來自 ERP 系統
- Word 文件,帶有手動創建的表格
即使在同一格式內,結構也各不相同:
承包商 A 的 BOQ: | 項目號 | 描述 | 單位 | 數量 | 單價 | 金額 |
承包商 B 的 BOQ: | 參考 | 工程項目 | 計量單位 | 數量 | 單位價格 | 總價 | 備註 |
承包商 C 的 BOQ: | 序號 | 工種 | 工程說明 | 單位 | 估計數量 | 單價(美元) | 金額(美元) |
相同的信息,不同的列名,不同的順序,不同的粒度。在數百個項目中乘以這個差異,標準化挑戰的規模就變得清晰了。
管線第一階段:攝入和表格提取
對於 Excel/CSV 文件
- 解析工作表,識別標題行(標題行不一定是第一行)
- 處理合併儲存格(節標題通常跨越多列)
- 偵測並保留層次結構(節 → 子節 → 項目 → 子項目)
- 處理單個工作簿中的多個 BOQ 工作表
對於 PDF 文件
- 使用佈局分析進行表格偵測(識別網格結構、對齊列)
- 處理多行儲存格內容的儲存格提取
- 標題識別(區分列標題與數據行)
- 跨頁偵測(跨多頁的表格)