Phân tích tài liệu trực quan

Trích xuất cả chữ và cấu trúc giúp diễn giải thông tin

Tài liệu thiết kế, báo cáo thử nghiệm, bản đặc tả và bài nghiên cứu thường có bảng, biểu đồ, bản vẽ, công thức và ghi chú trên cùng một trang. Điều kiện hoặc kết luận quan trọng có thể nằm trong vị trí và mối liên hệ, chẳng hạn một giá trị thuộc cột nào, hàng điều kiện nào hoặc chú thích đang nói về hình nào.

Các phương pháp truyền thống có những giới hạn khác nhau. Nếu đưa tài liệu vào RAG sau khi làm mất cấu trúc, bảng có thể bị chia thành chuỗi văn bản liên tục khiến không còn biết số liệu nào ứng với điều kiện nào. Vì vậy, dù tìm thấy đoạn văn, hệ thống vẫn có thể trả lời sai.

Cách tiếp cận

Phân tích tài liệu trực quan xem trang tài liệu như một hình ảnh, đồng thời xử lý văn bản, vị trí và hình thức trình bày. Lĩnh vực này còn được gọi là Document AI; các hướng nghiên cứu gồm LayoutLMv3, huấn luyện văn bản và hình ảnh trong cùng mô hình, và Donut, đọc nội dung trực tiếp từ ảnh mà không cần OCR (Huang et al., 2022; Kim et al., 2022).

Technica AI kết hợp khả năng linh hoạt của mô hình ngôn ngữ – thị giác (VLM) với tính ổn định của xử lý ảnh và phân tích bố cục theo quy trình sau:

1. Phân tích bố cục: Chia trang thành tiêu đề, thân bài, bảng, hình, công thức, chú thích và chú thích cuối trang. Các bộ dữ liệu như DocLayNet cung cấp khoảng 80.000 trang được gán nhãn 11 loại vùng để hỗ trợ nghiên cứu phân tích bố cục chất lượng cao (Pfitzmann et al., 2022).
2. Khôi phục thứ tự đọc và cấu trúc: Nối nội dung qua nhiều cột hoặc nhiều trang, đồng thời giữ phân cấp chương, mục và danh sách.
3. Cấu trúc hóa từng thành phần: Tách bảng theo từng ô, kể cả ô gộp; biểu diễn quan hệ ký hiệu trong công thức (có thể ở dạng LaTeX); liên kết hình với phần nhắc đến hình và chú thích tương ứng.
4. Giữ thông tin nguồn: Ghi lại tài liệu gốc, số trang và vị trí cho từng thành phần được trích xuất.
5. Chuyển thành tri thức: Chia nội dung thành các đơn vị dùng được cho RAG hoặc đồ thị tri thức, tránh cắt rời bảng và hình.

Giá trị kinh doanh

• Giữ số liệu gắn với điều kiện

  Giá trị bảng được giữ cùng hàng và cột tương ứng để trả lời câu hỏi như “giá trị trong điều kiện A là bao nhiêu” và chỉ ra ô làm căn cứ.

• Kiểm tra được nguồn thông tin

  Đối chiếu câu trả lời với đúng tài liệu, trang và vị trí nguồn; thuận tiện cho chuyên gia rà soát và kiểm toán.

• Giảm công xử lý thủ công

  Giảm việc xây dựng quy tắc trích xuất riêng cho từng biểu mẫu và chỉnh sửa lại kết quả OCR bằng tay.

• Khai thác tài liệu cũ và mới

  Đưa tài liệu scan cũ lẫn tài liệu số mới vào cùng một quy trình tạo tri thức.

Lưu ý khi ứng dụng

• Chữ viết tay trên bản vẽ và bản scan độ phân giải thấp có thể làm giảm độ chính xác. Nên dùng thông tin vị trí nguồn để con người kiểm tra các số liệu quan trọng.
• Nếu tài liệu có ký hiệu hoặc cách ghi đặc thù của ngành, cần đánh giá độ chính xác trước bằng bộ tài liệu mẫu và điều chỉnh khi cần.

Sản phẩm liên quan

• AIKNOW Capture

  Kết hợp VLM, OCR và xử lý tài liệu để trích xuất và cấu trúc hóa nội dung kỹ thuật.

• AIKNOW

  Kết nối nội dung tài liệu có cấu trúc với truy xuất và ứng dụng tri thức doanh nghiệp.

Tài liệu tham khảo

• Huang, Y. et al. (2022). LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking. arXiv:2204.08387. https://arxiv.org/abs/2204.08387
• Kim, G. et al. (2022). OCR-free Document Understanding Transformer (Donut). ECCV 2022. arXiv:2111.15664. https://arxiv.org/abs/2111.15664
• Pfitzmann, B. et al. (2022). DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis. KDD 2022. arXiv:2206.01062. https://arxiv.org/abs/2206.01062
• Blecher, L. et al. (2023). Nougat: Neural Optical Understanding for Academic Documents. arXiv:2308.13418. https://arxiv.org/abs/2308.13418