Kho lưu trữ video chứa hình ảnh, lời nói, âm thanh, phụ đề và sự kiện — những thứ khó diễn đạt bằng các thẻ cố định. Tên chương trình hay bản chép lời tự động hiếm khi cho người dùng biết một cuộc trò chuyện, một nhân vật hay một cảnh cụ thể xuất hiện ở đâu.
Chúng tôi xây dựng một pipeline đa phương thức (luồng xử lý kết hợp nhiều loại dữ liệu): phân tích cảnh quay → nhận diện cảnh và chủ đề → mô tả nội dung liên quan → kết nối thông tin liên quan → tìm kiếm bằng ngôn ngữ tự nhiên. Thách thức là gắn những gì nhìn thấy và nghe thấy với đúng vị trí trong bản ghi, để người dùng tìm ra khoảnh khắc cần thiết.
Khôi phục ý nghĩa xuyên suốt hình ảnh, âm thanh và thời gian
- Hình ảnh và lời nói cung cấp những bằng chứng khác nhau
Vật thể và khung cảnh xuất hiện trong hình ảnh, còn tên gọi, lời giải thích và phát ngôn quan trọng có thể nằm trong âm thanh hoặc phụ đề. Không nguồn nào tự nó là đầy đủ. - Chia theo khoảng thời gian cố định có thể làm đứt mạch nội dung
Với video dài, cần chia nội dung theo chủ đề, đoạn hội thoại và các lần chuyển cảnh; nếu không, các phần nội dung sẽ khó dùng làm đơn vị tìm kiếm. - Chỉ dùng thẻ thì không thể lưu giữ đầy đủ ngữ cảnh
Cần thể hiện được các mối quan hệ như giữa người với tổ chức, người với sự kiện, hay địa điểm với chương trình. - Truy xuất phải chỉ ra đúng khoảnh khắc
Người dùng thường cần một câu nói, một sự kiện hay một cảnh cụ thể, chứ không phải toàn bộ chương trình.
Luồng xử lý đa phương thức giúp tìm đến từng cảnh
- Phân tích đa phương thức
Kết hợp hình ảnh, âm thanh, phụ đề, văn bản và thông tin âm thanh để trích xuất nhân vật, đồ vật, địa điểm, hội thoại, chủ đề và sự kiện. - Phân đoạn theo đơn vị ngữ nghĩa
Chia video dựa trên sự thay đổi về chủ đề, cảnh quay, hội thoại và sự kiện thay vì theo khoảng thời gian cố định. - Tạo siêu dữ liệu và bản tóm tắt
Tạo từ khóa, mô tả nội dung, bản tóm tắt, các phát biểu quan trọng và hình ảnh tiêu biểu cho từng phân đoạn. - Cấu trúc hóa thông tin về mối quan hệ
Sắp xếp các mối quan hệ giữa nhân vật, tổ chức, sự kiện, địa điểm, chương trình và các yếu tố khác, rồi lưu trữ theo cách hỗ trợ tìm kiếm chéo. - Tìm kiếm bằng ngôn ngữ tự nhiên
Đối chiếu câu hỏi của người dùng với nội dung video để tìm không chỉ những video liên quan mà cả cảnh quay cụ thể cần tìm. - Xử lý đa ngôn ngữ
Dịch và tóm tắt kho tri thức đã tạo, đồng thời xây dựng cấu trúc có thể mở rộng để sử dụng cho các mục đích khác như tạo phụ đề và mô tả.
Những quyết định kỹ thuật then chốt
- Không xử lý hình ảnh, âm thanh và phụ đề một cách riêng rẽ
Lời nói, hình ảnh và phụ đề đóng góp những tín hiệu khác nhau; phân tích phải giữ đủ ngữ cảnh để diễn giải chúng cùng nhau. - Lấy cảnh làm đơn vị truy xuất
Đầu ra hữu ích là một đoạn hay một sự kiện liên quan trong bản ghi, không chỉ là tên tệp video khớp từ khóa. - Kết nối thực thể và nội dung theo thời gian
Các mối quan hệ hỗ trợ khám phá con người và sự kiện, trong khi bối cảnh của cảnh quay gốc vẫn luôn sẵn có.
Từ thẻ video phẳng đến tri thức ở cấp từng cảnh
Để nâng cao khả năng tìm kiếm video, chỉ bổ sung thêm siêu dữ liệu là chưa đủ. Điều quan trọng là cấu trúc hóa ý nghĩa và ngữ cảnh của video để người dùng có thể truy cập trực tiếp đến cảnh cần tìm.