Các lỗi trong ảnh SEM khó được nhận diện ổn định chỉ bằng phân loại ảnh đơn giản, do dữ liệu giữa các loại lỗi phân bố không đồng đều, dữ liệu huấn luyện được gán nhãn còn ít và hình dạng của cùng một loại lỗi có thể khác nhau đáng kể.
Trong dự án này, chúng tôi thiết kế phương pháp phân tích ảnh theo từng bước, thay vì giao toàn bộ nhiệm vụ cho một mô hình phân loại duy nhất: phát hiện bất thường → phân tích vùng → phân loại lỗi → xác định lỗi chưa biết.
Phân loại lỗi với dữ liệu huấn luyện thưa và không đồng đều
- Số lượng dữ liệu giữa các lớp không cân bằng
Tần suất xuất hiện của từng loại lỗi khác nhau, khiến một số loại không có đủ dữ liệu được gán nhãn để huấn luyện. - Cùng một loại lỗi nhưng hình ảnh có thể rất khác nhau
Mức độ biến thiên trong cùng một lớp rất lớn, khiến mô hình phân loại ảnh đơn giản đôi khi khó học được ranh giới ổn định giữa các lớp. - Nguy cơ phân loại nhầm lỗi chưa từng gặp vào một lớp đã biết
Với phương pháp phân loại thông thường, một bất thường chưa xuất hiện trong dữ liệu huấn luyện vẫn có thể bị xếp vào một trong các lớp đã biết.
Phương pháp phân tích nhiều giai đoạn, bám theo đặc điểm lỗi
- Phát hiện bất thường
Dựa trên sự khác biệt so với trạng thái bình thường để trích xuất trước các vùng bất thường, qua đó giảm gánh nặng chuẩn bị lượng lớn dữ liệu huấn luyện cho mọi loại lỗi. - Phân tích vùng
Phân tích hình dạng, kích thước và các đặc điểm khác của vùng bất thường đã trích xuất, rồi phân loại chúng theo các nhóm đặc tính rộng như vết xước hoặc dị vật. - Phân loại theo loại lỗi
Áp dụng cách xử lý phù hợp với đặc tính của từng loại lỗi. Chẳng hạn, với vết xước, hệ thống đánh giá kích thước vùng; với dị vật, hệ thống nhận diện loại dựa trên đặc điểm của đối tượng. - Xác định lỗi chưa biết
Xem những bất thường không phù hợp đủ mức với bất kỳ lớp đã biết nào là lỗi chưa biết, từ đó hỗ trợ phát hiện các dạng bất thường mới.
Những quyết định kỹ thuật then chốt
- Phân rã bài toán trước khi chọn mô hình
Định vị, mô tả đặc trưng vùng và gán lớp giải quyết những vấn đề khác nhau và có thể được tối ưu riêng. - Thiết kế xoay quanh số mẫu gắn nhãn hạn chế
Xử lý ưu tiên phát hiện bất thường tận dụng tốt hơn sự khác biệt so với trạng thái bình thường khi mẫu của mọi loại lỗi đều khan hiếm. - Giữ lại nhóm “chưa biết”
Hệ thống cần chỉ ra khi các lớp đã biết không đủ để giải thích, thay vì ngầm khẳng định chắc chắn cho mọi vùng bất thường.
Khi nào phương pháp nhiều giai đoạn phát huy hiệu quả
Phương pháp này phù hợp với kiểm tra dựa trên ảnh SEM cho phiến bán dẫn và linh kiện điện tử, nơi các loại lỗi phân bố không đồng đều và những bất thường chưa từng gặp cần được cảnh báo để chuyên gia rà soát. Độ chính xác và ngưỡng vận hành cần được đánh giá trên chính ảnh mục tiêu và tiêu chí kiểm tra thực tế.
Chọn phương pháp phân tích phù hợp với từng loại lỗi
Chúng tôi triển khai định vị bất thường, phân tích theo từng vùng và một luồng xử lý riêng cho lỗi có thể chưa biết. Việc tách các tác vụ này giúp phương pháp xử lý phản ánh đúng đặc điểm hình ảnh của lỗi và giới hạn của dữ liệu huấn luyện sẵn có.