Lượng tử hóa giúp giảm tải bộ nhớ cho mô hình; tinh chỉnh giúp điều chỉnh cách diễn đạt và đầu ra theo yêu cầu của nghiệp vụ. Dựa trên các yêu cầu về bảo vệ dữ liệu, phần cứng và chất lượng phản hồi, chúng tôi lựa chọn cấu hình mô hình phù hợp với điều kiện vận hành.
Cân bằng quy mô mô hình với điều kiện vận hành
Với doanh nghiệp xử lý thông tin mật, hạn chế đầu tiên có thể là không được gửi dữ liệu đến dịch vụ AI trên cloud. Nếu mô hình chạy trong môi trường riêng của doanh nghiệp, như on-premise hoặc private cloud, quy mô mô hình sẽ trở thành một thách thức.
Ví dụ, mô hình có 70 tỷ tham số cần khoảng 140 GB bộ nhớ chỉ để lưu trọng số khi dùng định dạng 16 bit phổ biến (70 tỷ × 2 byte). Khi vận hành, mô hình còn cần thêm bộ nhớ làm việc, vì vậy cần cân đối với phần cứng hiện có.
Đầu ra của mô hình đa dụng không phải lúc nào cũng phù hợp với thuật ngữ hoặc định dạng trong nghiệp vụ. Cần đánh giá mức điều chỉnh cần thiết cùng tài nguyên tính toán và chi phí, đồng thời cân nhắc các phương án như huấn luyện bổ sung một phần.
Cơ chế hoạt động
Lượng tử hóa: Giảm tải bộ nhớ cho mô hình
Lượng tử hóa giảm độ chính xác của các giá trị biểu diễn trọng số, chẳng hạn từ 16 bit xuống 4 bit, qua đó thu nhỏ và làm nhẹ mô hình. Với cách tính đơn giản, lượng tử hóa xuống 4 bit giúp giảm bộ nhớ dành cho trọng số xuống còn một phần tư.
- GPTQ (Frantar et al., 2023): Phương pháp lượng tử hóa mô hình đã huấn luyện. Nghiên cứu cho thấy có thể lượng tử hóa mô hình 175 tỷ tham số xuống 3–4 bit trong khoảng 4 giờ GPU và chạy suy luận trên một GPU, trong khi mức suy giảm độ chính xác vẫn thấp.
- AWQ (Lin et al., 2024): Dựa trên nhận định rằng các trọng số không quan trọng như nhau, phương pháp này xác định khoảng 1% trọng số quan trọng từ phân bố đầu vào và bảo vệ chúng, qua đó giảm đáng kể sai số do lượng tử hóa.
Tinh chỉnh: Điều chỉnh theo ngôn ngữ nghiệp vụ
- LoRA (Hu et al., 2022): Giữ nguyên mô hình gốc và huấn luyện một phần tham số bổ sung để điều chỉnh mô hình theo nghiệp vụ. So với huấn luyện lại toàn bộ GPT-3 (175 tỷ tham số), LoRA giảm số tham số cần huấn luyện xuống còn 1/10.000 và bộ nhớ GPU xuống còn 1/3, đồng thời không làm tăng độ trễ khi suy luận.
- QLoRA (Dettmers et al., 2023): Kết hợp LoRA với mô hình đã lượng tử hóa, cho phép tinh chỉnh mô hình 65 tỷ tham số trên một GPU 48 GB.
Technica AI kết hợp các kỹ thuật này để lựa chọn cấu hình theo quy trình sau:
- Xác định yêu cầu: Kiểm tra loại dữ liệu cần xử lý, số người dùng, tốc độ phản hồi cần đạt và phần cứng có thể sử dụng.
- Chọn mô hình: Chọn các mô hình ứng viên dựa trên sự cân bằng giữa năng lực cần cho nghiệp vụ và kích thước có thể vận hành.
- Tinh chỉnh: Dùng tài liệu hoặc thuật ngữ thuộc lĩnh vực nghiệp vụ để tinh chỉnh bằng LoRA hoặc phương pháp phù hợp khác.
- Lượng tử hóa: Chọn phương pháp và số bit phù hợp để cân bằng độ chính xác với tốc độ.
- Đánh giá bằng dữ liệu nghiệp vụ: Đánh giá độ chính xác và tốc độ phản hồi bằng câu hỏi thực tế trong nghiệp vụ của doanh nghiệp, thay vì chỉ dựa vào benchmark phổ thông.
Giá trị kinh doanh
- Sử dụng mô hình mà không đưa dữ liệu ra ngoài
Thông tin mật có thể được xử lý hoàn toàn trong môi trường riêng của doanh nghiệp.
- Giảm yêu cầu phần cứng
Lượng tử hóa cho phép vận hành mô hình với ít GPU hơn.
- Điều chỉnh tốc độ phản hồi theo nghiệp vụ
Mô hình nhẹ hơn giúp hướng tới tốc độ phản hồi phù hợp, hạn chế thời gian chờ trong công việc.
- Hiểu ngôn ngữ nghiệp vụ
Câu trả lời có thể được điều chỉnh theo thuật ngữ chuyên ngành và cách diễn đạt nội bộ.
Lưu ý khi ứng dụng
- Giảm số bit trong lượng tử hóa có thể làm giảm độ chính xác tùy theo tác vụ. Luôn đánh giá bằng dữ liệu nghiệp vụ trước khi áp dụng.
- Với thông tin sản phẩm hoặc quy định thường xuyên cập nhật, mặc định nên dùng RAG để tham chiếu tài liệu mới nhất. Tinh chỉnh chủ yếu nhằm điều chỉnh thuật ngữ, cách diễn đạt và định dạng đầu ra.
Sản phẩm liên quan
- AIKNOW Security
Nền tảng bảo mật giúp sử dụng an toàn tri thức mật với RAG.
- AIKNOW
Nền tảng tri thức có cấu hình triển khai để vận hành trong môi trường bảo mật.
Tài liệu tham khảo
- Frantar, E. et al. (2023). GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. ICLR 2023. arXiv:2210.17323. https://arxiv.org/abs/2210.17323
- Lin, J. et al. (2024). AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. MLSys 2024 (Best Paper Award). arXiv:2306.00978. https://arxiv.org/abs/2306.00978
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022. arXiv:2106.09685. https://arxiv.org/abs/2106.09685
- Dettmers, T. et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS 2023. arXiv:2305.14314. https://arxiv.org/abs/2305.14314