Tóm tắt nhanh
- Dự án gpu-unlock dùng kernel module Linux nạp trước driver NVIDIA để điều chỉnh tốc độ phát lệnh FP/BF16 trên một số GPU Ampere.
- Trong phép thử GEMM dense 8192³ ở 450 W, RTX 3090 Ti đạt 157,41 TFLOPS BF16, so với 87,50 TFLOPS trước khi mở khóa.
- Kết quả vLLM được báo cáo tăng 33–36% ở Prefill context dài và giảm 25% độ trễ Time-To-First-Token; Decode gần như không đổi trong thử nghiệm.
- Công cụ không biến card cũ thành GPU mới: nó dành cho Linux và phần cứng Ampere tương thích, còn mức lợi ích phụ thuộc kiểu tải.
RTX 3090 Ti có thể đạt 157,41 TFLOPS BF16 thay vì 87,50 TFLOPS trong phép thử GEMM của dự án gpu-unlock, mức tăng gần 80% mà không thay card. Con số này nói về một kiểu tính toán ma trận cụ thể; với người chạy mô hình ngôn ngữ tại nhà, lợi ích rõ nhất được ghi nhận ở khâu nạp prompt dài, chứ không phải toàn bộ quá trình sinh câu trả lời.
GPU Unlock thay đổi thời điểm cấu hình card, không vá driver NVIDIA
GPU Unlock là kernel module mã nguồn mở dành cho Linux. Theo README của dự án trên GitHub, module chạy trong initramfs, trước khi driver NVIDIA chính thức nhận và gắn với GPU. Nó ghi các speed selector rồi thực hiện reset chức năng cấp thấp (FLR); driver NVIDIA vẫn nguyên bản, và dự án không yêu cầu flash VBIOS.
Cách triển khai này quan trọng vì thao tác phải diễn ra trước khi driver đã bind card. Nếu nạp module sau khi hệ thống khởi động và driver đã chiếm GPU, công cụ không thể áp dụng thay đổi theo cách đó. Người cài đặt cũng phải chủ động bật tham số gpu_unlock.targets=all trên dòng lệnh kernel; mặc định module không tự mở khóa mọi card.
Phạm vi hỗ trợ được README nêu cho các GPU GA102, GA103, GA104 và GA106, thuộc một số dòng Ampere. Vì vậy không nên hiểu đây là cách mở tính năng cho mọi GeForce, càng không áp dụng mặc định cho RTX 40 hay RTX 50. Công cụ cũng gắn với Linux, nên máy Windows không thể dùng nguyên quy trình này.
BF16 tăng nhiều hơn FP16 trong phép thử trên RTX 3090 Ti
Bảng kết quả dưới đây là phép nhân ma trận dense kích thước 8192³, chạy ở mức 450 W; dự án công bố trung vị của năm lần đo và dùng tích lũy FP32. Chênh lệch giữa các định dạng cho thấy không thể gói kết quả thành một tỷ lệ tăng chung cho mọi tác vụ.
| Định dạng (cao hơn tốt hơn) | RTX 3090 Ti trước mở khóa | RTX 3090 Ti sau mở khóa |
|---|---|---|
| FP16 (TFLOPS) | 87,46 | 118,39 |
| BF16 (TFLOPS) | 87,50 | 157,41 |
| TF32 (TFLOPS) | 42,58 | 82,61 |
Số liệu: dự án gpu-unlock trên GitHub.
BF16 tăng khoảng 80%, trong khi FP16 tăng từ 87,46 lên 118,39 TFLOPS; TF32 gần gấp đôi. Ba kết quả này đến từ một phép thử GEMM cụ thể, không phải điểm số tổng hợp cho game hay mọi ứng dụng CUDA. NVIDIA mô tả Ampere có Tensor Core thế hệ thứ ba và hỗ trợ các chế độ BF16, TF32; tuy nhiên hiệu năng thực tế còn tùy định dạng dữ liệu và phần mềm có sử dụng đúng đường tính toán hay không.
Prefill có thể nhanh hơn, còn Decode vẫn vướng băng thông bộ nhớ
Với mô hình ngôn ngữ, Prefill là giai đoạn xử lý prompt đầu vào trước khi tạo token trả lời; prompt càng dài, phần tính toán ban đầu càng đáng kể. Báo cáo được Wccftech dẫn lại cho biết thử nghiệm trên vLLM ghi nhận tốc độ Prefill context dài tăng 33–36% và độ trễ tới token đầu tiên giảm 25%, trong điều kiện so sánh của phép thử đó.
Decode là giai đoạn sinh từng token tiếp theo. Trong cùng mô tả thử nghiệm, tốc độ Decode gần như không đổi vì công cụ không làm tăng băng thông bộ nhớ. Điều này giúp đặt kỳ vọng đúng: người thường xuyên xử lý prompt dài có thể thấy thời gian chờ đầu ra được cải thiện, nhưng tốc độ sinh từng token sau đó không nhất thiết tăng theo.
Đây cũng là lý do mức tăng TFLOPS không thể chuyển thẳng thành mức tăng tương ứng cho toàn bộ ứng dụng AI. Nếu tác vụ bị giới hạn bởi việc chuyển dữ liệu từ VRAM, thay đổi tốc độ phát lệnh tính toán sẽ không giải quyết nút thắt chính.
RTX 3090 Ti cũ có thêm lựa chọn, nhưng cài đặt và rủi ro vẫn thuộc người dùng
Ở Việt Nam, GEARVN niêm yết mẫu Gigabyte RTX 3090 Ti Gaming OC 24G ở mức 45.990.000 đồng tại thời điểm dữ liệu được kiểm tra; đây là giá của đúng phiên bản đó, không phải giá chung của mọi RTX 3090 Ti. Với một card Ampere đã qua nhiều thế hệ, quyết định dùng lại phần cứng nên dựa trên workload thực tế, giá và tình trạng card, thay vì chỉ nhìn con số BF16 cao hơn.
GPU Unlock đòi hỏi thay đổi cấu hình khởi động Linux và nạp module mức kernel trước driver. Đây không phải thao tác bật một tuỳ chọn trong ứng dụng, và người quản trị cần hiểu cách khôi phục tham số kernel nếu hệ thống gặp vấn đề. README nêu cách tắt bằng việc bỏ tham số gpu_unlock.targets= khỏi dòng lệnh kernel; người dùng nên đọc hướng dẫn và đánh giá tương thích trước khi thử trên máy đang dùng làm việc.
Với người tự host AI đã có card Ampere tương thích, công cụ đáng chú ý nhất khi workload nặng Prefill hoặc ma trận BF16. Nếu nhu cầu chủ yếu là chơi game, chạy Windows, hoặc cần Decode nhanh hơn, dữ liệu hiện có không cho thấy đây là lý do đủ để đổi cách sử dụng GPU.
Nguồn tham khảo: Dự án gpu-unlock trên GitHub; NVIDIA Ampere GPU Architecture Tuning Guide; Wccftech; GEARVN.
