Tóm tắt nhanh
- Một thử nghiệm với Qwen3.8-27B trên RTX 3090 24GB ghi nhận tốc độ tăng từ 82 lên 382 token/giây khi mô hình trích dẫn lại tài liệu dài 25.000 token.
- Mức 4,6 lần dựa trên DFlash2 kết hợp bộ dò n-gram, phù hợp nhất khi câu trả lời lặp lại văn bản đã có.
- Trong trò chuyện thông thường, tốc độ được báo cáo khoảng 133 token/giây, không phải 382.
- RTX 3090 cũ có thể hữu ích cho AI chạy tại máy, nhưng kết quả này chưa đủ để kết luận nó thay thế được GPU mới trong mọi cấu hình.
RTX 3090 đời Ampere có thể tạo ra tới 382 token mỗi giây với Qwen3.8-27B trong một phép thử trích dẫn tài liệu dài. Con số này cao gấp 4,6 lần mức 82 token/giây ban đầu, nhưng phụ thuộc vào cách mô hình tạo câu trả lời và cấu hình suy luận cụ thể, chứ không phải một cú tăng tốc áp dụng cho mọi cuộc trò chuyện.
Mức 382 token/giây đến từ việc mô hình lặp lại nội dung đã đọc
Thử nghiệm do lập trình viên iamMess chia sẻ sử dụng speculative decoding: một mô hình phụ đoán trước các token tiếp theo, còn mô hình chính kiểm tra nhiều token trong một lượt. DFlash2 đảm nhiệm phần dự đoán theo khối; bộ lookup rà lại văn bản có sẵn trong ngữ cảnh để tìm chuỗi có khả năng được lặp lại.
Ở tác vụ trích dẫn tài liệu 25.000 token, khoảng 15 trong 16 token được đề xuất được chấp nhận. Vì đầu ra thường lấy nguyên văn từ nội dung đã nạp, bộ dò có nhiều cơ hội đoán đúng hơn so với khi mô hình tự viết câu mới. Thử nghiệm báo cáo tốc độ tăng từ 260 lên 382 token/giây ở giai đoạn tối ưu cuối.
Đây là khác biệt quan trọng: con số 4,6 lần không mô tả tốc độ trả lời chung của RTX 3090 với mọi prompt. Nó là kết quả trong một trường hợp có độ lặp cao, nơi việc tra cứu chuỗi tận dụng được nội dung sẵn có.
DFlash2 giữ mô hình chính kiểm soát đầu ra, nhưng không tự làm GPU nhanh hơn
DFlash2 là mô hình draft khoảng 2 tỷ tham số, không phải một chatbot độc lập. Nó đưa ra dự đoán để Qwen3.8-27B kiểm tra; mô hình chính vẫn quyết định token nào được giữ lại. Theo mô tả kỹ thuật của z-lab và Inco AI, speculative decoding được thiết kế để giữ nguyên đầu ra của mô hình mục tiêu, thay vì đánh đổi chất lượng lấy tốc độ.
Cơ chế này giảm số lượt mô hình lớn phải xử lý tuần tự khi các dự đoán đúng. Nó không làm tăng năng lực tính toán hay băng thông vật lý của RTX 3090. Lợi ích đến từ việc tận dụng thời gian mà bước sinh token tuần tự thường phải chờ đọc trọng số từ bộ nhớ.
Với chat thông thường, người thử nghiệm ghi nhận khoảng 133 token/giây thay vì 82. Mức cải thiện vẫn đáng kể, nhưng khi câu trả lời không lặp lại văn bản đầu vào thì lookup drafter ít có cơ hội đạt tỷ lệ chấp nhận gần như tuyệt đối. Vì vậy, trải nghiệm thực tế sẽ phụ thuộc vào tác vụ, phần mềm suy luận, lượng VRAM còn trống và cách nạp mô hình.
RTX 3090 24GB hợp homelab một người dùng hơn máy chủ nhiều phiên
Card có 24GB VRAM, một lợi thế thiết thực khi chạy mô hình 27 tỷ tham số tại máy. Tuy vậy, thêm mô hình dự đoán cũng tiêu tốn bộ nhớ; nếu cấu hình khiến trọng số hoặc KV cache phải chuyển sang RAM hệ thống, độ trễ truyền dữ liệu có thể xóa mất phần tăng tốc.
Benchmark trên trang model card của z-lab dùng một NVIDIA H200 và SGLang, không phải RTX 3090. Trong bài kiểm tra đó, DFlash2 đạt mức tăng 2,67–3,43 lần ở concurrency 1 tùy tác vụ, nhưng ở concurrency 32 mức tăng còn 1,01–1,45 lần. Đây là lời nhắc rằng speculative decoding thường có lợi hơn cho một người dùng tương tác trên GPU đang rảnh, không nhất thiết tăng thông lượng tương ứng khi nhiều yêu cầu chạy đồng thời.
Đối với người dùng tại Việt Nam, RTX 3090 hiện chủ yếu đáng cân nhắc ở thị trường đã qua sử dụng; dữ liệu thị trường trong package ghi nhận khoảng 16–22 triệu đồng, còn hàng mới chính hãng đã ngừng bán ở các hệ thống được kiểm tra. Giá đồ cũ biến động theo tình trạng card, bảo hành và lịch sử sử dụng, nên khoản tiết kiệm chỉ hợp lý nếu người mua chấp nhận tự kiểm tra nhiệt độ, VRAM và độ ổn định.
Con số 4,6 lần chưa đủ để gọi RTX 3090 là món hời cho mọi nhu cầu AI
RTX 3090 có thể là lựa chọn đáng xem cho homelab cần 24GB VRAM, nhất là khi chủ yếu chạy một phiên và xử lý tài liệu hoặc sinh đầu ra có mẫu lặp. Nhưng tốc độ 382 token/giây không nên dùng làm kỳ vọng cho chat, viết sáng tạo hay phục vụ nhiều người cùng lúc.
Điểm đáng giá của kết quả này nằm ở phần mềm: tối ưu bộ suy luận có thể kéo dài vòng đời của GPU cũ mà không thay card. Trước khi mua một chiếc RTX 3090 cũ chỉ vì benchmark, người dùng nên xác định mô hình, engine, mức lượng tử hóa và ngữ cảnh sẽ chạy; nếu không, 24GB VRAM và mức tăng tốc trong một kịch bản đặc biệt chưa chắc chuyển thành trải nghiệm phù hợp.
Nguồn tham khảo: Wccftech, z-lab / Inco AI trên Hugging Face, RunAIHome
