Tóm tắt nhanh
- NVIDIA phát hành Nemotron 3.5 Super VL, mô hình đa phương thức 120 tỷ tham số theo kiến trúc MoE, kích hoạt 12 tỷ tham số mỗi token.
- Bolt 74B-A9B dùng lượng tử hóa 2-bit để vừa trong 24GB bộ nhớ; NVIDIA định hướng chạy tác vụ agent cục bộ trên hệ thống RTX/DGX Spark.
- Bolt E4B 4GB dành cho trợ lý hội thoại và agent trên thiết bị biên, dự kiến phát hành ngày 23/10/2026.
- Giá trị thực tế phụ thuộc vào chất lượng mô hình sau lượng tử hóa, phần cứng và khả năng vận hành agent; thông báo ra mắt chưa thay thế được đánh giá độc lập trên máy phổ thông.
NVIDIA ra mắt Nemotron 3.5 Super VL 120B cùng hai mô hình Bolt hướng tới thiết bị biên, nhưng điểm đáng bàn không phải con số 120 tỷ đứng riêng lẻ. Hãng đang ghép mô hình mở, xử lý hình ảnh-tài liệu và các tối ưu suy luận vào một lựa chọn có thể triển khai gần dữ liệu hơn, từ trung tâm dữ liệu tới máy cục bộ.
Điều đó có thể giảm việc gửi tài liệu nội bộ lên dịch vụ AI bên ngoài, đồng thời cho phép nhóm phát triển điều chỉnh mô hình theo quy trình riêng. Đổi lại, “chạy tại chỗ” không đồng nghĩa mọi máy tính có 24GB VRAM đều sẽ vận hành thoải mái hay đạt tốc độ tương đương máy chủ chuyên dụng.
120 tỷ tham số không có nghĩa mỗi token phải tính cả mô hình
Nemotron 3.5 Super VL sử dụng kiến trúc Mixture-of-Experts (MoE): tổng quy mô là 120 tỷ tham số, nhưng chỉ 12 tỷ được kích hoạt cho mỗi token. Cách thiết kế này giữ nhiều năng lực chuyên biệt trong mô hình mà không phải thực hiện toàn bộ phép tính của một mô hình dày đặc 120 tỷ tham số ở mỗi bước sinh.
Mô hình được thiết kế để kết hợp suy luận, làm theo chỉ dẫn, gọi công cụ và hiểu văn bản, ảnh, tài liệu, video. Với một agent đọc PDF có biểu đồ rồi đối chiếu với bảng ở trang khác, việc xử lý các dạng đầu vào trong cùng một mô hình có thể tránh chuyển ngữ cảnh giữa một mô hình ngôn ngữ và một mô hình thị giác riêng. Đây là lợi ích về kiến trúc luồng xử lý; hiệu quả cuối cùng vẫn tùy vào chất lượng nhận diện và cách agent được cấu hình.
NVIDIA nêu kết quả 80,8% trên CharXiv, bài đánh giá suy luận biểu đồ, so với 63% của Nemotron 3 Nano Omni; ở tác vụ diễn giải mã Python, hãng công bố 84%. Đây là số liệu do NVIDIA trình bày, hữu ích để thấy mục tiêu của Super VL nghiêng về tài liệu và tác vụ đa phương thức, nhưng chưa đủ để kết luận mô hình sẽ chính xác tương tự với tài liệu tiếng Việt hoặc dữ liệu doanh nghiệp cụ thể.
Bolt 74B-A9B nhắm vào giới hạn bộ nhớ, không xóa bỏ yêu cầu phần cứng
Nemotron 3.5 Bolt 74B-A9B có 74 tỷ tham số tổng cộng và kích hoạt 9 tỷ mỗi lượt. NVIDIA cho biết phiên bản này dùng lượng tử hóa gốc 2-bit để chứa trong 24GB bộ nhớ và chạy song song với các ứng dụng khác. Ý nghĩa của cấu hình nằm ở chỗ đưa một mô hình có dung lượng lớn hơn nhóm mô hình nhỏ thường thấy vào phạm vi triển khai cục bộ, thay vì bắt buộc gọi API đám mây cho mọi yêu cầu.
Nhưng 24GB là ngưỡng dung lượng được hãng nhắm tới, không phải lời bảo đảm rằng mọi GPU có 24GB đều chạy được cùng tốc độ. Bộ nhớ còn phải dành cho ngữ cảnh, bộ nhớ đệm KV, phần mềm phục vụ mô hình và những tiến trình khác; tốc độ cũng phụ thuộc băng thông bộ nhớ, kernel và thiết lập suy luận. Tài liệu NVIDIA giới thiệu Bolt trên hệ thống RTX/DGX Spark, vì vậy không nên tự suy rộng thành hỗ trợ đã được xác nhận cho mọi card RTX 24GB.
Quantization 2-bit giảm lượng dữ liệu trọng số cần lưu trữ, song độ chính xác sau nén và chất lượng câu trả lời phải được kiểm tra theo tác vụ. Với agent, thước đo cũng không dừng ở token mỗi giây: số lần gọi công cụ, độ dài chuỗi suy luận và việc có hoàn thành đúng yêu cầu hay không mới quyết định tổng thời gian xử lý. Cần benchmark độc lập trên cùng phần cứng và bộ tác vụ trước khi xem đây là thay thế phù hợp cho dịch vụ cloud.
Đọc hiểu đa phương thức có thể giảm khâu nối mô hình, nhưng cần kiểm thử trên dữ liệu thật
Super VL tập trung vào OCR, bảng, biểu đồ, tài liệu nhiều trang và video. Một agent có thể trích số từ biểu đồ, liên kết với bảng trong cùng báo cáo rồi dùng công cụ tạo bản tóm tắt, thay vì chuyển nội dung qua nhiều hệ thống. Ít chặng trung gian hơn có tiềm năng giảm độ trễ và lỗi mất ngữ cảnh, đặc biệt khi công việc lặp lại nhiều bước.
Tuy vậy, tích hợp thị giác và ngôn ngữ không tự động bảo đảm đọc đúng mọi biểu đồ. Chất lượng scan, bố cục, độ phân giải, ngôn ngữ, cách ghi đơn vị và dữ liệu huấn luyện đều ảnh hưởng kết quả. NVIDIA cho biết Super VL đạt 63,44% trên Hermes Bench và 87,05% trên LangChain Evals, so với 56,33% và 84,3% của Nemotron 3 Ultra; đây là kết quả trên các bộ đánh giá do NVIDIA công bố, không phải phép đo độc lập toàn diện cho mọi agent hay tác vụ thực tế.
Với doanh nghiệp, lợi ích sẽ rõ nhất khi bộ tài liệu và quy trình đủ ổn định để xây dựng đánh giá riêng: tỷ lệ trích xuất đúng, số lần gọi công cụ, tỷ lệ hoàn tất và thời gian xử lý. Nếu không có bộ kiểm thử đại diện, một điểm benchmark tổng hợp dễ tạo cảm giác tiến bộ nhưng chưa chứng minh được mô hình xử lý tốt hợp đồng, hóa đơn hay biểu mẫu của chính tổ chức đó.
Mô hình mở tạo quyền kiểm soát, còn chi phí vận hành vẫn thuộc về người triển khai
NVIDIA cho biết Super VL có trọng số mở, dữ liệu và công thức huấn luyện được phát hành, đồng thời có thể tùy chỉnh bằng NeMo. Nhóm phát triển vì thế có thêm quyền chọn nơi đặt mô hình và cách điều chỉnh nó theo dữ liệu, công cụ cùng chính sách nội bộ. Đây là khác biệt quan trọng với API đóng, nơi nhà cung cấp quyết định phiên bản, giới hạn và cách xử lý dữ liệu.
Quyền kiểm soát này đi kèm việc tự lo hạ tầng, cập nhật, giám sát an toàn, kiểm thử và xử lý sự cố. Mô hình cục bộ không tự đảm bảo dữ liệu được bảo vệ nếu hệ thống lưu log không phù hợp, quyền truy cập lỏng lẻo hoặc agent có quyền gọi công cụ quá rộng. Với nhóm nhỏ, API cloud đôi khi vẫn đơn giản và rẻ hơn khi nhu cầu thấp; lợi thế của mô hình mở tăng lên khi yêu cầu riêng tư, tùy biến hoặc khối lượng sử dụng đủ lớn để biện minh cho chi phí vận hành.
NVIDIA cũng quảng bá thông lượng agent cao hơn tới 5 lần so với các mô hình mở khác cùng nhóm kích thước trên một GPU. Đây là tuyên bố của hãng về tác vụ agent, không nên diễn giải thành mọi prompt đều trả lời nhanh gấp năm lần. Bản thân NVIDIA Technical Blog nhấn mạnh thời gian hoàn tất còn phụ thuộc thông lượng, lượng token, số lần gọi công cụ và số bước cần để đưa ra kết quả đúng.
Người dùng tại Việt Nam nên nhìn đây là lựa chọn cho nhà phát triển, chưa phải ứng dụng cài là chạy
Nemotron 3.5 là mô hình có trọng số mở được phân phối qua các nền tảng dành cho nhà phát triển, không phải thiết bị bán lẻ có giá niêm yết tại Việt Nam. Bolt 74B-A9B hướng tới hệ thống có 24GB bộ nhớ; Bolt E4B 4GB phù hợp hơn với phần cứng hạn chế, nhưng lịch phát hành được NVIDIA nêu là ngày 23/10/2026. Chưa có cơ sở để gắn một mức giá phần cứng cụ thể hay khẳng định toàn bộ mô hình đã tối ưu cho máy phổ thông đang bán trong nước.
Với người dùng cá nhân, điều đáng theo dõi là các bản triển khai qua Ollama, LM Studio hoặc những công cụ tương tự, cùng yêu cầu phần cứng và chất lượng tiếng Việt thực tế. Với doanh nghiệp hay đội phát triển, bước hợp lý hơn là thử trên tập tài liệu đã ẩn thông tin nhạy cảm, so sánh với giải pháp cloud và tính cả thời gian vận hành GPU, thay vì quyết định chỉ từ số tham số hoặc tuyên bố thông lượng.
NVIDIA phát hành Super VL và Bolt 74B-A9B vào ngày 15/10/2026; Bolt E4B dự kiến tới ngày 23/10. Mốc đáng chờ sau đó là các đánh giá độc lập về độ chính xác đa phương thức, tốc độ trên phần cứng thực tế và mức suy giảm chất lượng do lượng tử hóa 2-bit. Những dữ liệu ấy mới cho biết mô hình mở này có chuyển được lợi thế kiến trúc thành một agent cục bộ hữu ích hay không.
Nguồn tham khảo: NVIDIA Blog, NVIDIA Technical Blog, VentureBeat.
