Tóm tắt nhanh
- Nhà cung cấp hạ tầng AI Modal đưa CPU NVIDIA Vera vào dịch vụ Sandboxes, nơi nhiều tác vụ chạy trong container đồng thời.
- Trong bộ đo nội bộ, Vera đạt thông lượng tối đa gấp đôi máy x86 dùng Intel Granite Rapids tương đương khi tải nặng.
- Con số không có nghĩa Vera nhanh gấp đôi trong mọi tác vụ: đo tuần tự khi máy nhàn, độ trễ chỉ tương đương hoặc chênh nhẹ.
- Modal vẫn giữ máy Intel và AMD, vì chuyển phần mềm sang Arm cần nhiều thay đổi.
Modal đưa Vera vào hạ tầng Sandboxes sau khi thử nghiệm ghi nhận thông lượng cao gấp đôi máy Intel Granite Rapids khi nhiều container chạy đồng thời. Điểm đáng chú ý không nằm ở việc một tác vụ đơn lẻ hoàn tất nhanh gấp đôi, mà ở khả năng giữ nhịp xử lý khi máy chịu tải tranh chấp.
Vera tạo khác biệt khi nhiều tác vụ cùng tranh tài nguyên
Bộ đo do đội kỹ thuật của hãng xây dựng từ 50 lời giải và bộ kiểm tra Terminal-Bench, chạy trong các container Docker đã làm nóng trước. Các tác vụ gồm biên dịch, tìm kiếm tệp, thao tác Git và mô phỏng thiết bị; phần gọi mạng được loại bỏ để chỉ đo công việc CPU thực hiện trong các quy trình kiểu agent.
Trong phép đo tải, số container đồng thời tăng dần rồi đếm số tác vụ hoàn thành trong khoảng thời gian cố định. Theo công bố, Vera đạt thông lượng tối đa gấp đôi máy x86 GNR tương đương. Đây là con số từ benchmark nội bộ của nhà cung cấp, chưa phải kết quả kiểm định độc lập.
Điều kiện đo cần nhớ: Vera có 88 nhân, đối thủ là hệ thống Intel Xeon 6 Granite Rapids tương đương, tải là nhiều tác vụ Terminal-Bench chạy đồng thời. Độ trễ từng tác vụ trong phép đo tải được báo cáo là tương đương hoặc đôi khi thấp hơn. Nhưng khi chạy tuần tự trên máy không tải, Vera không thắng áp đảo và kết quả thay đổi theo tác vụ.
Vì vậy con số gấp đôi nói về số việc hoàn thành trong một cụm nhiều tác vụ, không phải tốc độ chung cho mọi ứng dụng. Chưa có cấu hình đối chiếu cụ thể với từng bộ xử lý AMD, cũng chưa có số hiệu năng trên mỗi watt. Không có đủ dữ liệu để ngoại suy sang máy chủ khác.
Băng thông bộ nhớ giải thích lợi thế dưới tải
CPU phục vụ agent không chỉ chạy mô hình. Nó khởi chạy công cụ, biên dịch mã, tìm kiếm dữ liệu và điều phối sandbox. Những việc này tạo nhiều tiến trình nhỏ chạy đan xen. Khi số container tăng, nút thắt không còn là tốc độ một nhân mà là khả năng giữ nhiều việc tiến triển cùng lúc mà không nghẽn vì tranh chấp tài nguyên.
NVIDIA công bố Vera có 88 nhân Olympus tùy biến, mỗi nhân chạy hai tác vụ nhờ Spatial Multithreading, cùng bộ nhớ LPDDR5X đạt băng thông tối đa 1,2 TB/s. Nhà cung cấp cho rằng băng thông bộ nhớ cao giúp nhồi thêm container trên mỗi nhân mà không bị throttling CPU. Đây là lời giải thích của chính người thử nghiệm; chưa có dữ liệu độc lập để tách tác động của bộ nhớ khỏi các khác biệt kiến trúc khác.
Sandbox thường nhàn rỗi phần lớn thời gian chờ mô hình phản hồi, rồi tăng vọt khi cài gói npm hoặc chạy lệnh tìm kiếm nặng. Nếu máy xử lý được nhiều đợt bùng tải như vậy mà không phải giảm mật độ container, cùng một phần cứng phục vụ được nhiều việc hơn. Với huấn luyện RL đồng bộ, rollout xong sớm cũng giúp GPU bớt chờ, nhưng lợi ích thực tế còn phụ thuộc cả đường ống.
Chuyển sang Arm không đồng nghĩa bỏ x86
Vera dùng kiến trúc Arm, trong khi hạ tầng của nhà cung cấp trước nay chạy trên máy x86 của Intel và AMD. Hỗ trợ kiến trúc mới đòi hỏi sửa hạ tầng và hệ thống dựng image; phần mềm hoặc phụ thuộc chỉ chạy trên x86 cũng phải xử lý trước khi chuyển đổi rộng.
Vì vậy đơn vị này dự định giữ đội máy chủ hỗn hợp và chọn bộ xử lý theo loại tải. Cách làm này hợp lý hơn việc chuyển toàn bộ dịch vụ theo một kết quả benchmark. Lợi thế của Vera nổi lên trong tải container đồng thời, còn tác vụ khác có thể không hưởng lợi tương tự. Việc tiếp tục đánh giá các thế hệ Intel và AMD mới cũng để ngỏ khả năng đổi lựa chọn.
Vera mở thêm cửa cho Nvidia ngoài GPU
NVIDIA thiết kế Vera cho hệ thống AI quy mô lớn và công bố cả rack tích hợp CPU với GPU. Việc một nhà cung cấp đám mây triển khai CPU độc lập cho thấy hãng đang tìm chỗ đứng ở phần điều phối và thực thi công việc quanh mô hình. Đây là thị trường khác với bán bộ tăng tốc AI: CPU máy chủ xử lý các thao tác nền mà GPU không đảm nhiệm hiệu quả.
Tom’s Hardware dẫn ước tính của NVIDIA rằng doanh thu Vera có thể đạt ít nhất 20 tỷ USD trong năm tài chính hiện tại, trên thị trường tiềm năng khoảng 200 tỷ USD. Đây là dự báo và quy mô thị trường do hãng đưa ra, chưa phải doanh thu đã đạt hay thị phần đã xác lập. Một trường hợp triển khai như thế chưa đủ để kết luận các hệ thống Arm sẽ thay thế x86 trên diện rộng.
Ở Việt Nam, Vera là CPU máy chủ cho trung tâm dữ liệu, không phải linh kiện bán lẻ, nên hiện chưa có giá bán lẻ trong nước để so sánh. Với khách hàng đám mây, điều cần theo dõi là hiệu năng trên mỗi đơn vị chi phí ở workload thực tế, mức độ tương thích phần mềm Arm và độ trễ khi tải tăng. Kết quả thử nghiệm hiện tại chưa trả lời đầy đủ những điểm này. Lịch triển khai theo quy mô, giá dịch vụ và số liệu độc lập vẫn chưa được công bố.
Nguồn tham khảo: Modal; NVIDIA Newsroom; Tom’s Hardware.
