Tóm tắt nhanh
- NVIDIA vừa công bố NVHBM, một thiết kế bộ nhớ HBM tùy biến dành cho GPU và XPU thế hệ sau, phát triển cùng Annapurna Labs — bộ phận thiết kế chip của Amazon.
- NVIDIA công bố NVHBM đạt băng thông cao hơn tới 30% và tiêu thụ điện thấp hơn tới 15% so với HBM4E tiêu chuẩn, đồng thời giải phóng thêm tới 25% diện tích trên die tính toán.
- Annapurna Labs là đối tác đầu tiên, sẽ đưa NVHBM vào chip AWS Trainium4 thế hệ tiếp theo thông qua nền tảng NVLink Fusion.
- NVIDIA dự kiến ứng dụng đầu tiên trên chính GPU của hãng là thế hệ Feynman, dự kiến ra mắt năm 2028.
Vì sao bộ nhớ trở thành nút thắt của AI
NVIDIA hướng NVHBM tới những hệ thống xử lý AI thế hệ mới, trong bối cảnh quy mô mô hình ngày càng lớn. Khi mô hình tiến tới hàng nghìn tỷ tham số, năng lực tính toán của GPU không phải yếu tố duy nhất quyết định tốc độ. Bộ xử lý còn phải nhận và trao đổi một lượng dữ liệu rất lớn với bộ nhớ trong thời gian ngắn. Nếu băng thông bộ nhớ không theo kịp, các đơn vị tính toán có thể phải chờ dữ liệu, khiến hiệu suất tổng thể của hệ thống bị giới hạn.
Đó là lý do các giải pháp HBM, tức bộ nhớ băng thông cao, giữ vai trò quan trọng trong hạ tầng AI. Khác với bộ nhớ của máy tính cá nhân, HBM thường được triển khai trong các bộ tăng tốc và hệ thống máy chủ chuyên dụng, nơi chi phí, nhiệt lượng, điện năng và khả năng mở rộng đều được tính toán ở quy mô trung tâm dữ liệu.
NVHBM có điểm gì đáng chú ý
NVHBM là giải pháp HBM tùy biến do NVIDIA phát triển cùng Annapurna Labs của Amazon, mở rộng từ nền tảng NVLink Fusion. Điểm khác biệt cốt lõi nằm ở vị trí bộ điều khiển bộ nhớ: thay vì đặt trên die tính toán của GPU/XPU như thiết kế HBM tiêu chuẩn, NVIDIA chuyển bộ điều khiển này xuống base die của chính khối nhớ HBM.
Cách thiết kế lại này mang về nhiều lợi ích được NVIDIA công bố cùng lúc: băng thông cao hơn tới 30% và điện năng tiêu thụ thấp hơn tới 15% so với HBM4E tiêu chuẩn; diện tích dành cho tính toán trên die chính tăng thêm tới 25% nhờ bộ điều khiển nhớ không còn chiếm chỗ; phần diện tích PHY và mạch hỗ trợ giảm tới 67% so với chuẩn HBM4E của JEDEC; khả năng định tuyến (routing) trên toàn bộ layout cải thiện tới 80%. NVIDIA cho biết sẽ xây dựng NVHBM thành một chuẩn triển khai chung, để nhiều nhà cung cấp bộ nhớ khác nhau đều có thể sản xuất theo thiết kế này thay vì chỉ một nguồn duy nhất.
Ai sẽ hưởng lợi nếu công nghệ được triển khai
NVHBM không phải linh kiện mà người dùng phổ thông có thể mua riêng để nâng cấp máy tính. Đối tượng hướng tới là các nhà cung cấp hạ tầng AI, đơn vị vận hành trung tâm dữ liệu và những tổ chức xây dựng mô hình lớn — nhóm cần tăng tốc xử lý nhưng đồng thời phải kiểm soát điện năng, nhiệt độ và chi phí mở rộng hệ thống.
Amazon, qua Annapurna Labs, là đối tác đầu tiên xác nhận hợp tác trên NVHBM, với kế hoạch đưa công nghệ này vào chip AWS Trainium4 thế hệ tiếp theo — kết nối GPU của NVIDIA với chip của Amazon ở quy mô rack thông qua NVLink Fusion. Ông Nafea Bshara, Phó chủ tịch Annapurna Labs, mô tả đây là “một hướng tiếp cận kiến trúc mới nhằm nâng cao hiệu năng và hiệu quả của bộ nhớ băng thông cao”. Về phía NVIDIA, thế hệ GPU Feynman dự kiến ra mắt năm 2028 được xác định là nơi công nghệ này lần đầu xuất hiện trên chính sản phẩm của hãng.
Tổng kết
NVIDIA và Annapurna Labs của Amazon giới thiệu NVHBM như một hướng tối ưu ở tầng hạ tầng cho GPU, XPU AI thế hệ sau: băng thông cao hơn tới 30%, điện năng thấp hơn tới 15%, cùng nhiều diện tích silicon hơn dành cho tính toán thay vì mạch điều khiển bộ nhớ. Trainium4 của AWS là sản phẩm đầu tiên được xác nhận sẽ dùng NVHBM, còn trên GPU của chính NVIDIA, công nghệ này dự kiến xuất hiện từ thế hệ Feynman năm 2028.
Đây là bước đi phù hợp với xu hướng chung của ngành: khi mô hình AI ngày càng lớn, băng thông và hiệu quả năng lượng của bộ nhớ trở thành yếu tố quyết định không kém năng lực tính toán thuần túy của GPU.
THEO DÕI CÁC KÊNH CỦA TEKCAFE
- Website: TekCafe.vn
- Fanpage Facebook: facebook.com/tekcafeteam
- YouTube: youtube.com/c/TekCafeTeam
BÀI VIẾT MỚI NHẤT
- NVIDIA giới thiệu NVHBM: Hướng tùy biến bộ nhớ cho hệ thống AI
- Ba cách làm trải nghiệm Apple CarPlay tiện dụng hơn mỗi ngày
- Phil Schiller được cho là rời hai vai trò quan trọng tại Apple
- Amazon nâng cam kết lên tối đa 3 triệu GPU NVIDIA cho AWS
- Google Maps hiển thị hồ Ontario thành “Lake America” tại Mỹ
