Groq cân nhắc DRAM 3D cho LPU: thêm dung lượng, đổi lại băng thông

Groq được cho là đang cân nhắc chuyển một phần thiết kế LPU thế hệ tiếp theo từ SRAM sang DRAM xếp chồng 3D, một lựa chọn ưu tiên dung lượng bộ nhớ khi mô hình AI ngày càng lớn hơn. Thông tin này xuất phát từ nguồn tin ngành bán dẫn được ZDNet Korea dẫn lại; NVIDIA chưa công bố chi tiết về chip tương lai của Groq.

SRAM giúp LPU đạt băng thông cao, nhưng dung lượng mỗi chip còn hạn chế

SRAM là một phần quan trọng trong cách Groq thiết kế bộ tăng tốc suy luận: bộ nhớ nằm gần mạch xử lý và cho phép truyền dữ liệu với tốc độ cao. Theo thông số NVIDIA công bố cho Groq 3 LPU, mỗi chip có 500 MB SRAM và băng thông SRAM 150 TB/s. Con số này đi kèm đánh đổi về dung lượng, nhất là khi tải mô hình lớn hoặc xử lý ngữ cảnh dài.

Ở cấp hệ thống, một rack LPX kết nối 256 LPU, có tổng cộng 128 GB SRAM cùng 12 TB DDR5 dành cho mô hình và workload lớn. Cấu hình đó cho thấy NVIDIA không dùng một loại bộ nhớ để giải quyết mọi việc: SRAM phục vụ xử lý độ trễ thấp, còn DDR5 cung cấp phần dung lượng lớn hơn. Nếu LPU riêng lẻ có thêm bộ nhớ dung lượng cao, hệ thống có thể giảm áp lực phải phân tán một số dữ liệu qua nhiều thành phần; hiệu quả thực tế còn phụ thuộc cách thiết kế chip và phần mềm quản lý bộ nhớ.

DRAM xếp chồng có thể tăng dung lượng mà không chạy đua như HBM

Thông tin từ ZDNet Korea mô tả phương án 3DS là xếp các die DRAM theo chiều dọc và nối chúng bằng TSV (Through-Silicon Via), tức các đường dẫn xuyên qua silicon. Cách đóng gói này giúp đặt nhiều bộ nhớ trong diện tích nhỏ hơn so với bố trí phẳng. DRAM vốn có lợi thế về khả năng mở rộng dung lượng, trong khi SRAM phù hợp hơn khi cần băng thông rất cao.

3DS có điểm chung về cấu trúc xếp chồng với HBM, nhưng hai hướng không thể đánh đồng. HBM được tối ưu cho băng thông lớn với giao tiếp rộng; theo bài viết của ZDNet Korea, 3DS trong phương án được nhắc tới giữ giao tiếp DRAM tiêu chuẩn và tập trung vào dung lượng. Vì vậy, nếu Groq chọn cách này, đó không nhất thiết là nỗ lực vượt HBM về tốc độ truyền dữ liệu mà là cách đưa thêm bộ nhớ gần bộ xử lý mà không mở rộng footprint theo chiều ngang.

Với các mô hình có hàng nghìn tỷ tham số hoặc cửa sổ ngữ cảnh dài, dung lượng bộ nhớ có thể trở thành giới hạn trước khi tốc độ tính toán đạt trần. Thêm DRAM không tự động làm mọi tác vụ nhanh hơn: lợi ích tùy thuộc dữ liệu nào được đặt trong SRAM, dữ liệu nào chuyển sang DRAM và mức độ thường xuyên chip phải trao đổi giữa hai vùng. Nếu tầng DRAM chậm hơn đáng kể so với SRAM, phần mềm cần phân bổ dữ liệu hợp lý để tránh biến dung lượng tăng thêm thành thời gian chờ.

Thiết kế tương lai có thể giữ cả SRAM lẫn DRAM

Tin hiện có nói về việc Groq xem xét 3D packaging cho chip thế hệ kế tiếp, chứ chưa xác nhận cấu hình thương mại, dung lượng, băng thông hay thời điểm ra mắt. Một khả năng khác là công ty duy trì các lựa chọn SRAM và DRAM riêng, thay vì thay SRAM trên toàn bộ dòng sản phẩm. Đây là khác biệt quan trọng: LPU cần độ trễ thấp và mô hình vừa phải có thể hưởng lợi từ SRAM, còn một cấu hình nhiều DRAM có thể nhắm tới tải lớn cần sức chứa cao hơn.

Trang NVIDIA mô tả Groq 3 LPX hiện tại như một hệ thống kết hợp LPU dùng SRAM với GPU Rubin dùng HBM; mỗi rack còn có DDR5. Cách phân tầng đó cho thấy kiến trúc AI quy mô lớn vốn đã phối hợp nhiều loại bộ nhớ theo vai trò. Nếu 3DS xuất hiện trong LPU tương lai, câu hỏi đáng theo dõi sẽ là nó bổ sung tầng dung lượng ở đâu, thay thế phần nào của SRAM hay chỉ phục vụ một biến thể chuyên biệt.

Đối với người dùng thông thường tại Việt Nam, đây không phải linh kiện bán lẻ mà là hướng phát triển phần cứng trung tâm dữ liệu. Tác động có thể đến gián tiếp qua chi phí và khả năng phục vụ các dịch vụ AI, nhưng chưa có dữ liệu để kết luận DRAM 3D sẽ làm giá suy luận giảm hay tốc độ phản hồi tăng. Những thông số quyết định như dung lượng mỗi LPU, băng thông DRAM, độ trễ và cách ghép với SRAM vẫn chưa được công bố.

Nguồn tham khảo: NVIDIA; ZDNet Korea; Wccftech