Chia sẻ đam mê công nghệ
Phần mềm

Microsoft đưa RDMA lên USB4: ghép nhiều PC chạy AI, nhưng cần máy chuyên dụng

Microsoft thử nghiệm RDMA over USB4 để nhiều PC Windows chia sẻ bộ nhớ và GPU khi chạy mô hình AI lớn. Kết quả ban đầu đáng chú ý, nhưng cách nối full-mesh và yêu cầu tắt Secure Boot khiến đây vẫn là công cụ dành cho máy thử nghiệm.

Tóm tắt nhanh

  • RDMA over USB4 cho phép ứng dụng tương thích chia một mô hình AI lên từ hai PC Windows trở lên, dùng tổng bộ nhớ và năng lực GPU của các máy.
  • Microsoft đo độ trễ khứ hồi 28–50 micro giây cho thông điệp nhỏ, thấp hơn khoảng 4 lần so với Ethernet (UDP) chạy trên cùng liên kết USB4.
  • Các PC phải nối trực tiếp theo kiểu full-mesh; mỗi máy cần N-1 cổng USB4. Không thể nối dây tuần tự để thay thế.
  • Bản thử nghiệm yêu cầu bật test signing và tắt Secure Boot, nên chỉ phù hợp với máy dev riêng.

Microsoft đang chuẩn bị đưa RDMA over USB4 lên Windows Insider Experimental, hướng tới việc chạy một số mô hình AI lớn trên nhiều PC nối cáp trực tiếp thay vì phải chuyển dữ liệu lên cloud hoặc dựng máy chủ có card mạng chuyên dụng.

Ý tưởng này có thể tận dụng mini PC hoặc máy tính Windows đã có USB4, nhưng không biến một nhóm máy bất kỳ thành cụm AI chỉ bằng cách cắm cáp. Phần mềm chạy mô hình phải hỗ trợ xử lý phân tán, các máy cần đủ cổng để kết nối từng cặp, và bản developer preview hiện còn yêu cầu hạ một lớp bảo vệ khởi động của Windows.

RDMA giảm thời gian trao đổi dữ liệu giữa các PC

Ba mini PC xếp chồng trong minh họa RDMA over USB4
Ba mini PC xếp chồng trong hình thể hiện cấu hình nhiều máy mà Microsoft dùng để thử chạy mô hình AI cục bộ. (Ảnh: Microsoft / Wccftech)

RDMA (Remote Direct Memory Access) cho phép dữ liệu đi trực tiếp giữa vùng nhớ của hai hệ thống, bỏ qua phần lớn các lớp mạng truyền thống. Windows đã hỗ trợ API NetworkDirect cho RDMA, nhưng trước đây thường cần card mạng Ethernet hoặc InfiniBand chuyên dụng. Microsoft đưa thêm một provider phần mềm để chạy NetworkDirect qua kết nối USB4 host-to-host.

Trong phép đo giữa hai PC, Microsoft ghi nhận độ trễ khứ hồi 28–50 micro giây với các gói tin nhỏ; so với Ethernet dùng UDP qua chính liên kết USB4 đó, mức này thấp hơn khoảng 4 lần. Đây là số đo của Microsoft trong cấu hình thử nghiệm, không phải mức bảo đảm cho mọi máy hay mọi ứng dụng. Ở 40 Gbps và 80 Gbps, độ trễ được mô tả là tương đương; chuẩn 80 Gbps có lợi thế về băng thông khi tác vụ cần chuyển nhiều dữ liệu.

Điều đó quan trọng với tensor parallelism: khi mô hình được chia cho nhiều GPU, các máy phải trao đổi dữ liệu lặp lại trong lúc sinh từng token. Giảm độ trễ có thể giúp bớt thời gian chờ giao tiếp, nhưng tốc độ cuối cùng vẫn phụ thuộc mô hình, phần mềm suy luận, bộ nhớ và GPU của từng máy.

Kết quả chạy mô hình lớn là phép thử trong cấu hình cụ thể

Microsoft cho biết ba mini PC dùng Ryzen AI Max, Radeon 8060S và 128 GB bộ nhớ hợp nhất mỗi máy, nối full-mesh USB4 40 Gbps, chạy Qwen3-235B-A22B lượng tử hóa 4-bit ở khoảng 18,5 token/giây trong phòng thí nghiệm của hãng. Đây là kết quả với bản llama.cpp đã được AMD tối ưu; không thể suy ra mọi máy có Ryzen AI Max sẽ đạt tốc độ tương tự.

Phép thửCấu hình và điều kiệnThời gian tới token đầuTốc độ đo được
Qwen3-235B-A22B, kết quả phòng lab Microsoft3 mini PC AMD Ryzen AI Max, Radeon 8060S, 128 GB bộ nhớ hợp nhất/máy; USB4 40 Gbps full-mesh; lượng tử hóa 4-bitKhông nêuKhoảng 18,5 token/giây
Qwen3-235B-A22B, phép đo AMD3 mini PC Ryzen AI Max+ 395; Q4_K_M; context 1.600 token, sinh 2.048 tokenKhông nêuGiải mã 21,98 token/giây; xử lý prompt 117,98 token/giây
GPT-OSS-120B, 3 PC IntelCore Ultra Series 3, 64 GB 9.600 MT/s/máy; Thunderbolt 4; context 1K1,1 giây49,4 token/giây
GPT-OSS-120B, 4 PC IntelCùng cấu hình; context 1K1,2 giây54,2 token/giây
GPT-OSS-120B, 3 PC IntelCùng cấu hình; context 2K2,9 giây49,4 token/giây
GPT-OSS-120B, 4 PC IntelCùng cấu hình; context 2K3,2 giây51,7 token/giây

Số liệu: Microsoft USB Blog; các hàng phép đo riêng do AMD và Intel thực hiện trên cấu hình được nêu.

AMD đo tốc độ giải mã và xử lý prompt thành hai chỉ số riêng; Intel ghi nhận tốc độ giải mã theo context 1K và 2K. Khi tăng từ ba lên bốn PC, mức tăng tốc không tỷ lệ với số máy, còn tốc độ giải mã Intel ở context 2K giữ nguyên 49,4 token/giây trong phép thử này. Kết quả phụ thuộc cấu hình, mô hình và bản phần mềm cụ thể.

Những số liệu trên cho thấy việc ghép bộ nhớ có thể đưa mô hình vượt quá khả năng của một PC đơn lẻ vào phạm vi thử nghiệm tại chỗ. Chúng chưa chứng minh đây là lựa chọn rẻ hoặc tiện hơn máy trạm: bài công bố không đưa ra chi phí tổng thể, mức tiêu thụ điện hay phép so sánh cùng mô hình trên một máy nhiều GPU.

Full-mesh mới là giới hạn phần cứng khó vượt qua

Cáp USB-C cùng logo USB4 và Thunderbolt
Cáp USB-C minh họa kết nối vật lý giữa các PC; cổng trên mỗi máy vẫn phải hỗ trợ USB4. (Ảnh: Wccftech)

Để tạo kết nối trực tiếp giữa mọi cặp máy, cụm N PC cần ít nhất N-1 cổng USB4 trên mỗi PC và một dây cho mỗi cặp. Ba máy cần hai cổng mỗi máy; bốn máy cần ba. Microsoft cảnh báo không nối tiếp kiểu daisy-chain vì hiệu năng giảm mạnh.

Đây là điểm làm ý tưởng khó áp dụng hơn vẻ ngoài “dùng cáp sẵn có”. Nhiều laptop chỉ có một hoặc hai cổng USB-C tổng cộng, trong đó không phải cổng nào cũng hỗ trợ USB4. Ngay cả khi đủ cổng, người dùng còn phải kiểm tra tốc độ liên kết, bộ nhớ hợp nhất, GPU và khả năng tương thích của từng máy. Sơ đồ full-mesh vì vậy hữu ích cho bàn thử nghiệm có các mini PC phù hợp hơn là một nhóm laptop thông thường.

Provider NetworkDirect cho USB4 và bộ thử nghiệm dựa trên llama.cpp là mã nguồn mở, nhưng ứng dụng phải biết phân chia mô hình và hỗ trợ giao tiếp qua API phù hợp. Bản thử nghiệm hiện cung cấp một nhánh llama.cpp làm ví dụ; các ứng dụng AI cục bộ khác không tự tăng tốc chỉ nhờ cắm USB4.

Tắt Secure Boot khiến bản preview chưa hợp máy dùng hằng ngày

RDMA over USB4 mặc định tắt. Hướng dẫn thử nghiệm của Microsoft yêu cầu bật khóa registry và test signing; do test signing cần Secure Boot tắt, hãng khuyến nghị dùng máy thử nghiệm riêng. Sau khi kết thúc, người dùng cần tắt test signing và bật Secure Boot trở lại.

Đây không phải chi tiết nên bỏ qua để đổi lấy vài con số benchmark. Tắt Secure Boot làm giảm một lớp bảo vệ trong quá trình khởi động, còn bản developer preview cũng có giới hạn như không tự kết nối lại khi liên kết NetworkDirect bị ngắt. Với người muốn chạy AI cục bộ trên máy làm việc hằng ngày, chờ bản phát hành ổn định và hỗ trợ chính thức rộng hơn là lựa chọn thận trọng hơn.

Microsoft cho biết bản preview sẽ đến Windows Insiders trên Experimental Channel (Future Platforms), nhưng chưa nêu ngày phát hành cụ thể. Trước khi tính chuyện ghép cụm, điều cần chờ không chỉ là bản Windows mới mà còn là mức hỗ trợ ứng dụng, yêu cầu phần cứng thực tế và hướng dẫn bảo mật khi tính năng rời giai đoạn thử nghiệm.

Nguồn tham khảo: Microsoft USB Blog; Wccftech

Bài này thế nào?

Hoá đơn của bài này

Tek viết bài này bằng cà phê. Mời Tek một ly nha?

Theo dõi TekCafe: Facebook · YouTube

Bài viết mới nhất