Tóm tắt nhanh
- RDMA over USB4 cho phép ứng dụng tương thích chia một mô hình AI lên từ hai PC Windows trở lên, dùng tổng bộ nhớ và năng lực GPU của các máy.
- Microsoft đo độ trễ khứ hồi 28–50 micro giây cho thông điệp nhỏ, thấp hơn khoảng 4 lần so với Ethernet (UDP) chạy trên cùng liên kết USB4.
- Các PC phải nối trực tiếp theo kiểu full-mesh; mỗi máy cần N-1 cổng USB4. Không thể nối dây tuần tự để thay thế.
- Bản thử nghiệm yêu cầu bật test signing và tắt Secure Boot, nên chỉ phù hợp với máy dev riêng.
Microsoft đang chuẩn bị đưa RDMA over USB4 lên Windows Insider Experimental, hướng tới việc chạy một số mô hình AI lớn trên nhiều PC nối cáp trực tiếp thay vì phải chuyển dữ liệu lên cloud hoặc dựng máy chủ có card mạng chuyên dụng.
Ý tưởng này có thể tận dụng mini PC hoặc máy tính Windows đã có USB4, nhưng không biến một nhóm máy bất kỳ thành cụm AI chỉ bằng cách cắm cáp. Phần mềm chạy mô hình phải hỗ trợ xử lý phân tán, các máy cần đủ cổng để kết nối từng cặp, và bản developer preview hiện còn yêu cầu hạ một lớp bảo vệ khởi động của Windows.
RDMA giảm thời gian trao đổi dữ liệu giữa các PC

RDMA (Remote Direct Memory Access) cho phép dữ liệu đi trực tiếp giữa vùng nhớ của hai hệ thống, bỏ qua phần lớn các lớp mạng truyền thống. Windows đã hỗ trợ API NetworkDirect cho RDMA, nhưng trước đây thường cần card mạng Ethernet hoặc InfiniBand chuyên dụng. Microsoft đưa thêm một provider phần mềm để chạy NetworkDirect qua kết nối USB4 host-to-host.
Trong phép đo giữa hai PC, Microsoft ghi nhận độ trễ khứ hồi 28–50 micro giây với các gói tin nhỏ; so với Ethernet dùng UDP qua chính liên kết USB4 đó, mức này thấp hơn khoảng 4 lần. Đây là số đo của Microsoft trong cấu hình thử nghiệm, không phải mức bảo đảm cho mọi máy hay mọi ứng dụng. Ở 40 Gbps và 80 Gbps, độ trễ được mô tả là tương đương; chuẩn 80 Gbps có lợi thế về băng thông khi tác vụ cần chuyển nhiều dữ liệu.
Điều đó quan trọng với tensor parallelism: khi mô hình được chia cho nhiều GPU, các máy phải trao đổi dữ liệu lặp lại trong lúc sinh từng token. Giảm độ trễ có thể giúp bớt thời gian chờ giao tiếp, nhưng tốc độ cuối cùng vẫn phụ thuộc mô hình, phần mềm suy luận, bộ nhớ và GPU của từng máy.
Kết quả chạy mô hình lớn là phép thử trong cấu hình cụ thể
Microsoft cho biết ba mini PC dùng Ryzen AI Max, Radeon 8060S và 128 GB bộ nhớ hợp nhất mỗi máy, nối full-mesh USB4 40 Gbps, chạy Qwen3-235B-A22B lượng tử hóa 4-bit ở khoảng 18,5 token/giây trong phòng thí nghiệm của hãng. Đây là kết quả với bản llama.cpp đã được AMD tối ưu; không thể suy ra mọi máy có Ryzen AI Max sẽ đạt tốc độ tương tự.
| Phép thử | Cấu hình và điều kiện | Thời gian tới token đầu | Tốc độ đo được |
|---|---|---|---|
| Qwen3-235B-A22B, kết quả phòng lab Microsoft | 3 mini PC AMD Ryzen AI Max, Radeon 8060S, 128 GB bộ nhớ hợp nhất/máy; USB4 40 Gbps full-mesh; lượng tử hóa 4-bit | Không nêu | Khoảng 18,5 token/giây |
| Qwen3-235B-A22B, phép đo AMD | 3 mini PC Ryzen AI Max+ 395; Q4_K_M; context 1.600 token, sinh 2.048 token | Không nêu | Giải mã 21,98 token/giây; xử lý prompt 117,98 token/giây |
| GPT-OSS-120B, 3 PC Intel | Core Ultra Series 3, 64 GB 9.600 MT/s/máy; Thunderbolt 4; context 1K | 1,1 giây | 49,4 token/giây |
| GPT-OSS-120B, 4 PC Intel | Cùng cấu hình; context 1K | 1,2 giây | 54,2 token/giây |
| GPT-OSS-120B, 3 PC Intel | Cùng cấu hình; context 2K | 2,9 giây | 49,4 token/giây |
| GPT-OSS-120B, 4 PC Intel | Cùng cấu hình; context 2K | 3,2 giây | 51,7 token/giây |
Số liệu: Microsoft USB Blog; các hàng phép đo riêng do AMD và Intel thực hiện trên cấu hình được nêu.
AMD đo tốc độ giải mã và xử lý prompt thành hai chỉ số riêng; Intel ghi nhận tốc độ giải mã theo context 1K và 2K. Khi tăng từ ba lên bốn PC, mức tăng tốc không tỷ lệ với số máy, còn tốc độ giải mã Intel ở context 2K giữ nguyên 49,4 token/giây trong phép thử này. Kết quả phụ thuộc cấu hình, mô hình và bản phần mềm cụ thể.
Những số liệu trên cho thấy việc ghép bộ nhớ có thể đưa mô hình vượt quá khả năng của một PC đơn lẻ vào phạm vi thử nghiệm tại chỗ. Chúng chưa chứng minh đây là lựa chọn rẻ hoặc tiện hơn máy trạm: bài công bố không đưa ra chi phí tổng thể, mức tiêu thụ điện hay phép so sánh cùng mô hình trên một máy nhiều GPU.
Full-mesh mới là giới hạn phần cứng khó vượt qua

Để tạo kết nối trực tiếp giữa mọi cặp máy, cụm N PC cần ít nhất N-1 cổng USB4 trên mỗi PC và một dây cho mỗi cặp. Ba máy cần hai cổng mỗi máy; bốn máy cần ba. Microsoft cảnh báo không nối tiếp kiểu daisy-chain vì hiệu năng giảm mạnh.
Đây là điểm làm ý tưởng khó áp dụng hơn vẻ ngoài “dùng cáp sẵn có”. Nhiều laptop chỉ có một hoặc hai cổng USB-C tổng cộng, trong đó không phải cổng nào cũng hỗ trợ USB4. Ngay cả khi đủ cổng, người dùng còn phải kiểm tra tốc độ liên kết, bộ nhớ hợp nhất, GPU và khả năng tương thích của từng máy. Sơ đồ full-mesh vì vậy hữu ích cho bàn thử nghiệm có các mini PC phù hợp hơn là một nhóm laptop thông thường.
Provider NetworkDirect cho USB4 và bộ thử nghiệm dựa trên llama.cpp là mã nguồn mở, nhưng ứng dụng phải biết phân chia mô hình và hỗ trợ giao tiếp qua API phù hợp. Bản thử nghiệm hiện cung cấp một nhánh llama.cpp làm ví dụ; các ứng dụng AI cục bộ khác không tự tăng tốc chỉ nhờ cắm USB4.
Tắt Secure Boot khiến bản preview chưa hợp máy dùng hằng ngày
RDMA over USB4 mặc định tắt. Hướng dẫn thử nghiệm của Microsoft yêu cầu bật khóa registry và test signing; do test signing cần Secure Boot tắt, hãng khuyến nghị dùng máy thử nghiệm riêng. Sau khi kết thúc, người dùng cần tắt test signing và bật Secure Boot trở lại.
Đây không phải chi tiết nên bỏ qua để đổi lấy vài con số benchmark. Tắt Secure Boot làm giảm một lớp bảo vệ trong quá trình khởi động, còn bản developer preview cũng có giới hạn như không tự kết nối lại khi liên kết NetworkDirect bị ngắt. Với người muốn chạy AI cục bộ trên máy làm việc hằng ngày, chờ bản phát hành ổn định và hỗ trợ chính thức rộng hơn là lựa chọn thận trọng hơn.
Microsoft cho biết bản preview sẽ đến Windows Insiders trên Experimental Channel (Future Platforms), nhưng chưa nêu ngày phát hành cụ thể. Trước khi tính chuyện ghép cụm, điều cần chờ không chỉ là bản Windows mới mà còn là mức hỗ trợ ứng dụng, yêu cầu phần cứng thực tế và hướng dẫn bảo mật khi tính năng rời giai đoạn thử nghiệm.
Nguồn tham khảo: Microsoft USB Blog; Wccftech







