Tóm tắt nhanh
- Arm báo cáo AGI CPU đạt trung bình 1,99 lần hiệu năng mô phỏng mỗi rack so với AMD EPYC 9755 qua bảy workload.
- Tính trên từng chip, mức trung bình chỉ là 1,20 lần; MySQL và Milvus còn thấp hơn EPYC 9755.
- Phần lớn khoảng cách ở cấp rack đến từ việc mô hình đặt được 21–23 máy chủ Arm vào ngân sách điện mà AMD chỉ đặt được 13 máy.
- Đây là kết quả của một mô hình có điều kiện, chưa phải phép đo hai rack đầy tải.
Con số “gần gấp đôi” trong thông cáo của Arm dễ khiến người đọc nghĩ AGI CPU xử lý nhanh gấp đôi EPYC 9755. Đọc kỹ thì không phải vậy. Mức 1,99 lần là hiệu năng mô phỏng trên mỗi rack, tức là cả cụm máy chủ đặt trong giới hạn điện 24 kW. Khi so từng chip, lợi thế trung bình rút xuống còn 1,20 lần. Muốn hiểu vì sao hai con số chênh nhau xa như vậy, phải nhìn vào cách phép tính được dựng.
Trên từng chip, AGI CPU chỉ nhỉnh hơn khoảng 20%
Arm chạy hai cấu hình AGI: bản 128 lõi, 2,8 GHz, DDR5-7200 cho hai bài agent (Terminal-Bench 2 và SWE-bench replay), và bản 136 lõi, 3,2 GHz, DDR5-8000 cho năm bài còn lại. Đối thủ là một socket EPYC 9755 128 lõi với DDR5-6400. Hai nền tảng chạy cùng bộ script benchmark nhưng dùng môi trường phần mềm khác nhau.
Kết quả trên chip không đều. AGI CPU thấp hơn EPYC 9755 ở MySQL (0,88 lần) và Milvus (0,95 lần), nhưng bứt lên 1,97 lần ở fastText. NGINX, Terminal-Bench 2, SWE-bench replay và phần overhead CPU của vLLM nằm quanh mức 1,09–1,20 lần. Một con số trung bình như 1,20 lần che mất việc hệ thống thắng ở tác vụ nào và thua ở tác vụ nào, mà đó mới là thứ cần biết khi chọn phần cứng.
| Workload | Trên chip: AGI CPU / EPYC 9755 | Mô hình mỗi rack |
|---|---|---|
| MySQL (giao dịch mỗi giây) | 0,88x | 1,43x |
| NGINX (yêu cầu mỗi giây) | 1,20x | 1,95x |
| Terminal-Bench 2 (cao hơn tốt hơn) | 1,09x | 1,93x |
| SWE-bench replay (tác vụ mỗi phút) | 1,13x | 2,00x |
| Milvus (truy vấn mỗi giây) | 0,95x | 1,54x |
| vLLM CPU overhead (yêu cầu mỗi giây) | 1,16x | 1,88x |
| fastText (từ mỗi giây) | 1,97x | 3,19x |
| Trung bình số học | 1,20x | 1,99x |
Số liệu: Tom’s Hardware, dựa trên kết quả benchmark và mô hình rack của Arm.
Cần đọc đúng bảng này. Chữ “vLLM” dễ khiến người đọc hiểu là tốc độ suy luận trên GPU, nhưng phép đo chỉ tính phần việc CPU quanh quá trình phục vụ mô hình, khi phần tính toán của mô hình bị bỏ qua. Nhóm “reasoning/planning” cũng chỉ gồm các workload CPU hỗ trợ agent, không đo khả năng suy luận của chính mô hình AI.
Vì sao rack lại cho ra con số gần gấp đôi
Phép nhân ở đây không phải là lấy tốc độ một chip nhân lên. Mô hình giả định rack 24 kW dành khoảng 8% cho mạng và phân phối điện. Phần còn lại đặt được 23 máy Arm cấu hình 128 lõi hoặc 21 máy cấu hình 136 lõi, so với 13 máy EPYC 9755. Công suất định mức mỗi máy là 950 W và 1.050 W với Arm, 1.700 W với AMD, đã tính bộ nhớ và linh kiện khác.
Lấy SWE-bench replay làm ví dụ. Kết quả trên chip là 1,13 lần. Nhân với tỷ lệ 23 trên 13 máy, ta được khoảng 2,00 lần trên rack. Chênh lệch lớn nằm ở số máy nhét được vào cùng một mức điện, không nằm ở việc mỗi máy Arm chạy nhanh hơn nhiều. Đây là phép ngoại suy từ công suất máy chủ chứ không phải thông lượng đo được trên hai rack đầy tải chạy đồng thời.
Với người vận hành, điều này có nghĩa là nếu điện và không gian là nút thắt, mật độ máy trên mỗi kilowatt mới là yếu tố quyết định. Nhưng máy tiêu thụ ít điện hơn chưa chắc đã rẻ hơn về tổng chi phí sở hữu, vì phần mềm, bộ nhớ, mạng và vận hành vẫn phát sinh chi phí riêng.
Giả định RAM làm lợi thế rack co lại
Mô hình cấp khoảng 2 TB RAM cho mỗi máy AMD và khoảng 1 TB cho mỗi máy Arm, theo tỷ lệ 4 GB cho mỗi luồng phần cứng. EPYC chạy hai luồng trên mỗi lõi, còn Arm chỉ một, nên phép tính này đẩy công suất bộ nhớ của AMD lên 336 W, so với 192 W của Arm. Cách phân bổ đó không hiển nhiên. SMT không tự động đòi hỏi gấp đôi bộ nhớ.
Khi tính bộ nhớ theo lõi vật lý thay vì theo luồng, lợi thế trung bình trên rack của Arm giảm từ 1,99 lần xuống khoảng 1,81 lần. Kết quả vẫn nghiêng về Arm trong mô hình, nhưng biên độ phụ thuộc rõ vào giả định RAM. Người mua nên đặt cấu hình bộ nhớ theo nhu cầu thật của dịch vụ, không coi tỷ lệ này là hằng số.
Kiểm chứng độc lập có phạm vi hẹp
Signal65 được Arm thuê để kiểm chứng. Đơn vị này quan sát từ xa các lượt thử, rồi kiểm tra log, tệp kết quả, script và hồ sơ cấu hình. Một nhóm rà soát riêng dựng lại phép tính bằng mã của mình và tái lập được cả bảy kết quả trong sai số 0,5%. Đây là bước kiểm tra tính nhất quán có giá trị.
Có hai khoảng trống. Signal65 không tự chạy lại phần cứng trong phòng lab của mình. Và họ chỉ xác nhận được cài đặt BIOS và bộ nhớ của hệ thống EPYC 9965, không phải của hệ thống Arm AGI hay EPYC 9755 được đem so. Cộng với việc hai bên dùng môi trường phần mềm khác nhau, kết quả này nên được đọc như một benchmark có điều kiện, không phải kết luận chung về CPU Arm so với x86.
Bộ benchmark cho agent vẫn chưa thành chuẩn chung
Ý tưởng của Arm có phần hợp lý. Benchmark cho agent nên đo công việc hoàn thành được trong điều kiện tài nguyên thực tế, không chỉ đếm số luồng hay công suất lý thuyết. Arm đề xuất replay chuỗi thao tác đã ghi lại để tách phần CPU khỏi độ biến thiên của mô hình và mạng, rồi kiểm tra xem cải thiện ở thành phần có giúp tác vụ đầu cuối tốt hơn không.
Nhưng bộ workload này do Arm chọn, dù có Fujitsu, Meta và OpenAI góp ý phát triển. AMD đo agent theo số luồng khả dụng, theo watt, theo đô la, và dùng mô hình rack 100 kW với tập workload khác. Nvidia nhấn mạnh hiệu năng luồng đơn và băng thông bộ nhớ của Vera. Các con số này mô tả những thứ khác nhau, nên không thể đặt 1,99 lần cạnh con số của AMD hay Nvidia rồi kết luận bên nào nhanh hơn.
Với người mua tại Việt Nam, đây vẫn là sản phẩm cho trung tâm dữ liệu
AGI CPU được nhắm tới máy chủ và trung tâm dữ liệu, không phải linh kiện người dùng cuối tự lắp. Giá bán lẻ tại Việt Nam chưa được công bố, và chưa có thông tin phân phối trong nước được xác nhận. Với doanh nghiệp đang lên kế hoạch hạ tầng AI, thứ đáng theo dõi là benchmark độc lập trên cấu hình thương mại, kết quả theo từng workload, lượng RAM thực sự cần và mức điện khi vận hành dài hạn. Một tỷ lệ “gấp đôi” đứng riêng chưa đủ để quyết định mua.
Nếu chỉ nhớ một con số từ thông cáo này, hãy nhớ 1,20 lần. Mức 1,99 lần đúng theo mô hình của Arm, nhưng nó đến từ việc nhồi thêm máy chủ vào cùng ngân sách điện, và nó co lại khi đổi giả định RAM. Phần còn lại là bài toán đo lường mà ngành chưa có chuẩn chung để giải.
Nguồn tham khảo: Arm Newsroom, Tom’s Hardware
