Chia sẻ đam mê công nghệ
Phần mềm

Vì sao sự cố Microsoft 365 lan rộng dù lỗi đã xuất hiện từ tháng 7?

Microsoft cho biết sự cố ngày 12/11 bắt nguồn từ lỗi lock contention trên gateway, nhưng lỗi chỉ bùng phát khi Teams chuyển gateway và năng lực dự phòng giảm gần 14%.

Giao diện Microsoft 365 trên laptop Lenovo Legion
Giao diện Microsoft 365 trên laptop minh họa nhóm dịch vụ chịu ảnh hưởng trong sự cố. Ảnh: XDA

Tóm tắt nhanh

  • Microsoft cho biết sự cố toàn cầu ngày 12/11 bắt nguồn từ lỗi tiềm ẩn trong gateway Microsoft 365, với thay đổi liên quan được triển khai từ tháng 7.
  • Lưu lượng Teams chuyển sang gateway chính và gần 14% công suất máy chủ ngừng hoạt động đã đồng thời tạo điều kiện kích hoạt lỗi.
  • Cơ chế tự chuyển hướng tiếp tục dồn tải sang các máy chủ còn lại; ở thời điểm nghiêm trọng nhất, hơn 80% máy chủ gateway không phản hồi.
  • Microsoft nói đã đưa code path về trạng thái ổn định trước đó và khôi phục máy chủ theo từng nhóm.

Sự cố Microsoft 365 ngày 12/11 không bắt nguồn từ một bản cập nhật đơn lẻ làm sập toàn bộ dịch vụ. Theo giải thích sơ bộ của Charles Lamanna, Phó chủ tịch điều hành Microsoft, một lỗi tiềm ẩn trong gateway mạng chỉ trở thành sự cố diện rộng khi lưu lượng tăng đồng thời với việc một phần công suất máy chủ tạm ngừng hoạt động.

Lỗi tiềm ẩn lọt qua kiểm thử vì cấu hình máy khác với thực tế

Microsoft cho biết thay đổi liên quan bắt đầu được triển khai từ tháng 7 trên các máy chủ gateway Microsoft 365. Trong điều kiện tải nhất định, lỗi tranh chấp khóa (lock contention) bên trong một tiến trình khiến máy chủ quá tải rồi ngừng phản hồi. Đây là vấn đề của gateway Microsoft 365, không phải lỗi áp dụng cho Windows nói chung.

Điểm yếu nằm ở khoảng cách giữa môi trường thử nghiệm và hệ thống đang chạy. Microsoft nói bài kiểm thử tải thường dùng các SKU phần cứng yếu hơn, ít lõi hơn; trong khi lỗi trở nên nghiêm trọng hơn trên máy mới và nhiều lõi. Vì vậy, thay đổi đã được triển khai rộng trong hơn ba tháng mà không bộc lộ sự cố, dù điều đó không chứng minh kịch bản tải thực tế đã được mô phỏng đủ sát.

Đây là khác biệt đáng kể giữa kiểm tra một thay đổi trong điều kiện thông thường và kiểm tra nó khi phần cứng, kiểu lưu lượng cùng mức tải cùng thay đổi. Lời giải thích hiện có là thông tin sơ bộ do Microsoft công bố; báo cáo sự cố đầy đủ được hãng cho biết nằm trong Admin Center, nên chưa thể đối chiếu chi tiết phương pháp kiểm thử từ tài liệu công khai.

Chuyển gateway và giảm công suất đã kích hoạt lỗi cùng lúc

Khoảng 15 giờ trước khi sự cố xảy ra, lưu lượng Teams được chuyển từ gateway thay thế sang gateway chính, nơi cũng hỗ trợ Exchange Online. Gần 14% công suất máy chủ gateway khi đó đang ngừng phục vụ vì một vấn đề riêng từ ngày trước. Microsoft nói mức giảm này tự nó vẫn nằm trong khả năng dự phòng và không gây ảnh hưởng.

Hai yếu tố kết hợp mới đẩy hệ thống vào vùng tải nguy hiểm: gateway chính nhận thêm lưu lượng, trong khi số máy chủ sẵn sàng phục vụ ít hơn. Các yêu cầu bắt đầu tồn đọng, rồi lỗi lock contention khiến máy chủ mất phản hồi. Như vậy, cách diễn đạt “bản cập nhật tháng 7 làm sập Microsoft 365” bỏ qua chính phần quan trọng nhất trong giải thích của hãng: lỗi cũ cần thêm điều kiện tải và công suất giảm để bùng phát.

Cơ chế dự phòng đã khuếch đại sự cố thay vì khoanh vùng nó

Khi một máy chủ ngừng kết nối, hệ thống quản lý lưu lượng tự chuyển người dùng sang endpoint còn hoạt động. Cơ chế này thường giúp duy trì dịch vụ, nhưng lần này các endpoint nhận thêm yêu cầu lại gặp cùng điều kiện kích hoạt lỗi. Tải vì thế tiếp tục dồn lên số máy chủ ngày càng ít, tạo thành chuỗi mất phản hồi.

Microsoft cho biết hơn 80% máy chủ của hạ tầng gateway liên quan không phản hồi ở thời điểm thấp nhất. Con số này không phải tỷ lệ người dùng bị ảnh hưởng, cũng không nói rằng 80% toàn bộ máy chủ Microsoft ngừng hoạt động. Hãng còn cho biết một vấn đề riêng khiến các vùng phân vùng năng lực (capacity units) không cô lập được sự cố như bình thường, tạo điều kiện để ảnh hưởng lan rộng trên hạ tầng gateway.

Đó là điểm đáng chú ý hơn bản thân lỗi phần mềm: chuyển hướng dự phòng chỉ hữu ích khi nơi nhận còn đủ năng lực và đủ độc lập để không gặp lại cùng lỗi. Nếu nhiều endpoint chia sẻ điểm yếu, chuyển tải có thể biến một sự cố cục bộ thành sự cố dây chuyền. Đây là phân tích từ cơ chế Microsoft mô tả, không phải kết luận rằng mọi hệ thống failover đều làm tăng rủi ro.

Khôi phục chậm vì máy chủ vừa trở lại đã nhận tải dồn

Microsoft nói các máy chủ được đưa trở lại hoạt động thường lập tức gặp lượng yêu cầu đang chờ và lại mất phản hồi. Quy trình khôi phục tự động vốn có không được thiết kế cho trạng thái nhiều máy chủ cùng không phản hồi trên diện rộng; các cơ chế rollback và feature flag cũng không thể nhanh chóng đảo ngược thay đổi đã tồn tại nhiều tháng.

Sau khi xác định lỗi, kỹ sư đưa code path về trạng thái trước đó mà hãng xem là ổn định. Máy chủ được rút khỏi dịch vụ, cập nhật và khởi động lại theo từng nhóm trước khi nhận lưu lượng trở lại. Microsoft cho biết báo cáo sơ bộ có thể xem trong Admin Center theo mã MO1550821 và EX1550543; hãng nói báo cáo sự cố hoàn chỉnh sẽ bổ sung thêm chi tiết.

Với người dùng Microsoft 365, sự cố cho thấy một dịch vụ có nhiều lớp dự phòng vẫn có thể gián đoạn nếu lỗi chung đi qua các lớp đó và cơ chế cô lập không giữ được phạm vi ảnh hưởng. Nguyên nhân chính thức hiện vẫn dựa trên lời giải thích sơ bộ của Microsoft; tài liệu kỹ thuật công khai đầy đủ sẽ giúp làm rõ thêm vì sao kiểm thử tải không phát hiện điều kiện lỗi trước khi triển khai.

Nguồn tham khảo: Charles Lamanna / Microsoft · The Guardian · XDA

Bài này thế nào?

Hoá đơn của bài này

Tek viết bài này bằng cà phê. Mời Tek một ly nha?

Theo dõi TekCafe: Facebook · YouTube

Bài viết mới nhất