Tóm tắt nhanh
- Microsoft quy nguyên nhân sự cố Microsoft 365 ngày 12/11 cho lỗi phần mềm gateway, lưu lượng tăng sau khi Teams chuyển gateway và công suất máy chủ bị giảm.
- Lỗi có từ một bản vá triển khai tháng 7, nhưng chỉ phát tác trong một số điều kiện tải.
- Phòng thử tải không phát hiện lỗi vì dùng tổ hợp phần cứng và lưu lượng khác môi trường thật; lỗi còn nghiêm trọng hơn trên máy nhiều nhân, đời mới.
- Hơn 80% máy chủ gateway không phản hồi ở thời điểm tệ nhất; Microsoft nói báo cáo hiện tại mới là sơ bộ.
Microsoft cho biết một lỗi tiềm ẩn trong bản vá gateway từ tháng 7 đã góp phần làm hơn 80% máy chủ gateway mất phản hồi trong chưa đầy hai giờ, sau khi lưu lượng tăng và gần 14% công suất đã ngoại tuyến. Sự cố ngày 12/11 khiến Microsoft 365 gián đoạn gần một ngày, ảnh hưởng đến Outlook, Teams và các dịch vụ khác.
Máy chủ nhiều nhân làm lỗi tranh chấp tài nguyên nặng hơn
Điểm đáng chú ý trong báo cáo sơ bộ không nằm ở một bản cập nhật vừa triển khai, mà ở khoảng cách giữa điều kiện thử nghiệm và hệ thống đang chạy thật. Microsoft cho biết lỗi tranh chấp tài nguyên nghiêm trọng hơn trên máy có nhiều nhân CPU và phần cứng mới; trong khi thử tải thường tập trung vào các SKU yếu hơn, ít nhân hơn.
Bản sửa lỗi dành cho máy chủ gateway Microsoft 365 bắt đầu triển khai từ tháng 7 và hoạt động hơn ba tháng mà chưa gây ảnh hưởng. Nhưng việc không có sự cố trong thời gian ấy không chứng minh bản vá an toàn với mọi cấu hình: lỗi chỉ xuất hiện khi phần mềm gặp tổ hợp tải và phần cứng nhất định. Phòng thử nghiệm mô phỏng sai tổ hợp đó, nên kiểm thử tải không tái hiện được điều kiện kích hoạt.
Đây là điểm doanh nghiệp khó đánh giá chỉ bằng câu hỏi “đã kiểm thử chưa”. Điều cần biết là tải thử có phản ánh các loại phần cứng, kiểu lưu lượng và cấu hình dịch vụ đang dùng ngoài thực tế hay không. Nếu một thành phần mới mạnh hơn lại làm lỗi nặng hơn, việc thử trên máy yếu không thể đại diện đầy đủ cho toàn bộ cụm máy chủ.
Cơ chế chuyển tải dự phòng đã đẩy lỗi lan rộng

| Chỉ dấu | Mức ghi nhận |
|---|---|
| Dung lượng gateway ngoại tuyến trước sự cố | Gần 14% |
| Thời điểm Teams chuyển gateway trước khi sự cố bùng phát | Khoảng 15 giờ |
| Thời gian lỗi lan khắp cụm máy chủ | Chưa đầy 2 giờ |
| Máy chủ gateway mất phản hồi ở mức tệ nhất | Hơn 80% |
Số liệu: báo cáo sơ bộ của Microsoft, được Computerworld và BleepingComputer dẫn lại.

Khoảng 15 giờ trước khi sự cố bùng phát, Teams chuyển từ gateway thay thế sang gateway chính, vốn cũng hỗ trợ Exchange Online. Theo báo cáo sơ bộ của Microsoft, thay đổi này làm tăng tải và thay đổi kiểu lưu lượng trên gateway. Gần 14% công suất của gateway đã ngừng hoạt động từ hôm trước vì một sự cố khác, khiến phần hạ tầng còn lại phải gánh tải trong tình trạng thiếu dự phòng.
Khi máy chủ bắt đầu mất phản hồi, hệ thống định tuyến chuyển yêu cầu sang các máy còn hoạt động. Cách xử lý vốn giúp dịch vụ tiếp tục chạy khi một phần hạ tầng gặp lỗi lại dồn thêm lưu lượng lên số máy còn lại. Chúng cũng gặp điều kiện kích hoạt lỗi, khiến vòng chuyển tải lặp lại và sự cố lan nhanh hơn. Microsoft cho biết trong chưa đầy hai giờ, lỗi đã xuất hiện trên toàn bộ cụm; ở thời điểm tệ nhất, hơn 80% máy chủ không phản hồi.
Đó là dạng lỗi dây chuyền: mỗi bước khắc phục cục bộ có thể làm phần còn lại chịu tải cao hơn. Microsoft nói các máy chủ vừa được khôi phục cũng nhanh chóng bị lượng yêu cầu tồn đọng làm quá tải trở lại. Quy trình tự động phục hồi thông thường không được thiết kế cho trạng thái mất phản hồi trên diện rộng như vậy.
Bản vá đã tồn tại nhiều tháng nên không thể quay lui nhanh
Microsoft cho biết việc khôi phục còn khó vì lỗi nằm trong thay đổi đã được triển khai từ nhiều tháng trước. Các biện pháp như rollback, flighting và feature flag không thể nhanh chóng đảo ngược thay đổi đó. Đây là khác biệt quan trọng so với sự cố do một bản cập nhật vừa phát hành: khi thay đổi đã nằm trong hệ thống lâu ngày, quay lại trạng thái trước đó có thể không còn là thao tác đơn giản.
Với tổ chức phụ thuộc vào Microsoft 365 cho email và cộng tác, sự cố cho thấy tính sẵn sàng không chỉ phụ thuộc vào việc có nhiều máy chủ hay có cơ chế chuyển vùng. Cần có cách phát hiện khi chuyển tải khiến lỗi lan sang các máy khỏe, đồng thời duy trì kênh thông báo trạng thái độc lập với chính hạ tầng gặp sự cố. Báo cáo sơ bộ chưa giải thích đầy đủ các biện pháp đó sẽ thay đổi ra sao.
Microsoft cho biết đã tăng công suất, cải thiện giám sát và bổ sung biện pháp ngăn chuyển hướng lưu lượng kích hoạt lỗi dây chuyền. Công ty dự kiến phát hành báo cáo sự cố cuối cùng vào cuối tuần; các chi tiết về nguyên nhân của sự cố công suất hôm trước và cách khắc phục lâu dài vẫn cần được làm rõ.
Nguồn tham khảo: Computerworld; BleepingComputer







