Chia sẻ đam mê công nghệ
Phần mềm

Một lỗi cũ khiến Microsoft 365 sập dây chuyền: phòng thử nghiệm đã bỏ lọt điều gì?

Microsoft cho biết lỗi trong bản vá gateway từ tháng 7 chỉ bộc lộ khi tải tăng, Teams chuyển luồng và gần 14% công suất đã ngoại tuyến. Điểm đáng chú ý nằm ở chỗ máy chủ mới, nhiều nhân hơn lại khiến lỗi nặng thêm, trong khi môi trường thử tải không mô phỏng đúng cấu hình thực tế.

Tóm tắt nhanh

  • Microsoft quy nguyên nhân sự cố Microsoft 365 ngày 12/11 cho lỗi phần mềm gateway, lưu lượng tăng sau khi Teams chuyển gateway và công suất máy chủ bị giảm.
  • Lỗi có từ một bản vá triển khai tháng 7, nhưng chỉ phát tác trong một số điều kiện tải.
  • Phòng thử tải không phát hiện lỗi vì dùng tổ hợp phần cứng và lưu lượng khác môi trường thật; lỗi còn nghiêm trọng hơn trên máy nhiều nhân, đời mới.
  • Hơn 80% máy chủ gateway không phản hồi ở thời điểm tệ nhất; Microsoft nói báo cáo hiện tại mới là sơ bộ.

Microsoft cho biết một lỗi tiềm ẩn trong bản vá gateway từ tháng 7 đã góp phần làm hơn 80% máy chủ gateway mất phản hồi trong chưa đầy hai giờ, sau khi lưu lượng tăng và gần 14% công suất đã ngoại tuyến. Sự cố ngày 12/11 khiến Microsoft 365 gián đoạn gần một ngày, ảnh hưởng đến Outlook, Teams và các dịch vụ khác.

Máy chủ nhiều nhân làm lỗi tranh chấp tài nguyên nặng hơn

Điểm đáng chú ý trong báo cáo sơ bộ không nằm ở một bản cập nhật vừa triển khai, mà ở khoảng cách giữa điều kiện thử nghiệm và hệ thống đang chạy thật. Microsoft cho biết lỗi tranh chấp tài nguyên nghiêm trọng hơn trên máy có nhiều nhân CPU và phần cứng mới; trong khi thử tải thường tập trung vào các SKU yếu hơn, ít nhân hơn.

Bản sửa lỗi dành cho máy chủ gateway Microsoft 365 bắt đầu triển khai từ tháng 7 và hoạt động hơn ba tháng mà chưa gây ảnh hưởng. Nhưng việc không có sự cố trong thời gian ấy không chứng minh bản vá an toàn với mọi cấu hình: lỗi chỉ xuất hiện khi phần mềm gặp tổ hợp tải và phần cứng nhất định. Phòng thử nghiệm mô phỏng sai tổ hợp đó, nên kiểm thử tải không tái hiện được điều kiện kích hoạt.

Đây là điểm doanh nghiệp khó đánh giá chỉ bằng câu hỏi “đã kiểm thử chưa”. Điều cần biết là tải thử có phản ánh các loại phần cứng, kiểu lưu lượng và cấu hình dịch vụ đang dùng ngoài thực tế hay không. Nếu một thành phần mới mạnh hơn lại làm lỗi nặng hơn, việc thử trên máy yếu không thể đại diện đầy đủ cho toàn bộ cụm máy chủ.

Cơ chế chuyển tải dự phòng đã đẩy lỗi lan rộng

Điện thoại hiển thị ứng dụng Microsoft 365
Microsoft 365 phụ thuộc vào các gateway mạng để chuyển dữ liệu giữa dịch vụ; sự cố cho thấy chuyển tải sang máy chủ còn hoạt động cũng có thể làm lỗi lan rộng. Ảnh: Computerworld
Chỉ dấuMức ghi nhận
Dung lượng gateway ngoại tuyến trước sự cốGần 14%
Thời điểm Teams chuyển gateway trước khi sự cố bùng phátKhoảng 15 giờ
Thời gian lỗi lan khắp cụm máy chủChưa đầy 2 giờ
Máy chủ gateway mất phản hồi ở mức tệ nhấtHơn 80%

Số liệu: báo cáo sơ bộ của Microsoft, được Computerworld và BleepingComputer dẫn lại.

Microsoft 365
Microsoft 365 kết nối nhiều dịch vụ dùng chung hạ tầng; khi gateway gặp sự cố, ảnh hưởng có thể vượt khỏi một ứng dụng riêng lẻ. Ảnh: BleepingComputer

Khoảng 15 giờ trước khi sự cố bùng phát, Teams chuyển từ gateway thay thế sang gateway chính, vốn cũng hỗ trợ Exchange Online. Theo báo cáo sơ bộ của Microsoft, thay đổi này làm tăng tải và thay đổi kiểu lưu lượng trên gateway. Gần 14% công suất của gateway đã ngừng hoạt động từ hôm trước vì một sự cố khác, khiến phần hạ tầng còn lại phải gánh tải trong tình trạng thiếu dự phòng.

Khi máy chủ bắt đầu mất phản hồi, hệ thống định tuyến chuyển yêu cầu sang các máy còn hoạt động. Cách xử lý vốn giúp dịch vụ tiếp tục chạy khi một phần hạ tầng gặp lỗi lại dồn thêm lưu lượng lên số máy còn lại. Chúng cũng gặp điều kiện kích hoạt lỗi, khiến vòng chuyển tải lặp lại và sự cố lan nhanh hơn. Microsoft cho biết trong chưa đầy hai giờ, lỗi đã xuất hiện trên toàn bộ cụm; ở thời điểm tệ nhất, hơn 80% máy chủ không phản hồi.

Đó là dạng lỗi dây chuyền: mỗi bước khắc phục cục bộ có thể làm phần còn lại chịu tải cao hơn. Microsoft nói các máy chủ vừa được khôi phục cũng nhanh chóng bị lượng yêu cầu tồn đọng làm quá tải trở lại. Quy trình tự động phục hồi thông thường không được thiết kế cho trạng thái mất phản hồi trên diện rộng như vậy.

Bản vá đã tồn tại nhiều tháng nên không thể quay lui nhanh

Microsoft cho biết việc khôi phục còn khó vì lỗi nằm trong thay đổi đã được triển khai từ nhiều tháng trước. Các biện pháp như rollback, flighting và feature flag không thể nhanh chóng đảo ngược thay đổi đó. Đây là khác biệt quan trọng so với sự cố do một bản cập nhật vừa phát hành: khi thay đổi đã nằm trong hệ thống lâu ngày, quay lại trạng thái trước đó có thể không còn là thao tác đơn giản.

Với tổ chức phụ thuộc vào Microsoft 365 cho email và cộng tác, sự cố cho thấy tính sẵn sàng không chỉ phụ thuộc vào việc có nhiều máy chủ hay có cơ chế chuyển vùng. Cần có cách phát hiện khi chuyển tải khiến lỗi lan sang các máy khỏe, đồng thời duy trì kênh thông báo trạng thái độc lập với chính hạ tầng gặp sự cố. Báo cáo sơ bộ chưa giải thích đầy đủ các biện pháp đó sẽ thay đổi ra sao.

Microsoft cho biết đã tăng công suất, cải thiện giám sát và bổ sung biện pháp ngăn chuyển hướng lưu lượng kích hoạt lỗi dây chuyền. Công ty dự kiến phát hành báo cáo sự cố cuối cùng vào cuối tuần; các chi tiết về nguyên nhân của sự cố công suất hôm trước và cách khắc phục lâu dài vẫn cần được làm rõ.

Nguồn tham khảo: Computerworld; BleepingComputer

Bài này thế nào?

Hoá đơn của bài này

Tek viết bài này bằng cà phê. Mời Tek một ly nha?

Theo dõi TekCafe: Facebook · YouTube

Bài viết mới nhất