Tóm tắt nhanh
- Từ 23:08 PDT ngày 19/10 (tức 13:08 giờ Việt Nam ngày 20/10), nhiều dịch vụ Google Cloud tại vùng europe-west2 ở London gặp lỗi tăng cao và rớt mạng chập chờn.
- Theo Downdetector, khách hàng của Lloyds Bank, HSBC, Royal Mail và Revolut cũng báo lỗi cùng thời điểm. Revolut xác nhận gián đoạn nhiều dịch vụ nhưng khẳng định tiền và dữ liệu khách hàng an toàn.
- Google chưa có cách khắc phục tạm thời rõ ràng; gợi ý duy nhất là chuyển workload sang vị trí khác nếu khả thi.
- Điều đáng nghĩ là mức tập trung: một zone lỗi kéo theo nhiều dịch vụ, và dự phòng chỉ có giá trị khi đã được thử trước.
Sự cố bắt đầu lúc 23:08 PDT ngày 19/10, tức 06:08 UTC sáng 20/10 theo giờ London. Điều làm sự việc đáng chú ý không phải một ứng dụng đơn lẻ bị lỗi, mà là số lượng dịch vụ cùng hỏng trong một khu vực. Với người đọc Việt Nam, đây là ví dụ khá rõ rằng chọn vị trí đặt hạ tầng không chỉ là chuyện độ trễ.
Một zone ở London gặp lỗi, nhưng danh sách dịch vụ bị ảnh hưởng dài hơn nhiều
Google cho biết đội kỹ thuật đang điều tra sự cố kéo dài trên nhiều dịch vụ tại europe-west2. Theo The Register, europe-west2-b là một trong ba availability zone của vùng London. Trang trạng thái của Google liệt kê hàng chục dịch vụ, từ Compute Engine, Cloud Storage, Cloud SQL và Kubernetes Engine đến Cloud Run, BigQuery, Pub/Sub và VPC. Riêng Looker Studio được Google nói là không bị ảnh hưởng.
Mô tả của Google là lỗi tăng cao và gián đoạn mạng chập chờn ở nhiều dịch vụ cùng lúc. Với kiểu lỗi này, các dịch vụ không liên quan trực tiếp vẫn có thể hỏng nếu cùng đi qua một lớp hạ tầng mạng hoặc cùng nằm trong một vùng. Đó là cách đọc hợp lý với thông báo hiện có, dù Google chưa công bố nguyên nhân gốc tại thời điểm viết bài.
Ngân hàng số là nơi lỗi hạ tầng hiện ra rõ nhất
Revolut thông báo gián đoạn nhiều dịch vụ. Theo Economic Times dẫn lời Reuters, trang trạng thái của Revolut cho thấy phần lớn dịch vụ không khả dụng hoặc chỉ khả dụng một phần, trong đó có thanh toán thẻ và rút tiền ATM. Một người nắm thông tin nói với Reuters rằng sự cố của Revolut liên quan tới lỗi của Google Cloud, dù tuyên bố của Revolut chưa nêu nguyên nhân. Revolut là khách hàng sử dụng dịch vụ của Google Cloud.
Phần lớn thao tác của một ngân hàng số đi qua backend trên mạng. Khi lớp này nghẽn, người dùng thấy lỗi ngay ở thẻ và ứng dụng, dù quỹ tiền không hề biến mất. Downdetector ghi nhận gần 1.500 báo cáo từ khách hàng Revolut ở thời điểm cao nhất và khoảng 500 báo cáo đối với Lloyds Bank. Với Lloyds, đa số báo cáo liên quan đến đăng nhập; với Revolut, lỗi tập trung ở ứng dụng và chuyển tiền.
Mất kết nối không đồng nghĩa với mất tiền
Revolut khẳng định tiền và dữ liệu khách hàng an toàn. Đây là tuyên bố của chính công ty, và tại thời điểm viết bài chưa có thông tin độc lập nào trái với điều đó. Người dùng cần tách hai chuyện: đăng nhập không được, thẻ bị từ chối hay ATM không rút được là lỗi truy cập; còn tiền bị trừ sai hay mất là một rủi ro khác, và chưa có báo cáo nào về điều này.
Với người đang cần thanh toán, cách làm thực tế là kiểm tra trạng thái giao dịch trong ứng dụng hoặc qua kênh chính thức trước khi thử lại nhiều lần, vì yêu cầu có thể vẫn đang chờ xử lý. Không nên chia sẻ mã xác thực hay mật khẩu với bất kỳ ai tự xưng là bộ phận hỗ trợ xử lý sự cố.
Nhiều zone chỉ là dự phòng khi đã thử chuyển đổi
Bản cập nhật lúc 01:35 PDT của Google ghi chưa có cách khắc phục. Đến 02:24 PDT, hãng mới bổ sung gợi ý khách hàng chuyển workload sang vị trí khác nếu khả thi, và hẹn cập nhật tiếp theo trước 04:00 PDT, tức 18:00 giờ Việt Nam.
Chữ “nếu khả thi” đáng để ý. Chuyển workload giữa lúc có sự cố không giống đổi một đường dẫn. Hệ thống có trạng thái phải bảo đảm bản sao dữ liệu đủ mới, tránh ghi trùng, kiểm tra các phụ thuộc giữa dịch vụ, rồi mới đưa lưu lượng quay lại. Một cấu hình có nhiều zone chịu được lỗi của một zone, nhưng nếu dữ liệu chỉ nằm ở vùng bị lỗi hoặc luồng đăng nhập đi qua đúng dịch vụ đang hỏng, thì zone còn lại không cứu được người dùng.
Trong phần bình luận được ghi nhận, một người dùng nói đùa rằng một zone chợp mắt là dịch vụ không có HA nằm trong đó sẽ gặp chuyện. Câu đùa ấy trúng vấn đề: nhiều hệ thống chỉ được gọi là dự phòng trên sơ đồ kiến trúc.
Người dùng Việt cần kiểm tra điều gì
Ảnh hưởng trực tiếp với người Việt hẹp hơn nhiều so với người dùng tại Anh. Sự cố khoanh trong europe-west2, nên nhóm bị tác động chủ yếu là người dùng dịch vụ đặt tại vùng London, dùng ngân hàng Anh, hoặc mang thẻ Revolut khi đi Anh.
Với đội kỹ thuật trong nước đang chạy dịch vụ ở châu Âu, câu hỏi đáng đặt ra không phải là hệ thống có bao nhiêu zone. Câu hỏi là khi một zone đang chạy mất hẳn, hệ thống mất bao lâu để chuyển sang nơi khác, dữ liệu có thể lùi lại tối đa bao nhiêu, và những chức năng nào phải tiếp tục hoạt động khi nhà cung cấp chính gặp sự cố. Nếu chưa có câu trả lời bằng số, phương án dự phòng mới chỉ nằm trên giấy.
Nguồn tham khảo: Google Cloud Service Health; The Register; The Economic Times (Reuters); TechRadar.
