Microsoft đã mất gần một ngày để khôi phục các dịch vụ như Outlook, Teams và Copilot sau sự cố nghiêm trọng trên diện rộng. Điều đáng chú ý là nguyên nhân ban đầu chỉ xuất phát từ một lỗi trong quá trình nâng cấp mạng. Nhưng theo phân tích của các chuyên gia, vấn đề nhanh chóng vượt khỏi tầm kiểm soát khi những máy chủ còn hoạt động phải liên tục gánh thêm lưu lượng từ các máy chủ gặp lỗi, tạo thành một vòng lặp quá tải khiến quá trình khắc phục trở nên đặc biệt khó khăn.
Microsoft xác nhận sự cố bắt nguồn từ một vấn đề trong đợt nâng cấp năng lực mạng trước đó. Lỗi này chỉ bộc lộ sau một thay đổi cấu hình mạng gần đây. Công ty khẳng định đây là sự cố kỹ thuật, không liên quan đến hoạt động tấn công mạng hay trí tuệ nhân tạo.
Tuy nhiên, việc tìm ra nguyên nhân ban đầu không đồng nghĩa Microsoft có thể nhanh chóng đưa mọi thứ trở lại bình thường. Charles Lamanna, Phó chủ tịch điều hành phụ trách Copilot, Agents và Platform của Microsoft, thừa nhận quá trình khôi phục gặp phải những khó khăn kỹ thuật bất thường, trong đó có hiện tượng lỗi dây chuyền và lượng truy cập tăng đột biến tại các điểm tiếp nhận lưu lượng mạng.
Bà Sarah Kreps, Giám đốc Viện Chính sách Công nghệ thuộc Trường Cornell Brooks, đưa ra một lời giải thích đáng chú ý: sự cố có thể đã biến thành một vòng lặp quá tải, trong đó mỗi lần hệ thống phát hiện máy chủ gặp lỗi lại vô tình khiến những máy chủ còn lại chịu áp lực lớn hơn.
Hãy hình dung Microsoft có hàng nghìn máy chủ cùng chia nhau xử lý yêu cầu từ người dùng. Khi một máy chủ gặp trục trặc, hệ thống sẽ kiểm tra ho tôi tình trạng hoạt động và chuyển yêu cầu sang những máy chủ khác để dịch vụ không bị gián đoạn.
Nhưng trong sự cố lần này, chính quá trình kiểm tra đó cũng gặp vấn đề.
Theo bà Kreps, lỗi cấu hình mạng khiến một tiến trình trên các máy chủ phía sau bị quá tải và ngừng xử lý yêu cầu. Hệ thống giám sát của Microsoft vốn thường xuyên kiểm tra xem máy chủ có hoạt động bình thường hay không cũng không thể hoàn tất việc kiểm tra, do kết nối bảo mật cần thiết bị quá tải.
Kết quả là ngày càng nhiều máy chủ bị đánh dấu không hoạt động và loại khỏi hệ thống. Lượng truy cập vốn được chia sẻ giữa các máy chủ nay dồn sang số máy chủ còn lại, khiến chúng phải gánh thêm công việc và tiếp tục rơi vào tình trạng quá tải.
Vòng lặp cứ thế tiếp diễn: máy chủ gặp lỗi bị loại bỏ, những máy chủ còn lại nhận thêm yêu cầu, rồi lại quá tải và bị loại khỏi hệ thống. Một trục trặc ban đầu vì thế có thể lan rộng thành sự cố trên toàn bộ dịch vụ.
Đây cũng là lý do Microsoft không thể đơn giản khởi động lại toàn bộ hệ thống để giải quyết vấn đề. Nếu đưa quá nhiều máy chủ trở lại hoạt động cùng lúc, chúng có thể lập tức phải tiếp nhận lượng truy cập quá lớn và tiếp tục mất khả năng xử lý.
Thay vào đó, công ty phải khôi phục năng lực phục vụ từng bước, kiểm tra độ ổn định sau mỗi giai đoạn. Microsoft cho biết cách làm này khiến thời gian khắc phục kéo dài hơn, nhưng cần thiết để bảo đảm các dịch vụ hoạt động ổn định trở lại.
Ông Doug Madory, người đứng đầu bộ phận phân tích Internet tại công ty Infoblox, nhận thấy sự cố của Microsoft có nét tương đồng với lần Facebook gặp trục trặc nghiêm trọng năm 2021. Khi đó, những quy trình kiểm tra tình trạng mạng vốn được thiết kế để phát hiện lỗi lại góp phần khiến hệ thống toàn cầu ngừng hoạt động.
Đáng chú ý, quá trình khôi phục Facebook cũng kéo dài hơn dự kiến bởi chính những công cụ mà các kỹ sư cần sử dụng để chẩn đoán và xử lý sự cố lại không hoạt động bình thường. Ông Madory nhận định việc Microsoft mất gần 20 giờ để khắc phục sự cố Exchange Online là khoảng thời gian bất thường đối với một dịch vụ có quy mô toàn cầu.
Ông Justin Cappos, giáo sư khoa học máy tính và kỹ thuật tại Đại học New York, cho rằng một hệ thống điện toán quy mô lớn giống như cơ thể người hoặc một quốc gia, với vô số bộ phận liên kết và phụ thuộc lẫn nhau. Khi một mắt xích gặp trục trặc, việc xác định chính xác nguyên nhân và ngăn vấn đề lan sang những bộ phận khác có thể trở nên rất khó khăn.
Sự cố lần này cũng cho thấy hậu quả của việc ngày càng nhiều hoạt động thiết yếu phụ thuộc vào một số ít nhà cung cấp công nghệ lớn. Theo các chuyên gia, những lĩnh vực như y tế, ngân hàng và thực thi pháp luật trên thế giới cũng chịu ảnh hưởng khi các dịch vụ của Microsoft gián đoạn.
Ông Cappos cảnh báo các tổ chức không nên chỉ dựa vào một hệ thống duy nhất mà cần có phương án dự phòng khi nhà cung cấp gặp sự cố. Bởi trong một thế giới ngày càng phụ thuộc vào tự động hóa, những trục trặc kỹ thuật tưởng chừng nhỏ cũng có thể gây ra hậu quả lớn nếu chúng lan rộng trong một hệ thống có quá nhiều thành phần liên kết với nhau.
Nguyễn Hải
