Coinbase Tiết lộ Một Lỗi Cấu Hình Đã Kích Hoạt Sự Cố Mất Điện Kéo Dài 50 Phút Như Thế Nào

Coinbase cho biết một bản cập nhật hạ tầng định kỳ đã làm tắt một cổng mạng quan trọng, gây gián đoạn chuyển khoản, mua hàng bằng thẻ ghi nợ và các dịch vụ onchain trong khoảng 50 phút. Bài đăng postmortem mới của hãng giải thích lỗi xảy ra và vì sao các công cụ khôi phục thông thường của công ty cũng thất bại.

Các điểm chính

• Coinbase truy ra sự cố mất điện kéo dài 50 phút là do xung đột trùng tên tài nguyên Kubernetes không được phát hiện trong một lần cập nhật hạ tầng định kỳ.
• Sự cố đã làm gián đoạn chuyển khoản, các giao dịch mua bằng Coinbase Card (thẻ ghi nợ), đối soát thể chế (institutional settlements) và các dịch vụ onchain trên nhiều nền tảng.
• Mất điện cũng làm tắt quy trình rollback thông thường của Coinbase, buộc hãng phải triển khai biện pháp bảo vệ mới và thay đổi hạ tầng.

Coinbase Giải Thích Điều Gì Đã Xảy Ra

Sàn giao dịch crypto Coinbase (Nasdaq: COIN) cho biết đã xác định lỗi phần mềm gây ra sự cố mất điện hồi tuần trước, khiến khách hàng không thể hoàn tất chuyển khoản, mua hàng bằng Coinbase Card và truy cập một số dịch vụ onchain trong khoảng 50 phút.

Theo một bài postmortem được công bố vào ngày 21 tháng 7, các kỹ sư đang triển khai một bản cập nhật trông có vẻ là định kỳ và ít rủi ro khi một xung đột trùng tên tài nguyên Kubernetes không được phát hiện đã khiến bản cập nhật sửa đổi nhầm một thành phần mạng.

Coinbase cho biết:

“Nguyên nhân là do cấu hình sai ngoài ý muốn của một thành phần mạng quan trọng, phát sinh từ một lần cập nhật cấu hình định kỳ. Ở bất kỳ thời điểm nào, tiền của khách hàng cũng không gặp rủi ro.”

Kubernetes là phần mềm mà Coinbase dùng để tổ chức và chạy ứng dụng trên hạ tầng đám mây của mình. Xung đột tên tài nguyên khiến bản cập nhật thay đổi một phần Istio ingress gateway của công ty thay vì chỉ thay đổi thành phần được dự định. Cổng gateway đóng vai trò như bộ điều phối giao thông, định tuyến các yêu cầu giữa các dịch vụ nội bộ của Coinbase.

Khi gateway ngừng hoạt động, các hệ thống chịu trách nhiệm xử lý giao dịch, chuyển khoản, đối soát và ủy quyền thanh toán không thể liên lạc nữa.

Thẻ Bị Từ Chối và Chuyển Khoản Bị Tắc

Sự gián đoạn ảnh hưởng đến các nền tảng bán lẻ, thể chế và nhà phát triển của Coinbase từ khoảng 12:37 p.m. ET đến 1:25 p.m. ET.

Một số khách hàng bán lẻ không thể hoàn tất nạp tiền, rút tiền hoặc giao dịch ngoài nền tảng. Những lệnh chuyển khoản đang diễn ra có vẻ bị kẹt nhưng đã được xử lý sau khi dịch vụ hoạt động trở lại. Các giao dịch mua bằng Coinbase Card (thẻ ghi nợ) bị từ chối, trong khi mua bằng thẻ tín dụng vẫn tiếp tục.

Sự cố cũng làm gián đoạn các hoạt động hoán đổi onchain thông qua Coinbase DEX trên Base và Solana. Khách hàng của Coinbase Exchange và Prime gặp tình trạng chuyển khoản và đối soát bị trì hoãn hoặc thất bại, trong khi khách hàng nền tảng nhà phát triển không thể đưa người dùng lên (onboard), chuyển tiền hoặc sử dụng các dịch vụ onramp.

Tác động cho thấy mức độ quan trọng ngày càng tăng của độ tin cậy khi Coinbase mở rộng vượt ra giao dịch crypto giao ngay. Các sản phẩm dự kiến theo hướng “tất cả là sàn giao dịch” của hãng, bao gồm cổ phiếu được token hóa và hợp đồng tương lai vĩnh viễn, đang mở rộng phạm vi hoạt động tài chính phụ thuộc vào hạ tầng của công ty.

Coinbase cũng mô tả riêng kế hoạch biến nền tảng thành một trung tâm tài chính rộng hơn, với các dịch vụ giao dịch, thanh toán và quản lý tiền mới trải rộng từ cổ phiếu, phái sinh, thanh toán bằng stablecoin đến công cụ cho nhà phát triển. Mở rộng này khiến rủi ro cao hơn khi hạ tầng dùng chung bị lỗi.

Vì Sao Việc Khôi Phục Mất Nhiều Thời Gian Hơn Dự Kiến

Gateway được khôi phục lúc 1:20 p.m. ET, và Coinbase tuyên bố sự cố đã được giảm thiểu ba phút sau đó. Các đống tồn đọng giao dịch còn lại được xử lý dần trong những giờ tiếp theo.

Việc khôi phục mất lâu hơn vì các công cụ triển khai (deployment tools) của Coinbase phụ thuộc vào gateway bị lỗi. Các kỹ sư không thể dùng quy trình rollback tiêu chuẩn và thay vào đó đã khởi chạy triển khai khẩn cấp thủ công thông qua nhà cung cấp đám mây của công ty, sử dụng quyền truy cập tạm thời được cấp đặc quyền.

Hiện tại, Coinbase đang bổ sung các kiểm tra để chặn xung đột đặt tên, tách các công cụ khôi phục khỏi hạ tầng mà chúng quản lý và thử nghiệm quy trình truy cập khẩn cấp thường xuyên hơn.

Coinbase nhấn mạnh:

“Mục tiêu của chúng tôi luôn là không có thời gian ngừng hoạt động. Chúng tôi đang tích cực thiết kế lại hạ tầng để đảm bảo rằng, trong trường hợp cực kỳ khó xảy ra có một lỗi khác như lần này, chúng tôi có thể nhanh chóng quay lại và khôi phục.”