Coinbaseは7月21日、7月14日に発生した50分間の障害の原因となったソフトウェアのエラーを特定するポストモーテムを公開しました。この障害により、顧客は送金を完了できず、Coinbase Cardでの購入やオンチェーン・サービスへのアクセスもできませんでした。障害は、日常的なインフラ更新の際に検知されなかったKubernetesのリソース名の衝突が原因で、誤ってネットワークの別コンポーネントが変更されたことによって発生しました。このインシデントは、ETで12:37 p.m.から1:25 p.m.まで（約12:38 p.m.の時間帯に）リテール、機関投資家、デベロッパー向けの各プラットフォームに影響しましたが、顧客の資金にリスクはありませんでした。Coinbaseが現物の暗号資産取引を超えて、トークン化株式、無期限先物、より広範な金融サービスへと拡大する中で、共有インフラが機能不全に陥った場合の影響がより大きくなりました。
Kubernetesのリソース名の衝突がゲートウェイ障害を引き起こした
エンジニアが、低リスクで日常的に行うアップデートと思われる作業を展開していたところ、ポストモーテムによれば、検知されなかったKubernetesのリソース名の衝突によって更新が誤ったネットワークコンポーネントを変更してしまったとのことです。Kubernetesは、Coinbaseがクラウド基盤上でアプリケーションを整理し稼働させるために使用しているソフトウェアです。リソース名の衝突により、更新は意図したコンポーネントだけでなく、同社のIstioのイングレス・ゲートウェイの一部も変更してしまいました。ゲートウェイは交通整理のように、Coinbaseの社内サービス間でリクエストを振り分けます。ゲートウェイがオフラインになると、取引処理、送金、決済、支払い認可を担うシステムは通信できなくなりました。Coinbaseは、このインシデントは「日常的な設定更新の結果として重要なネットワークコンポーネントの意図しない誤設定が発生したことによって起きた」とし、「いかなる時点でも顧客の資金はリスクにさらされていなかった」と述べました。
障害が送金、カード購入、機関投資家の決済を妨げた
この混乱は、Coinbaseのリテール、機関投資家、デベロッパー向けプラットフォームに、ETでおよそ12:37 p.m.から1:25 p.m.まで影響しました。一部のリテール顧客は、入金、出金、またはプラットフォーム外での取引を完了できませんでした。進行中の送金は停止したように見えましたが、サービスが復旧した後に処理されました。Coinbase Cardのデビット購入は却下されましたが、クレジットカードでの購入は継続できました。また、今回の障害は、BaseおよびSolana上でのCoinbase DEX経由のオンチェーン・スワップも中断しました。Coinbase ExchangeおよびPrimeの顧客では、送金と決済が遅延したり失敗したりしました。一方、デベロッパープラットフォームの顧客は、ユーザーのオンボーディング、資金移動、または入金用のサービスの利用ができませんでした。影響は、Coinbaseが現物の暗号資産取引を超えて拡大するにつれ、信頼性の重要性が高まっていることを示しています。同社の計画する「すべて取引のための取引所」型の商品には、トークン化株式や無期限先物を含める予定であり、同社インフラに依存する金融活動の範囲を広げています。Coinbaseは別途、このプラットフォームをより広い金融ハブにする計画として、新たな取引、支払い、マネーマネジメントのサービスを、株式、デリバティブ、ステーブルコイン決済、デベロッパー向けツールにまで広げる構想を説明しています。
Coinbaseが手動復旧後に新たなセーフガードを導入
ゲートウェイはETで1:20 p.m.に復旧し、その3分後にCoinbaseはインシデントが軽減されたと宣言しました。残っていた取引の滞留分は、その後の数時間で解消しました。復旧に時間がかかったのは、Coinbaseのデプロイメント（配布）ツールが失敗したゲートウェイに依存していたためです。エンジニアは通常のロールバック手順を使えず、代わりに同社のクラウドプロバイダーを通じて一時的な特権アクセスを用い、緊急デプロイを手動で起動しました。Coinbaseは現在、命名の競合をブロックするためのチェックを追加し、復旧ツールを管理するインフラから切り離し、緊急アクセスの手順をより定期的にテストしています。Coinbaseは「私たちの目標は常にゼロダウンタイムです」と強調し、さらに「このような障害が再び起きた場合でも、起こり得る可能性が極めて低いとはいえ、迅速に巻き戻して復旧できるよう、インフラを積極的に再設計しています」と述べました。
よくある質問
7月14日のCoinbaseの障害の原因は何でしたか？
障害は、日常的なインフラ更新の際に検知されなかったKubernetesのリソース名の衝突によって発生し、具体的には意図したコンポーネントではなくCoinbaseのIstioイングレス・ゲートウェイの一部が変更されたことによります。
Coinbaseの障害はどれくらい続き、どのサービスに影響しましたか？
障害は7月14日にETで12:37 p.m.から1:25 p.m.までの約50分間続きました。リテール顧客の送金やCoinbase Cardのデビット購入に影響し、Coinbase ExchangeおよびPrime上での機関投資家の決済、BaseおよびSolana上のCoinbase DEX経由のオンチェーン・スワップ、さらにユーザーのオンボーディングや資金移動などを含むデベロッパープラットフォームのサービスにまで影響しました。
障害後、Coinbaseはどのようなセーフガードを実装していますか？
Coinbaseは現在、命名の競合をブロックするためのチェックを追加し、復旧ツールを自社が管理するインフラから切り離し、将来のインシデントでも迅速な巻き戻しと復旧ができるよう緊急アクセス手順をより定期的にテストしています。
