Coinbase、1つの設定ミスが50分間の障害を引き起こした経緯を明らかにする

Coinbaseは、定期的なインフラ更新が重要なネットワーク・ゲートウェイを無効化し、約50分間にわたり送金、デビットカードでの購入、オンチェーンの各種サービスを中断したと述べています。同社の新しいポストモーテムでは、エラー内容と、なぜ同社の通常の復旧ツールも失敗したのかが説明されています。

要点

  • Coinbaseは、50分間の障害の原因が、定期的なインフラ更新の最中に検知されなかったKubernetesのリソース名の衝突だと突き止めました。
  • このインシデントは、送金、Coinbase Cardのデビット購入、機関投資家の決済、複数のプラットフォームにまたがるオンチェーン・サービスを中断しました。
  • 障害によりCoinbaseの通常のロールバック処理も無効化され、新たな安全策とインフラ変更が促されました。

Coinbaseが何が起きたのか説明

暗号取引所のCoinbase(Nasdaq: COIN)は、先週の障害の背景にあるソフトウェアエラーを特定しました。この障害により、顧客は約50分間、送金の完了、Coinbase Cardでの購入、複数のオンチェーン・サービスへのアクセスができない状態になっていました。

7月21日に公開されたポストモーテムによると、エンジニアは、定期的で低リスクに見える更新を展開していたところ、検知されなかったKubernetesのリソース名の衝突によって、更新が誤ったネットワーク構成要素を変更してしまったとのことです。

Coinbaseは次のように述べています:

> 「これは、定期的な構成更新の結果として、重要なネットワーク構成要素に対する意図しないミス設定によって引き起こされました。いかなる時点でも顧客資金が危険にさらされていたわけではありません。」 > >

Kubernetesは、Coinbaseがクラウド・インフラ全体でアプリケーションを整理し、運用するために使っているソフトウェアです。リソース名の衝突により、更新は意図された構成要素だけでなく、同社のIstio ingress gatewayの一部を変更してしまいました。このゲートウェイは、Coinbaseの社内サービス間でリクエストを振り分ける交通整理のような役割を果たします。

ゲートウェイがオフラインになったことで、取引の処理、送金、決済、支払い認可を担当するシステムは、もはや通信できなくなりました。

カードの支払いが減り、送金が滞る

この混乱は、ETの約12:37 p.m.から1:25 p.m.まで、Coinbaseのリテール、機関投資家、開発者プラットフォームに影響しました。

一部のリテール顧客は、入金、出金、またはプラットフォーム外の取引を完了できませんでした。すでに進行中だった送金は動けないように見えましたが、サービスが復旧した後に処理されました。Coinbase Cardのデビット購入は却下されましたが、クレジットカードでの購入は継続しました。

この障害はBaseおよびSolana上でのCoinbase DEX経由のオンチェーン・スワップも中断しました。Coinbase ExchangeおよびPrimeの顧客は、送金と決済で遅延または失敗が発生しました。一方、開発者プラットフォームの顧客は、ユーザーのオンボード、資金の移動、またはオンランプ・サービスの利用ができませんでした。

この影響は、Coinbaseがスポット暗号取引の枠を超えて拡大する中で、信頼性の重要性が高まっていることを浮き彫りにします。同社の計画する「すべての取引所」向けのプロダクト(トークン化された株式やパーペチュアル先物を含む)は、同社のインフラに依存する金融活動の範囲を広げています。

Coinbaseは別途、このプラットフォームをより幅広い金融ハブにする計画として、株式、デリバティブ、ステーブルコインの支払い、開発者ツールにまたがる新しい取引、決済、マネーマネジメント・サービスを提供すると説明しています。この拡大は、共有インフラが失敗した際のリスクを高めます。

復旧に想定より時間がかかった理由

ゲートウェイはETの1:20 p.m.に復旧し、Coinbaseはそれから3分後にこのインシデントは「軽減された」と宣言しました。残った取引の滞留分は、その後の数時間で解消されました。

復旧に時間がかかったのは、Coinbaseのデプロイメント(更新)ツールが、失敗したゲートウェイに依存していたためです。エンジニアは標準のロールバック処理を使えず、代わりに一時的な特権アクセスを使って、同社のクラウドプロバイダー経由で緊急デプロイを手動で起動しました。

Coinbaseは現在、命名の衝突を防ぐチェックを追加し、復旧ツールをそれが管理するインフラから切り離し、緊急アクセス手順のテストをより定期的に行うようにしています。

Coinbaseは次のように強調しました:

> 「私たちの目標は常にダウンタイムゼロです。たとえこのような障害が起きる可能性が非常に低いとしても、迅速に巻き戻して復旧できるよう、インフラを積極的に再設計しています。」 > >

COIN-3.00%
SOL-2.50%
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め