日別アーカイブ: 2020年7月11日

(IT) Big-IPがやられたけど、仮想化してたから速攻でリカバーできた話

投稿日時: 投稿者:
返信

サーバセンターなんかで赤くて丸いf5と書かれた筐体を見たことがある人も多いはず(普通見ないかｗ)。

いまいる会社でもファイヤーウオールとロードバランサーで使ってるわけで。この会社の事例紹介でも取り上げてもらった。
ご存知の通り、紹介されるといろんなサービスがあっ(以下自粛)
採用したのはaws上(クラウド上)で動くVE(Virtual Edition)版ではあるものの、令和の時代にあっても、多くの企業や行政ではリアルな筐体でBig-IPを採用しているところは多い(はずだ)。
で、この日本だけではなく、世界でシェアをもつファイヤーウオールに脆弱性が発見された。
例えば、Windows10に脆弱性が見つかって攻撃されても、パソコンの中に入っている一人か二人分の個人的なデータ漏えいする可能性があるだけ(シゴト用のパソコンでサーバーへのログイン情報とかが記録されていたらその限りではないけどね)。しかし、一般的なWebサーバーは、「そいつ(ファイヤーウオール)が守ってくれるから、(一般的なことはするにしても)特別な防御をしなくてもいいよね？」という前提で、インターネットに直で出しているサーバーよりも安心感を持って設定してあるわけ。そこへもってきて、ファイヤーウオールに脆弱性があるってことは、みんなが頼りにしてたそいつに弱点があって、何ならログインされて、踏み台にされたら、壁の内側を荒らされ放題(技術的にはかなり高度な知識と経験がいるけど)になる可能性があるわけよ。もう、インフラ屋からすればオカルトそのもの(怖)。
一般的な「セキュリティ」の考え方としては、「可能性がある」時点で、「やられてしまった」と捉えて対応しないと、大変なことになる「可能性がある」ので、対応必須というのが常識なわけで。
というわけで我々も対応開始。業界的にいうと、「お祭りがはじまった」状態なわけだ。

セキュリティ上の問題で、当該のファイヤーウオールがどんな状態だったかは詳しく書けないけど、少なくともこの脆弱性をついた攻撃はゼロ回じゃなかったことだけは確かだと観測された。だって、前述の通り「この会社はf5のマシン使ってまっせー！」ってインターネット上に書いてあるんだから、ここの事例集に載ってる会社にはとりあえず攻撃してみるのが正しい「悪意のある人」の行動。
ということはもう、可能性があるわけだから、やられちまった前提で対応を開始。
とりあえず、メーカーが推奨しているようなネットワーク上の設定はすぐに実施したが、問題は機器の再構築。
オンプレでリアルの筐体を使っている会社はマシンをネットワークから外し、初期化して、ゼロからインストールして、それまで実施してきたシグネチャの適用を全部順番にしないといけない。それはそれは気の遠くなるような作業で、ベンダーさんに頼んでも何百万円もかかって何日いや何ヶ月かかるかもしれない。
しかしオレが担当しているファイヤーウオールは仮想化といって、クラウド上で構築されているので、毎日その機器の状態を「スナップショット」という形式でバックアップしている。なので、攻撃が開始された前日のスナップショットから復元することで、数時間で安全な状態に復帰できる、はずだった。スナップショットからの復帰については大きな問題はなかった。２台が並行して動いていて片方が死んでももう片方がすべてのトラフィックを捌ける設定となっており、リソース的に問題ないことも実験済だった。この機能を利用して、１台づつネットから隔離して復元してネットに復帰させれば、全体のネットワークを止めず、業務影響なく対応できるはずだった。
ところがネットワーク内の他のサーバーで数台、片方のファイヤウオールからの応答がないと動作に支障をきたす設定となってるものがあり、１台をネットから外すといくつかの部署で悲鳴があがる状況で、一台ずつ設定の確認と変更を実施したので、そこで時間がかかってしまった。
２日間にわたるお祭りも、そんな小さなトラブルもありながら、なんとか完了できた。何ヶ月もかかる可能性があるオペレーションが２日でできたし、追加のコストもなく完了したのは、スタッフやベンダーさんの緊張感を持ったオペレーションのたまものではあるわけだが、もう一つの手柄は「Big-IPをaws上のスナップショットから復元させる機能をメーカーであるｆ５に実現させた」男の存在だ。
VE版の出始めの頃、f5社はスナップショットからの復元は正式にサポートしていなかった。おいおい、f5さん、ソフトウエアの会社になると宣言している割には、むっちゃハード寄りというかオンプレ前提の話じゃないっすか、それ。VE版なんだからスナップショットからの復元をサポートしてくれよ、と強行に申し入れをして、結果サポートを勝ち取った。あれから３年以上経った日に、あの交渉が活きたということ。インフラを守るというのはこういうこと、と思ったよ。当時f5と直談判してくれた同僚に本当に感謝している。