ADサーバーが消えた日 #ポエム – Qiita

手順 6 でミスってしまいました。
vmware エンジニアブログさんの画像をお借りして状況を説明すると、こんな画面構成でした（※イメージ）。

参照：https://www.climb.co.jp/blog_vmware/vmware-7072

本来やるべきだったのは：

• 青枠：スナップショットのウィンドウで、一番古いスナップショットを削除

しかし実際にやってしまったのは：

• 赤枠：仮想マシン自体を操作するメニューで、「インベントリから削除（Delete from Inventory）」を実行

昔の vCenter は、仮想マシンがオフになっていると「インベントリから削除」というメニューが出てくるのですが、眠すぎて「Delete」という文字しか目に入っていませんでした。

時刻は AM3時。 前日、私は 18時間ぶっ通しでモンハンをしていました。

Aさん「Deleteをクリックします」
私「はい」（← 超絶眠くて目が9割くらい閉じている。ほぼ寝てる）

Aさん「なんか違う気がするんですが、合っていますかね？」
私「項目が1個減ったので合っていると思いますよ」（← 寝不足）

ここでも、本来は 青枠のスナップショット一覧を確認すべきなのに、
赤枠の仮想マシン一覧を見て「減ってるからOK」と判断してしまいました。

その後、手順 8 以降を進め、手順 12 のAD1のスナップショット削除に入ったところで、再度違和感が出てきました。

Aさん「スナップショット削除しましたが、赤枠の項目が減らないですね」 ← 手順としては合ってる
私「そうですね」
Aさん「あ、すみません、間違って青枠の方で作業していました。すみません、削除します」 ← 間違っている
私「はい」

そして、AD1 も無事インベントリから削除されました。

次の手順 13 で AD1 を起動しようとしたときでした。

Aさん「手順通りに起動しようとしたんですが、AD1 がいないです」
私「は？」（← ここでやっと目が覚める）

目の前にあるのは、

• AD1 も AD2 も存在しない vCenter の画面

全身から変な汗が噴き出しました。 「あ、これ完全に作業ミスだ」 と脳が理解するまで数秒かかりました。

「ん？ちょっと待て、なんで AD1 のときに初めて気づいたんだ？」と冷静になって考えると、AD2 のときに正常性確認（手順7）をしていれば、その時点で気付けたはずです。

そうです。Aさんは 手順 7 をスキップしていました。
作業者あるあるの「読み飛ばし」です。
そして私は、そのスキップに気づけていませんでした。

まあいい、ADサーバーが片系だけいないなら、単純にリストアすればよい話です。
しかし、今回は 両系いない。
両方いなくなったとき、リストアでうまくいくのか？というか、そもそもこれリストアできるか？と思ったが、
「あ、インベントリから削除しただけだから、ストレージにはデータが残っている！」
「そこからリストアすればいけるじゃないか！！」

メンテナンス終了時刻まで 残り1時間。
「まだリカバリーいけるな」と、自分に言い聞かせ、黙ってリカバリを始めます。

本来ならここで上司にエスカレーションすべきなのですが、

• メンテ時間内に直したい
• 怒られたくない（重要）

という感情が勝ち、私は自分が作業者となって、ESXi のデータストアからリストア作業を始めました。

結果として：

• AD1 / AD2 の仮想マシンは無事復活
• ESXi の vSphere Client 上でも存在を確認
• AD / DHCP / DNS も一見正常に見える

メンテ終了 10分前にリカバリー完了。
「ギリギリ間に合った！やればできるじゃん！」と、妙な達成感がありました。
Aさんもニッコリです。私もニッコリ。

……

最後の手順 14：監視システムの抑止モードを解除をしました。
5分後、約8000件のアラートメール が飛んできました。

• 監視室のパトランプが鳴り止まない
• Aさんはフリーズ
• 私の心拍数は爆上がり

このアラートメールは、もちろん 上司にも届きます。

5. AD 両系リストアの影響：管理サーバ群がドメインに参加できない