７月２０日の夕方４時ほどに、サーバ上で動かしていたちょっとしたソフトが目の前で強制終了してしまい（たまたま監視していた）

はて？強制終了するなんて珍しい・・・

というのが始まりでした。

帯域の負荷が大きくなったのかなと思い他を確認すると次々とタイムアウトして反応が無くなっていきます。
なにかサーバソフトが暴走しておりCPU負荷が100%になっているのかと思い（開発中にタマにやってしまいます）、うちのサーバはハウジングで預けてありますのでたまたま居た ISPの人（以下中の人）へ頼んでサーバの再起動をして貰います。

暫く待てども再起動してくる気配がありません。
さすがにヤバイと思ったのですが、中の人は既におらず、落ちた時の暫定用サイトに切り替える準備をします。

と言ってもかっこいい切り替え装置がある訳ではなく、別のサーバにダミー用サイトだけ置いてあり、DNS を設定を変更するだけなのですが。
（うちくらいのサイトの場合落ちた時用のサーバ機まで預けておくのはムダですので。）

サーバ機を直接見ないことにはどうしようもありませんので中の人からの連絡待ちをしつつ最悪の自体を想定して予備パーツを物色します。

深夜になり連絡が取れサーバルームへ直行。電源は入っているものの完全にフリーズしています。CPUファンはまわっていますが電源ファンの回転が少し・・・いやかなり遅いです。取りあえず電源を落としてハードディスク等を外しマザーボード上にはCPUのみの状態にします。
この時点でCPUをかなり疑っていました。なぜならば以前にもこのサーバ機はCPUだけが壊れたという器用な壊れ方をしていたからです。
電源を入れるとメモリが未装着のビープ音が鳴りましたのでCPUとマザーボードは無事です。
次にメモリを挿してBIOSの確認をします・・・がBIOS起動しません。まずメモリが逝っているのが確定です。
メモリを予備に差し替えて再起動するとBIOSは動きましたので次はハードディスクを接続。起動ドライブから異音。
壊れたハードディスクの確認したことがある方ならわかると思いますが、カリカリッ・・・カリカリッ・・・とリトライしている悪夢の音です。
これで起動ドライブも逝ったのが確定です。
ハードディスクの予備が切れていたのでここで手出しが出来なくなります。
ハードディスクは朝一で買いに行くとして、取りあえず電源ユニットも交換。ついでに転がっていた強力（しかし五月蠅い）なファンに交換してみます。

えーと・・・奥行きのサイズが合わなかったので無理矢理ネジ止め用のステーを曲げて針金で固定して取り付けました。冷えれば正義です。

次の日。

朝一でハードディスクを購入してＯＳの再インストール。
データ用のドライブは無事でしたので Web/Mail/FTP/DNSなどもインストールをして動作確認へ。
Web設定はバックアップデータから復旧し、PMail Server はデータドライブに入れてあったのでインストールボタンを押して開始を押すだけ（笑）
FTP もバックアップデータから上書きして戻しました。
DNS バックアップが古く L root サーバ のアドレスが旧アドレスのままでしたのできちんと書き換えます。
サーバソフトは設定を変更した都度こまめにバックアップを取っておくと万が一の時に後悔しません。

復旧の目処が立ったので書き換えた DNS を元に戻して DNS情報が再度浸透するのを待っている状態です。
（この記事を見れていれば浸透していることになります）

今年も猛暑のようですしサーバー管理者の皆様お盆休み等は熱暴走の対策を充分にしておきましょう。