2013年1月27日日曜日

先週金曜日の昼間にAsahiネットの障害が有りました。

名古屋の自習室、レンタルオフィスのアットスペース管理人の中井でございます。

さて、
先週金曜日の昼、12時頃にアットスペース内の持込みパソコンからの外部インターネット接続系で障害が発生いたしました。

内容は概ね以下のとおりでございました。
★当日は、障害原因追求のためログ採取や設定変更などを試みましたが、結局はプロバイダーHPからプロバイダー障害である事が後日、判明いたしました。

【参考 Asahiネット2013/01/25インターネット接続障害】
http://asahi-net.jp/support/information.html


【当日の障害内容】
平成25年1月25日(金曜日)昼の12時前後に持込み携帯PCからのインターネット接続が出来なくなった。
数分後には、インターネット接続が出来るようになった。
この間、弊社レンタルPCやサーバーからのインターネット接続は問題なし。

【当日の障害原因追求】
・弊社インターネット接続の体系説明
弊社では、インターネット接続の可用性を高めるために外部インターネット接続には次の3つの用意いたしております。
■A系:ヤマハルーターⅠ⇔NTT光プレミアム⇔ミライネット・プロバイダー
■B系:ヤマハルーターⅡ⇔NTT光プレミアム⇔ミライネット・プロバイダー
■C系:ヤマハルーターⅢ⇔NTT光ネクストム⇔Asahiネット・プロバイダー
弊社ネットワーク設計の方針は、負荷分散と可用性(障害発生時にも、障害箇所局所化、機能縮退で稼働を続ける)であります。
そのため、外部インターネット接続にも3経路を持ち、なおかつ
ネットワーク機器、光回線、インターネットプロバイダーをも複数に分散させ、どれか1つの障害が発生したとしても全回線がダウンする事がないような方針です。

今回の障害は、『C系:ヤマハルーターⅢ⇔NTT光ネクストム⇔Asahiネット・プロバイダー』だけが障害となりました。

この時に、まず、C系の各ハードウェア本体を目視確認し電源ダウンや機器破損が無い事を確認しました。
そして、次にヤマハルーターⅢログを解析いたしました。
しかし、このログ上では
NTT光ネクスト回線のダウンや異常も認められず、
Asahiネットへの接続状態も、オンラインで接続中。
共にエラー事象は見当たりません

【その場の対応】
なんらかの原因で使用できないC系へ接続されている持込みPC類のIPアドレスを割り当て直して健常なA系/B系に振り分けました。
その後、数分後にC系が自然復旧しました(後日、Asahiネット・プロバイダー障害と判明)

【今回の障害考察】
後日、Asahiネットホームページから、Asahiネット・プロバイダー障害が原因である事が判明した。
が、
C系の機器類の目視と、ネットワーク機器のログ類からは、プロバイダー障害である事がわかりませんでした。
とすると、プロバイダー障害情報無くしては現場での原因追求は困難だと言わざる終えませんね。

この対処として、Asahiネットの障害(Asahネットが認識した場合)発生時にはメールで情報を即時受信する設定にするようにしました。

しかし、プロバイダーの障害と言うのは稀なケースで困惑しましたが
ネットワークの規模が大きくなると関係する機器や光回線、プロバイダー会社等多岐に渡るので問題の切り分けが困難になる傾向が有ります。

かといって、一意に機器類や、光回線、プロバイダーを一緒にすると管理は楽ですが、障害発生時には全般に影響しネットワークの可用性が低下するので現実的ではありまえんね。

今後の課題としては、通常のオーバヘッドが少ない、常時ネットワーク監視モニターの導入を検討する事に致します。