昨年は家庭の事情で参加すらできなかった昨年のJAWS DAYS。2019年の今年はコアメンバーとして参加し、イベント全体の企画・運営をしてきました。
コアメンバーとして参加した際の感想はまた別エントリーで記載させていただく予定ですが、今回はタイトルの通り、JAWS DAYS 2019の会場に提供されていた無線ネットワークに関してお話したいと思います。
JAWS DAYS 2019の会場の無線ネットワーク
コアメンバーとして今回私が担当した役割のひとつとして「会場ネットワークの整備」がありました。 私自身の通信会社勤務という経歴や知見も活かし、今回はネットワークスポンサーとしてWire&Wireless(Wi2)様にご協力頂き、一緒に会場WiFiの提供を検討してきました。
私もコアメンバーになるまでまったく知らなかったのですが、一昨年のJAWS DAYS 2017では会場にWiFiが提供されていたようですが、あまり状況は芳しく無く、繋がらないなどのトラブルが多発していたようです。その結果、翌年の2018では会場WiFiは提供されませんでした。
そこで今年は、「一般参加者とハンズオンの両方に無線アクセスポイント(以下AP)を用意する」「一般参加者とハンズオンは接続先ネットワークを明確に分ける」ということを目標に、五反田TOCとWi2さん合同で数ヶ月前から対策を進めてまいりました。
会場に展開した無線ネットワークの「業（わざ）」
五反田TOCメッセの会場のバックボーンNWについては今回のJAWS DAYS開催にあたり回線増強などの対応を行っていただきました。 しかしセキュリティ等の観点から内容を詳しくお話できないため、主にWi2さんが実施した対策について話せる範囲で公開していきたいと思います。
●一般入場者向けのAPについて
五反田TOCメッセにあらかじめ設置されていた無線APの設定については一般参加者向けのAPとして使うこととし、Wi2さんにはセッションのエリアや想定される利用状況／ユーザー数などをお話し、現地へも複数回足を運んでいただいた上で、下記の３点の対策を実施していただきました。
①アクセスポイントの電波出力を半分にダウン
②2.4Gと5Gで明確にSSIDを分割。ただしパスワードは共通のまま
③５G帯の使用チャンネルを増やす
こうすることのメリットも同じく３つほどあります。
①会場にいる人が特定のAPに繋ぎっぱなしになることを防ぐ
会場には数十台のAPが存在していますが、最近のAPは性能が高く、逆に電波出力が大きいとユーザーが会場を移動してもAPが切り替わらず、ずっと同じAPを掴んだままになってしまうそうです。なので「あえて」出力を下げることで、トラックを移動したユーザーが移動先のAPに繋ぎ替わるように仕向けるわけです。
②混雑が少なく11acを利用できる5G利用に誘導
最近販売されている殆どのPCやスマホでは5GHz帯を使えるので、APの接続情報を来場者に見せるときに5G帯に誘導。 これは、2.4G帯だとBluetooth機器や他の無線機器と周波数帯が丸かぶりなため混雑しやすいためで、5Gに誘導することで干渉に強い11acを使わせて、不意のセッション断を防ぐようです。
③リソースを増やして干渉を減らす
アクセスできるCH数を増やすことで論理上の接続リソースを増やせるので、これによって無線の干渉を減らし、接続可能数を増やすとともに安定的な無線ネットワークを提供します。
ということで、会場にある既設のAPについても、Wi2さんのプロの経験を活かして見事な無線ネットワークのエリア構成を実現して頂きました。
●ハンズオンセッション専用APについて
今回は一般入場者とは別の無線NWとしてハンズオンセッション専用NWをWi2さんからもちこんだ２つのAPで構成していただきました。
こちらに関しての対策は下記4点となります。
①天井ではなくハンズオン会場のパーティションの一部に２つのAPを新設
②先の既設APとは使用CHを離し、2つのAP間でも使用CHを分離して干渉を回避
③こちらもAPの出力を下方調整しハンズオントラック内から大きく出ないようエリア調整
④ハンズオンのセッション毎にパスワードを都度変更
こうすることで、一般入場者のネットワークの混雑の影響を避けたり、さらには前セッション参加者がセッション終了後にWiFi設定を一般入場者用のものに切り替え忘れていたとしても、ハンズオンAP側に繋ぎっぱなしになってしまうことを防ぐことができます。
実際の設置した写真がこちらになるのですが、AP本体が天井よりずっと低い位置に設定されていたり、パーティション側かつ建物の壁側に寄せ、２つを並べて設置するといったあたりにも、プロの業を感じました。
写真① APの設置位置。トラックの一般セッション会場側のパーティションの画面側の壁付近(スピーカースタンドの後ろ）に仮設パーティションを増設
写真② 増設した仮設パーティションの裏側の中程の高さにAPを２つ並べて設置。裸で設置せず裏に隠すあたりがプロ。
それでも起きてしまった障害。その時、現場では、、、
まさに万全を期して望んだ2019/2/23 JAWS DAYS当日。
何も起きないことを祈るばかりでしたが、残念がらNW障害は起きてしまいました。 一時的に、会場のWiFiからインターネットへの接続ができなくなてしまいました。
発生から復旧までかかった時間は、約２時間。
時系列を追って、問題がおきてから収束するまでを順に追ってみます。
朝10時頃まで
- 会場のWiFiはまったく問題なく機能。
- 既設AP単体でも100Mbps近い速度を計測。
10:00前後
- セッションスタート。入場者が900人を突破。
- この頃、APへの接続はできるがインターネットにまったく出れない状況が発生。
- Wi2さんにて調査を続行。
- ハンズオン用のWiFIはDNS等含めたシステムを既設とは完全に分離していたため、終始安定して稼働していることを確認。
- 今回の障害は一般参加者用AP側にて発生していると断定。
- 会場の有線ネットワーク網そのものに大きな問題はなさそう。
- 接続クライアントへのDHCPによるIP払い出しは成功しているが、配られたローカルDNSによる名前解決ができない事象が発生。
- クライアントにて手動でGoogle Public DNS(8.8.8.8)を参照するように変更すると時間はかかるが名前解決できることが判明。
- 少なくともDNSを変更すればインターネットに出れないという障害は解消できると判断。
11:26 * DHCP設定を変更して配布するDNSサーバアドレスをGoogle Public DNS(8.8.8.8と8.8.4.4)に変更する対策を実施 * 同内容に必要な入場者側の対応を会場にてアナウンス * この設定変更で時間はかかるが接続できるようになったものの、端末により不安定な状況は継続 * パケットキャプチャから、特定アドレスからrefuseが返っててくることを確認 * 調査を続行したところ、経路中のネットワーク設備が容量不足で輻輳を起こしていている可能性が浮上 * その原因が最近実施した構成変更が原因である可能性があると判断
12:10
- 直近に行った構成変更を、もとの状態になるように再変更を実施
- 通信経路輻輳の正常化を確認。会場全体のネットワーク通信も安定化。
その後来場者数はさらに1900人弱まで伸びたが終日安定して供給。
以上が復旧までの事の顛末になります。
バックボーン側の細かい内容についてはお話できないのですが、今回のJAWS DAYSに向けて回線増強とそのための設定変更もあわせて実施しており、そこで行った設定が原因で今回の障害が起きてしまいました。しかしこれはあくまで「回線容量」の問題であり、史上最大数の来場者とその来場者のほぼすべてが会場WiFiを使えるデジタルネイティブだったということが重なって起きた事象ともいえます。
逆に朝イチの時点でいきなり900人を超えるような来場者だったからこそ、障害がおきたのも早かったわけで、これがもっとゆっくりのペースで入場者が増えていたら発見が遅れて大惨事になっていた可能性も否定できません。
いずれにせよ、事象発生から約80分で仮復旧、2時間で完全復旧という迅速な対応でした。
今回の一件を通じて
今年のJAWS DAYSでは初のネットワークスポンサーという形を取り、Wi2さんに会場の無線ネットワークの構築をお願いしたわけですが、非常に重要だなと感じたのは、構築のみならず新設したAPの外部監視や当日の運用者常駐までしていただいた点です。 この用意周到な対策をしていただいたことで、発生した障害にも迅速に対応していただけましたし、そもそも既設を含むネットワーク全体のエリア設計が優秀だったからこそ、障害対策後の復旧もすばやく行われたんだと私は考えます。
あたりまえといえば当たり前なのですが、「餅は餅屋」というのは言い得て妙だな、と心から思いました。 と同時に、今回の一件を通じて私は「プロの底力」みたいなものをひしひしと感じました。
来年のJAWS DAYSでも、ぜひWi2さんにネットワークサポーターに立っていただきたい！と強く願いつつ、今回のエントリは終了したいと思います。
最後まで長文エントリにお付き合い頂き、有難うございましたm( )m
