JANOG36会場ネットワーク・ストリーミングの提供について
はじめに
従来は、JANOGミーティング毎の実行委員会が会場ネットワーク構築やストリーミング配信を準備から当日の運用まで行なってきました。
そんな中今回は、独立したNetwork Taskforceという組織の形を取り、会場ネットワークとストリーミングに関する準備から当日の運用までをご担当いただきました。また、実行委員会はその活動への協力を行いました。
こちらのページではNetwork Taskforceがどのようなメンバーで構成され、どのような準備・運用・トラブル対応をされてきたのかをご紹介します。
JANOG36 Network Taskforceの結成
JANOG36 Network Taskforce（以下Taskforce）は、JANOG36 Meetingへの会場ネットワーク及びストリーミング配信を提供するために結成されました。メンバとして、ホストであるBBIX、IDCフロンティアと地元福岡を中心としたエンジニア、九州産業大学様及び九州工業大学様の教員、学生の皆様に参加いただきました。
結成にあたり参考にしたのは、JANOG36と同じ福岡で2015年3月に開催されたAPRICOT-APAN 2015（以下AA2015）におけるネットワークチームの取り組みです(参考：JPNIC Blog: https://blog.nic.ad.jp/blog/after-apricot-apan2015...)。TaskforceではAA2015のネットワークチームリーダーにアドバイザーとしてご参加いただき、AA2015での経験をもとに様々なアドバイスを頂きながら設計や構築を進めていきました。また同じくAA2015ネットワークチームに参加されていた九州産業大学様からは、AA2015開催期間中から是非JANOG36でも同様の取り組みを行いたいとの大変ありがたいお言葉を頂戴し、Taskforce結成のきっかけを作っていただきました。
冒頭ではありますがまずはアドバイザーのお二人と九州産業大学様に御礼を申し上げます。
（以下敬称略）
JANOG36本会議場
今回JANOG36が開催された北九州国際会議場は1990年にオープンし、585席のメインホールや同時通訳設備も備えた国際会議室、人数に合わせて分割可能な中小会議室などJANOG Meetingを開催するために必要十分な設備の整った会議場です。しかし会場ネットワークを提供するにあたり、いくつかの制限事項がありました。
1. 外部との接続に利用できる回線はNTT西日本のフレッツ光のみ
2. 利用者が使用できる館内LAN配線が敷設されていない
Taskforceでは、これらの制限事項を考慮しながら、ネットワーク、ストリーミングの検討を進めていきました。
ネットワーク方針と設計
インターネット回線と物理構成
前項1.の制限から、会場ネットワークのインターネット回線はフレッツ光ネクスト隼( IPv6 IPoE)を選択し、ISPはソフトバンク社のYahoo! BB 光 フレッツタイプ IPv6高速ハイブリッドを使用することとしました。
また2.の制限事項より、ネットワーク構成は以下の2つの形態が考えられました。
- フレッツを1箇所に引き込み、館内の必要な箇所向けに構内配線を敷設する
- フレッツを複数個所に引きこみ、それぞれ最寄りの箇所向けに配線を敷設する
前者は会場全体を単一ネットワークとして提供できるため、構成の単純化や監視運用のしやすさなどのメリットがあります。一方後者は配線区間が短くなり構築時間の短縮が見込めます。特に今回の会場は複数フロアの利用が想定されたため、階跨ぎの配線が不要となることは大きなメリットです。
Taskforceでそれぞれのパターン毎に想定されるフレッツ引き込み場所と予想される配線ルートを元に検討を行い、前者では複数箇所でミーティング参加者の導線と配線ルートが重なること、配線長が100mを超えそうな部分があり光ケーブルの敷設等の考慮も必要となること、またミーティング初日の限られた時間内で設営を完了させる必要があることなどから、後者の方式を採用することとしました。
[図1: JANOG36NW物理構成図]
サイジング
JANOG Meetingのようなカンファレンスネットワークのサイジングにおいては、同時接続数もさることながらNATの同時セッション処理能力が重要なポイントとなります。今回使用した古河電工/古河ネットワークソリューションのF2200は十分な性能を持っていましたが、念のため本会議場を左右に2分割し、それぞれ別のインターネット回線、別のF2200を設置することでピーク時にも余裕をもって対応できる性能を確保しました。
無線 LANアクセスポイント(AP)
APの設置位置や個数は、会場の形状など様々な要素に左右されるため非常に難しい設計上のポイントとなります。また出力レベルの調整などのチューニングも即応性という意味で人力では非常に困難なため、多めのAPを設置しチューニングはコントローラに自動調整させることとしました。また万が一電波の届きにくい場所ができてしまった場合を想定して、APの追加が行いやすい位置にPoEスイッチを設置する構成としました。
今回借用したアルバネットワークス社のAPは802.11acに対応していたため、802.11g用のSSIDを別立てすることは行わず、単一のSSIDで802.11acのみでの無線環境を提供することとしました。
ストリーミング用回線
リモート参加者にとってはストリーミング配信の映像と音声がすべてであり、これらが不調であると非常に大きなストレスとなります。したがって滞りない配信を実現するための回線品質の担保も非常に気をつかうポイントです。今回の構成ではIPoE上にPPPoEを重畳させ、ストリーミング用ネットワークを会場の参加者用ネットワークと論理的に分離しました。また本会議場では左右それぞれの系統でストリーミング用のネットワークを用意し、万が一のトラブルに備えました。
監視システム
当初より会場になるべく機器を持ち込まないことを原則としていたため、監視システム用のサーバはIDCフロンティア社のクラウド環境をご提供いただくこととしました。監視システムはクラウド上にZabbixを導入し、同じくクラウド上のVyOSとF2200との間でIPsecによるVPN監視網を構築しました。
ストリーミング方針と設計
ライブ配信後のアーカイブが容易に行えることから配信プロバイダはUstreamを採用することとしましたが、Taskforce内にストリーミングに関するノウハウを持ったメンバが少なく、ほぼ手探りの状態からのスタートとなりました。そのため一般的な設計とは逆のアプローチで、調達できる設備のスペックから配信方針を決定することとしました。
DMM.comラボ社よりCEREVO社のLiveShell.Pro/LiveWedgeを、九州産業大学よりローランド社のAVミキサーVR-50HDを借用できることとなったため、これらの機器の仕様から以下の方針としました。
- 映像は、プロジェクタ映像をメインとし、発表者、質問者をPinP（ワイプ）挿入する
- 音声は、カメラ内蔵ではなく会場のスピーカー音声をソースとする
また本会議の配信については、外部業者への委託とし、Taskforceでは国際会議室でのストリーミング配信を担当することとしました。
ホットステージ
JANOG36本番2週間前の6月29日から、機器の動作確認や構成検証を実施するホットステージを九州産業大学の教室をお借りして開催しました。ホットステージには古河電工/古河ネットワークソリューションの技術者も2名参加して機器のconfig作成や状態確認コマンドのレクチャーなどを実施していただいたおかげもあり、予定よりも短期間でホットステージを完了することができました。
また負荷試験を実施した結果、アドレス払い出し性能を向上させる為DHCPサーバをPCサーバに実装することとしました。急な設計変更となりましたが、授業やアルバイトの合間を縫って参加してくれた九州産業大学の学生メンバにLinuxのインストール、dhcpdなどの設定を行っていただきました。
ストリーミングに関してはホットステージが唯一事前に機器を操作できる期間でしたが、試行錯誤をしながら配線や機器の操作方法等の習熟を行い、手順書を作成して当日の設置、操作に備えました。
JANOG36 当日
会場内の配線を外部業者に委託したことや、あらかじめチーム分けを行い分散して作業ができたことにより、機器の設置作業は順調に進めることができました。
会場ネットワークは、いくつかのトラブルが発生しましたが、それを除けば概ね品質的な問題はなく快適に会場ネットワークをご利用いただけたのではないかと思います。ストリーミング配信についてはほぼゼロからのスタートでしたが、映像・音声とも大きな問題もなくリモート参加者へ配信を提供出来たのではないかと思います。
DHCP lease 数
開始時点からリース数が数千件となっていますが、負荷試験でのリース数が保持されていたからと思われます。また本会議場では2系統のDHCPサーバが存在するため下記グラフは実数として正しく会場内の機器へのリース数を反映できていませんが、プログラム開始前と休憩時間までの間の増加数などから推測すると、本会議場で500程度、マルチセッションでは250程度のデバイスが同時接続されたものと思われます。
NAT セッション数
午前、午後のプログラム開始直後にピークを記録しました。本会議場では左右それぞれで20,000弱、マルチセッションでは10,000弱のセッション数となりました。1デバイスあたり40セッション程度を使用している計算となります。
トラフィック
図7からは読み取れませんが、ところどころで50Mbps～120Mbps程度のスパイクが見られました。左右の系統で連動したスパイクではなかったため、JANOG36のプログラムと関連したトラフィックではないと思われます。全体としてはプログラム開始直後にトラフィックが伸びる傾向はNATセッション数と同様で、その際のピークは45Mbps程度でした。またトラフィックは（舞台に向かって）左：右=3:2程度の偏りがありました。受付に近い左側の座席により多くの参加者が着席されていたことがうかがわれます。
トラブルと対応
ISPからのIPoE申込がNTTに受領されない
IPoEはその仕組み上フレッツ回線の開通後にISPから接続事業者を経由してNTTへオーダを投入する必要があります。JANOG36初日にこのオーダ投入を実施したところ、当初「お客様ID（いわゆるCAF番号）が存在しない」というエラーで申し込みが行えませんでした。原因は、会期終了後すぐにフレッツ回線の撤去工事を実施するため、NTT側でフレッツ回線解約のオーダを先行して投入していたことでした。NTTに回線解約のキャンセルを依頼し、その後ISPからのオーダが無事受領されましたが、IPoEをイベント等に利用する際は解約オーダのタイミング等調整が必要になることがわかりました。
上流回線を跨いで移動すると、
Macクライアントでv6のDNSアドレスが書き換えられない
今回上流回線を複数引き込み、同一SSIDで無線LANを提供していました。また、F2200をproxyDNSサーバとして動作させており、DHCPv6を用いてクライアントへF2200の自リンクローカルアドレスをv6 DNSサーバアドレスとして払い出していました。この状態で、別の上流回線配下のAPに接続すると、I/F shutdownせずに接続しているネットワークが変更されるため、Macに払い出されたIPv6アドレスやDNSサーバのアドレスが保持され続けます。その結果Macでは新しいネットワークからRAを受信すると、IPv6アドレスは付きますが、DNSサーバのアドレスを更新しようとしませんでした。F2200でのproxyDNS機能を停止させることで、どのネットワークからでもDNS解決ができるよう対応しました。
ftp,sshが使用できない
今回本会議場ではアルバネットワークス社のAPを使用していましたが、左右の系統ではそれぞれ別シリーズの製品でした。この片系側のAP設定が公衆無線LAN用のプロファイルとなっていたためftpやsshなどが透過できませんでした。この設定を変更することでssh等が正常に通信できるようになりました。
これらのトラブルのいくつかは、事前のホットステージの際に確認できる内容でした。短い期間での検証作業となるため難しい部分はありますが、事前に確認しきれなかったことは反省点です。
所感
今回Taskforceという組織で会場ネットワークとストリーミングの提供を行いました。自社での担当業務や専攻以外の製品やテクノロジに触れる機会が持て、またJANOG Meetingを通して様々な刺激や交流する場をメンバに提供できたことは大変よかったと感じています。一方でTaskforceが提供できるものとメンバが期待するものが必ずしも一致していなかったケースもありました。組織組成の初期の段階で、お互い期待するものを提示しあい、合意するプロセスが欠落していた点は非常に大きな反省点です。また、今回初めて実行委員会から独立してネットワーク・ストリーミング提供を行いましたが、想像以上に実行委員会との情報のやり取りや共有が必要だと感じました。あらかじめ情報共有の方法を決めておき、担当者同士で直接やり取りができるような仕組みがあれば、もっと効率的に進められたのではないかと思います。 ともあれTaskforceの目的であったネットワーク、ストリーミングの提供という点では、上記のようにいくつかのトラブルも発生しましたが、全体を通しては概ね快適な環境を提供できたのではないかと感じています。これはTaskforce参加メンバのご努力ご尽力の賜物以外になく、あらためて感謝の意を表したいと思います。
Taskforce メンバ
| 役割 | 氏名 | 所属 |
|---|---|---|
| NWリーダー | 山本 大輔 | 新日鉄住金ソリューションズ株式会社 |
| アドバイザー | 高田 美紀 | NTTコミュニケーションズ |
| 谷崎 文義 | NTT西日本 | |
| メンバー | 高浦 史郎 | インターネットイニシアティブ |
| 興梠 友一 | NTTネオメイト | |
| 池永 全志 | 九州工業大学 | |
| 野林 大起 | 九州工業大学 | |
| 伊藤 僚平 | 九州工業大学 | |
| 久光 啓介 | 九州工業大学 | |
| 日高 健夫 | 九州工業大学 | |
| 光石 雅弥 | 九州工業大学 | |
| 弥永 浩輝 | 九州工業大学 | |
| 下川 俊彦 | 九州産業大学 | |
| 衛藤 雄平 | 九州産業大学 | |
| 金丸 侑賢 | 九州産業大学 | |
| 堤 友理 | 九州産業大学 | |
| 桧室 和馬 | 九州産業大学 | |
| 前野 洋史 | 九州産業大学 | |
| 山崎 俊彦 | 九州産業大学 | |
| 岩橋 遼平 | 九州通信ネットワーク | |
| 北原 弘隆 | 九州通信ネットワーク | |
| 久米 拓馬 | 九州通信ネットワーク | |
| 矢島 和男 | 九州通信ネットワーク | |
| 射残 大輔 | 新日鉄住金ソリューションズ | |
| 星野 業力 | 新日鉄住金ソリューションズ | |
| 芝村 正志 | スパークジャパン | |
| ホスト | 阿部 武志 | BBIX |
| 佐々木 秀幸 | BBIX | |
| 鶴巻 悟 | BBIX | |
| 大屋 誠 | IDCフロンティア |
主なご提供機材・サービス
| 種別 | 用途 | メーカ名 | 型番 | 提供 |
|---|---|---|---|---|
| ネットワーク | 無線LAN AP | アルバネットワークス | AP-225 | ネットワークバリューコンポーネンツ |
| ネットワーク | 無線LAN AP | アルバネットワークス | AP-215 | ネットワークバリューコンポーネンツ |
| ネットワーク | 無線LAN AP | アルバネットワークス | AP-205 | ネットワークバリューコンポーネンツ |
| ネットワーク | PoE Switch | アルバネットワークス | Aruba S1500 | ネットワークバリューコンポーネンツ |
| ネットワーク | PoE Switch | アルバネットワークス | Aruba 7010 | ネットワークバリューコンポーネンツ |
| ネットワーク | DHCP サーバ | エーティーワークス | EdgeBeagle ZG | スパークジャパン |
| ネットワーク | 無線LAN AP | シスコシステムズ | AIR-CAP2602I-Q-K9 | 三井情報 |
| ネットワーク | PoE Switch | シスコシステムズ | C2960C-8PC-L | 三井情報 |
| ネットワーク | PoE Switch | NETGEAR | GS105PE | 新日鉄住金ソリューションズ |
| ネットワーク | PoE Switch | NETGEAR | GS108PE | 新日鉄住金ソリューションズ |
| ネットワーク | フレッツ回線終端ルータ | 古河電工/古河ネットワークソリューション | F2200 | 古河電工/古河ネットワークソリューション |
| ネットワーク | 監視サーバ | IDCフロンティア | IDCF クラウド | IDC フロンティア |
| ネットワーク | ISP | ソフトバンク | Yahoo! BB光 IPv6高速ハイブリッド | ソフトバンク |
| ストリーミング | スイッチャー | ローランド | VR-50HD | 九州産業大学 |
| ストリーミング | エンコーダ | CEREVO | LiveShell Pro | DMM.com ラボ |
| ストリーミング | エンコーダ | CEREVO | LiveWedge | DMM.com ラボ |
| ストリーミング | HDカメラ | パナソニック | HC-W870M-W | DMM.com ラボ |
