JANOG Comment 1005 rev. 2 平尾利崇 KDDI株式会社 馬渡将隆 日本インターネットエクスチェンジ株式会社 川上雄也 インターネットマルチフィード株式会社 芦田宏之 BBIX株式会社 2018/03/16 Recommended Router Configuration in Connecting to IX - IXに接続する際に推奨されるルータの設定について - 1. 概要  インターネットエクスチェンジ(以下、IXと言う)はネットワークサービス 事業者間のトラフィック交換のための重要なインフラとして安定的に運用する 必要があるため、AS運用組織がIXに接続するにあたって、技術的な要件に対し て共通の理解や認識が必要となってきている。  本文書では、IXの安定した運用や可用性の向上を目的として、AS運用者が ルータをIXに接続する際に推奨されるべきルータの設定や考慮すべき事項に ついて、特にPeering LANと呼ばれる特定多数が接続するLANを対象に述べる。  なお本文書では特別に必要な場合を除き各接続組織がIX上でのピアに対して 広告する経路情報や交換するトラフィックに関する内容については言及しない。 2. 定義 IX: ネットワークサービス事業者間のインターネットトラフィック交換を円滑 に行うための接続点。本文書では特に、イーサネットネットワークで構成 され、特定多数が接続するブロードキャストドメインを指す。 接続組織: IXに接続し、BGP4(+)により経路情報の交換をしている組織。 AS番号を取得している。 接続ルータ: 接続組織がIXに接続する際に使用しているルータ。 AS運用者: 接続組織においてASを運用する主体。 バイラテラルピア: 接続組織である2ASの接続ルータ間で直接BGPピアを張り経路を交換する こと。 マルチラテラルピア: ひとつのBGPピア上で複数の接続組織と経路交換すること。 接続組織が運用する接続ルータとIX事業者が提供するルートサーバが BGPピアを張ることで実現される。 3. 接続構成 3-1. 接続機器 - IX ポートに直接接続する機器は、Layer 3機器(BGPルータ)であることを 基本とする。 - やむを得ずLayer 2機器を介し、Layer 3機器(BGPルータ)を接続する場合 はIX事業者に相談する。 3-2. アクセス回線 - リンクダウン転送可能な回線が望ましく、特に長距離回線を介して、 Layer 3機器(BGPルータ)を接続する場合には注意が必要となる。 - アクセス回線の仕様についてIX事業者に伝えておくとトラブルシュートが スムーズになることが多い。 4. 接続機器の設定 4-1. MACの設定 1) 発信元MACアドレス - ユニキャストアドレスとする。 - 1つのポートおよびVLANに対して一意とする。 - アドレスファミリーによって異なるMACアドレスを使用する接続構成の場合 (例 : 同一筐体だが異なるインターフェースを使用する場合、筐体ごと異 なるルータを使用する場合)は各IX事業者に相談することが望ましい。 ※複数の発信元MACアドレスがある場合にIX事業者側でのトラブルシュートが 困難になることがあるため、ポートに対して一意なMACアドレスが望ましい。 ※IX事業者によってはMACアドレスに基づくトラフィックのフィルタリングを 実施していることがあるため、MACアドレスを変更する場合は事前の通知が 必要になることがある。 2) 宛先MACアドレス  以下の例外を除き、宛先MACアドレスは原則としてユニキャストアドレスと する。 - ARP(ブロードキャストアドレス) - IPv6 Neighbor Discovery(マルチキャストアドレス) ※ブロードキャストやマルチキャスト、宛先不明アドレスのフレームはループ が発生した場合に、ブロードキャストストームやマルチキャストストームを 引き起こし、他の接続組織のトラフィック交換を阻害する危険がある。 3) イーサタイプ  イーサタイプは以下に限定する。 - 0x0806(ARP) - 0x0800(IPv4) - 0x86DD(IPv6)  Tag VLAN(0x8100, 0x88A8, 0x9100など)、LACP(0x8809)などのフレーム については各IXのサービス仕様に従う。 ※無用なトラフィックの流入は他の接続組織のトラフィック交換を阻害する危 険がある。 4-2. IPの設定 1) IPアドレス  単一の論理ポートに対してIX事業者から割り当てられた単一のIPアドレスを アドレスファミリーごとに設定する。 2) IP MTU  各IXのサービス仕様に従うが、基本は1500Byteとする。 3) IPv6リンクローカルアドレス  特に固定で設定したい場合は、各IXサービスの仕様に従う。 4-3. インターフェースの設定 1) リンクローカルトラフィックの送出停止  他の接続ルータやIXの機器に対して影響を与える可能性があるため、またIX でのトラフィック交換に対して不要なトラフィックと言う観点から、送出を停 止する必要がある。 - ベンダ固有プロトコル(例:CDP, FDP, EDP, VTP/DTP, ・・・) - IGP(例:OSPF, IS-IS, EIGRP) - IEEE 802.1D Spanning Tree Protocol BPDU - マルチキャストルーティングプロトコル(例:PIM-SM, PIM-DM, DVMRP) - BOOTP/DHCP - DECプロトコル(MOP)/NetBIOSなど - Gateway冗長化プロトコル(例:HSRP, VRRP, ESRP) - IPv6 Router Advertisement - LLDP 2) ICMP Redirects の送出停止  他の接続ルータのルーティングテーブルに影響を及ぼす可能性があるため無 効にする必要がある。 3) IXセグメントのDirected Broadcastアドレス宛パケットの転送禁止  接続ルータが、IXセグメントのDirected Broadcastアドレス宛のICMPエコー リクエストパケットなどをIXセグメントに転送することで、他の接続ルータが 一斉に、そのパケットに応答してしまい、Smurf攻撃が成立してしまうため、 無効にする必要がある。 4) Proxy ARP の無効設定  他の接続組織向けARPリクエストに応答し、BGPパケットやトラフィックを吸 い込むため無効にする必要がある。 5) Auto-Negotiation, Link Fault Signaling  設定の可否について、各IXサービスの仕様に従う。 ※リンクダウン転送を行わない専用線などでIXに接続する場合は光ファイバの 片芯断の検知のためにAuto-Negotiationの設定が必要になる。 6) LACP  設定の可否およびそのパラメータについて、各IXサービスの仕様に従う。 ※接続ルータとIX機器の間のリンク障害(リンクを構成する片方の機器のイン ターフェースだけがリンクアップしたことで引き起こされるブラックホール など)の早期検知について有効である。 7) リンクアグリゲーションにおける Minimum Link  トラフィックエンジニアリング設計を鑑みて各接続組織の運用ポリシーに 基づいて設定する。IX事業者に設定値を通知しておくとトラブル時の運用が スムーズになる。 8) リンクダウン検知の回避(carrier-delay, hold-time, link debounce time)  各IXサービスの推奨値に従うことが望ましい。 ※光スイッチにより物理的な冗長構成が提供されているIXサービスにおいて、 光スイッチの切替が発生した際に物理インターフェースでリンクダウンを 検知してしまうと、BGPセッションが瞬断してしまい、経路の再計算が行わ れる。これを防ぐためにリンクダウンの検知や上位プロトコルへの通知を 遅らせる設定を行うことで、リンクダウンの回避ができる。 4-4 BGP設定 1) ピアの設定  ピアの交渉が成立していない接続組織に対するBGPピアの設定は有効にしない。 切断されたBGPピアの設定はただちに無効にする。 ※不必要なARPリクエスト(ブロードキャスト)、IPv6 NS(Neighbor Solicitation)(マルチキャスト)によって、他の接続ルータのCPUリソース を消費する他、IX事業者がIPアドレスを他の接続組織に再度割当てをした場 合、割当てられた接続組織宛てに不正なBGPパケットを送信してしまうため。 2) 認証パスワード  認証パスワード(MD5、TCP-AO(TCP Authentication Option)など)の利用 についてはピアと相談する。 3) BFD - バイラテラルピアへのBFDについてはピアと相談する。 - マルチラテラルピアから受信した経路のネクストホップとなっているBGP ルータへのBFDは現時点では実現できない。 4) Maximum Prefix Limit  ピアのミスオペレーションによりフルルートを受信した場合にIXポートが輻 輳し、トラフィックロスが発生する事象に対する防衛策として有効であるため 設定が推奨される。 - ルートサーバを介したマルチラテラルピアでは期せずして受信経路数が 増加していくため、一定値で警告を出す設定が推奨される。 - 設定値については各接続組織の運用方針で決定する。 5) マルチラテラルピア(ルートサーバ)に関する設定  マルチラテラルピアではピアのAS番号と受信した経路のAS Pathの先頭のAS番 号が異なることで一部のルータ実装では不正な経路として受信されないため、 これを許可する設定が必要である。 4-5 ルーティング設定 1) IXセグメントのPrefixを広告しない  IXセグメントのプレフィックスを隣接ASに広告しない。可能であれば、隣接 ASからIXセグメントのプレフィックスを受信しないフィルタを設定する。 - IXセグメントに対するグローバルな到達性により、悪意のある経路詐称や TCPの脆弱性をついた攻撃が生じる可能性がある。 - 他のASからIXセグメントのプレフィックスを受信した場合にネクストホッ プがその経路を参照し、通信障害を起こす可能性がある。 - トラフィックエンジニアリングやAS内の到達性確認などを目的としてIGPに 広告する場合はAS内部に留めるよう設定する。 2) BGPピアを張っていない相手にトラフィックを送信しない - 同一IXに自ASのルータを複数接続している状態で片方のルータのみでBGPピ アを張っている場合などで生じる可能性がある。 - 片方向の通信フローによって、IXのLayer 2インフラの一部で宛先MACアド レスの学習が行われず、宛先不明フレームのフラッディングが生じて他の 接続事業者のトラフィック交換に悪影響を及ぼす可能性がある。 - Static Routeの設定などにより他の接続組織に対しトラフィックを運ばせ、 リソースを奪い取る攻撃になる。 3) Next-Hop-Selfを設定する  隣接ASからのルーティング情報をAS内でiBGPに広告する際にはNext-Hop-Self を設定することが望ましい。設計上の理由でNext-Hop-Selfを利用できない場合 はIX事業者にその旨を通知しておくことが望ましい。 - 上記1) で述べた他ASからIXセグメントのプレフィックスを広告された ときの通信障害を防止するため、また上記2)で述べた悪影響を及ぼす トラフィック交換を防止するための策として有効である。 - 自ASのルータを複数接続するときの負荷分散のためにIGPのECMPを使用 している場合など、Next-Hop-Selfを設定できない場合がある。 - Next-Hop-Selfを設定したうえで負荷分散する手段として 「iBGP Multipath」を使用することができる。 5. 謝辞 初版に際して  本文書の作成にあたっては、WIDEプロジェクト 加藤朗先生、インターネット マルチフィード株式会社 石井利教氏にご協力いただきました。IRSミーティン グの参加メンバおよび日本インターネットエクスチェンジ技術部からも貴重な ご意見をいただきました。日本のDIX-IE, オランダのAMS-IX, イギリスのLINX など世界で主要なIXでは、接続組織向け技術要件を公開しており、これらを参 考にさせていただきました。最後に、近藤邦昭氏、吉田友哉氏、仲西亮子氏、 ほかIRS事務局の方には本文書を発表する貴重な機会を提供していただきました。  この場を借りて深くお礼を申し上げます。 改版に際して  本文書の改版に際しては、土屋師子生氏、白畑真氏、石井利教氏、Peering BoFにご参加いただいた皆様に貴重なご意見をいただきました。改めてお礼申し 上げます。 6. 参考文献 1. "Allowed Traffic Types on Unicast Peering LANs". AMS-IX(on-line). available from 2. "LINX Memorandum of Understanding" Appendix 1. LINX(online). available from 3. 吉田友哉. "ISPバックボーンネットワークにおける経路制御設計 〜実践編〜". Japan Network Information Center(online). available from 7. 著者 氏 名:平尾利崇 所 属:KDDI株式会社 連絡先:to-hirao@kddi.com 氏 名:馬渡将隆 所 属:日本インターネットエクスチェンジ株式会社 連絡先:mawatari@jpix.ad.jp 氏 名:川上雄也 所 属:インターネットマルチフィード株式会社 連絡先:kawakami@mfeed.ad.jp 氏 名:芦田宏之 所 属:BBIX株式会社 連絡先:ashida@bbix.net 8. 免責  本文書に含まれる情報もしくは内容を利用することで直接・間接的に生じた 損失に関し、著者は一切責任を負わないものとします。 9. 配布条件  本文書の再配布や転載は内容に関して一切の変更を加えないと言う条件で許 可をします。 付録A: ピアリングに際して有用なデータベースの利用 A-1. IRR(Internet Routing Registry)  グローバルな経路情報、AS番号の情報が登録されているデータベースの総称。 経路やAS番号のコンタクト先を確認したり、経路制御や経路フィルタリングを 設定する際の参照元としても利用できる。日本の代表的なIRRとしては、JPNIC が運用しているJPIRRがある。 https://www.nic.ad.jp/ja/irr/index.html A-2. PeeringDB  ASを運用する組織、IX、データセンタの情報が登録されているデータベース。 IXへの接続や、IXに接続する前後においてピアリング接続先を検討する際の情 報を参照する為に有用である。 https://www.peeringdb.com/ 以上