概要
ISPで収集されるflowデータにはインターネットの動向や、異常を見つけ出す上で有益な情報が多く含まれています。
しかし収集データは膨大であり、昨今発展が目覚ましい機械学習や統計といった複雑な処理をリアルタイムにflowに当てはめて活用するのは難しいという課題がありました。
課題
– DDoS攻撃などに対し即座に反応するにはリアルタイムにflowを捌きたい
– 分析手法によって見れる観点や異常が異なるので、さらに複数の分析手法を同時に適用したい
そこで、NTTコミュニケーションズではKafkaやSparkといったOSSの分散技術を組み合わせ、中規模ISPから収集される一日に1000万を超えるflowに対してリアルタイムに複数の深層異常検知モデルを当てはめることが可能なパイプラインを開発しています。
当日はパイプラインの構成や実際に処理している様子も含めて紹介します。
発表者
シュバハム サハ(NTTコミュニケーションズ株式会社)
アカシュ ナンド(NTTコミュニケーションズ株式会社)
浅野 秀平(NTTコミュニケーションズ株式会社)
アビヒーク ダッタバニック(NTTコミュニケーションズ株式会社)
大屋 優(NTTコミュニケーションズ株式会社)