概要

LINE セキュリティ室で行っているデータ分析事例を2つ紹介します。
ひとつはサーバ、PC、ネットワークといったインフラに関わるシステムログを収集し、不正侵入、高負荷、情報漏洩といったインシデントをいち早く検知するシステム、プラットフォームの構成と活用事例を解説します。
もうひとつは LINE での迷惑メッセージ(Spam)対策の現状と、ユーザーからの通報データをもとに、Spamらしさを分析し、自動でブロックするAnti-Spamシステムについてを紹介します。

アジェンダ

インフラセキュリティの話
スパム対策の話
キーワードはログ解析

インフラセキュリティ Monolith

ログが色々なデバイスに保存されるため、それぞれのデバイスからログを収集する必要があった。
Kafka hadoop elastic連携してログの保存、監視。
機械学習(マシンラーニング)でログを監視し、危険度を可視化。

スパム対策

2013年からスパム対策を実施して、件数は減少傾向。2015年から横ばい。
LINEではユーザがスパムを通報する機能があり、それを分析している。

各国別の通報件数
多い順に

台湾
日本
(ほぼ同じくらい)

スパムメッセージは国によって内容が大きくことなる傾向がある。

ルールベースのフィルター

例えば、1秒間に1000人友達追加したら、みたいなルール。(実際にはこのルールは使われていないらしい)
当てはまれば、ほぼ間違いなくスパムであるものをルールで弾く。

マシンラーニングベースのフィルター

ユーザからの通報データを元に自動的に学習と検知を繰り返す。
動かし始めれば自動的にルールが更新される。
ユーザからの通報メッセージは、80%は本当のスパムだが、残りの20%は誤報である。
ユーザからの通報が多いメッセージはスパムと判定するなどを実施している。

監視者自身のフィルター(モニタリング)

最後は人が判断するものが残る。
正常なユーザを誤検知することを避けるため、少しゆるめのルールで運用を行っている。
そのためフィルターから漏れたスパムに対して、人によるモニタリングが必要。