Talk

Data Engineering at SmartNews

主な機能
- 検索書検査
  - チェックポイントを抽出して、修正例を提案してくれる
- 条文検索機能
  - 過去の文書のなかから検索できる
体制
- サービス開発と研究開発に分かれる
- 研究開発は API をサーブする
- サービス開発は App をつくる
研究開発の役割
- API と Demoの開発
- Infra(Elasticsearch など) も
契約書言語処理の特徴
- Good
  - ある程度パターンある
  - 主語が必ずある
- Bad
  - 論文ない
  - データ公開されてない
  - 文書が特殊な構造
チャットボットに近い
- 入力がテキスト、出力もテキスト
- 構造にマルチラベルをつける
- 機械学習とヒューリスティクを活用
非エンジニア向けツール
- アノテーション
- DSL
AI 開発の心得
- ML を使わなくてもよい方法をまず考える
  - 時間がかかる
- 仮説検証までやりきるのが研究開発
- Web API も責任持ってつくる
事例紹介
- やりたいこと: 条に分割したい
- 結構パターンがあってロジックがスパゲッティ化
- 処理を3分割
  - 行分割
  - 行ラベルつけ
    - 正規表現
  - まとめる
    - オートマトンを使ってロジックをシンプル化
- 機械学習を使わなくてもやりたいことは実現できる

Chainer と Keras にも RL がある
- Pytorch にもきた
README
- モデリングとトレーニングには Pytorch
- serving には caffe2
- ワークフローが含まれている: 前処理など
Abstruct
- プロダクションユースケースを念頭に置いている
Introduction
- 大規模データセットに対する処理が重要となる
Data processing
- ログデータを変換する Spark Pipeline がある
Future normalization
- 特徴量の正規化が重要
- 正規化パラメータを決定するワークフローを備えている
Trainning
- GPU サポートあり/ マルチGPUはまだ
Case study
- Facebook
  - CTR の予想に supervised learning だったが、 Discreate-Action DQN モデルにした