Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
3
Help us understand the problem. What is going on with this article?
@n_kats_

TF2.0とかグラフとか(機械学習名古屋第19回勉強会)

More than 1 year has passed since last update.

TF2.0とかグラフとか(機械学習名古屋第19回勉強会)

by n_kats_
1 / 23

自己紹介

名前: 中西克典
所属: 有限会社 来栖川電算
twitter: @n_kats_
昔: 学生の頃は幾何学分野の多様体とかのトポロジーをやっていた(伏線)
近況: 今日話すこと


話すこと

  • グラフを扱うネットワークが面白そう
  • TF2.0やってみた感想

ここ数ヶ月やったこと

  • 研究会でグラフ系ニューラルネットの論文を読んだ
  • 12月にgraph_netsについてTFアドベントカレンダーを書いた(リンク
  • 1月末にお試し版TF2.0の記事を書いた(リンク1, リンク2
  • グラフ系ニューラルネットのライブラリを構想するも挫折

グラフ系ニューラルネット


グラフとは

  • 点と辺があって繋がっている奴、ネットワーク。
  • 辺に向きがある奴もいる。
  • もっと拡張して、点と頂点があってそれぞれ情報を持っている(ベクトルとかで)

そういうのを考える
graph_with_vecctor.png


グラフが出てくる問題

  • 分子構造
  • SNSの繋がり
  • 論文などの参照・被参照
  • 点群
  • 3Dメッシュ

グラフ系ニューラルネット

GCN(graph convolutional network、グラフ版畳み込み)

reception_field.png

CNNで3x3の範囲を畳み込みする感じで、隣り合った頂点の値に重みを掛けて足す畳み込みを使う。

CNN(画像) GCN
形状 グリッド状 自由
各グリッドにベクトル 各頂点にベクトル(嘘)

ライブラリも充実

  • graph_nets(deepmindのライブラリ)
  • pytorch_geometric(pytorch用のライブラリ)
  • chainer_chemistry(chainer用のライブラリ)

面白そうな点(グラフこそ最強)

  • 非定型
  • 画像・文書以外のテーマ
  • 点群とか3Dメッシュみたいな幾何学的な対象を扱う(自分向け)
  • ニューラルネットもプログラムもグラフ

TF2.0プレビュー版


TF2.0(TensorFlow2.0)

  • 1月、プレビュー版公開
  • 3月、alpha版公開
  • 春、リリース

特徴

  • TF1系のコードを整理
  • eagerモードがデフォルト
  • tf.kerasが他を駆逐
  • tf.functionが強い

めっちゃ変わるけど大丈夫?

TensorFlow2.0の傾向と対策 〜 TensorFlowの消失に書いたこと。以下は消滅(隠される)

  • tf.Session
  • tf.train.XXOptimizer
  • tf.placeholder
  • tf.get_XX

とかとか

基本的にTF1系のコードは修正が必要

記事には「めっちゃ変わるやん」みたいな感想が散見(twitterをエゴサ)


TF1系のライブラリ

などなど

sonnet2.0が来るらしい(Sonnet 2.0 (TF Dev Summit ‘19)


よし、TF2.0でグラフ系ライブラリを作ろう


1月中旬

  • pytorch_geometricを勉強するついでにやってみよう
  • graph_netsとかと扱うグラフの範囲が違う
  • graph_netsも抽象化が足りなくね?一般化しよう

2月

  • TF2.0変わりすぎ。ヤバイ・・・
  • TF2.0とかPyTorchとかchainerとか、機械学習ライブラリに寄らないプログラムを書くのがTF2.0時代のベストプラクティスな気がする
  • 計算グラフもグラフ

機械学習ライブラリに依存しないグラフライブラリを作って計算グラフを扱えばいいじゃない


...


..?


???


挫折しました

あれ、これって何を何するライブラリなんだ?
この抽象化要らなくね?
お仕事が〜


俺達の開発はこれからだ(ご清聴ありがとうございました)


研究会もよろしく(何しよ)

3
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
n_kats_
kurusugawa
「いいソフトウェアを楽に作る」技術を追求する企業。今は、機械学習、画像認識中心。

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
3
Help us understand the problem. What is going on with this article?