PyCon2017に参加したときに調べたこと

とりあえず調べたWebページだけ共有します。後から資料をつけたりコメントつけたりしていきます。

Day1

野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築 | PyCon JP 2017 in TOKYO

スクレイピング

Scrapyを利用。デフォルトの設定で利用するとサイトへの攻撃になりかねないのでそこは変える。

• Scrapy | A Fast and Powerful Scraping and Web Crawling Framework

• scrapy/scrapy: Scrapy, a fast high-level web crawling & scraping framework for Python.

• Scrapy入門（１） - Qiita

• Scrapy入門（２） - Qiita

• Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ

タスク実行

Airflowを利用。まともに使うのは結構辛い。Dockerイメージ配布中なのでそちらオススメ。

• Airflow - Google 検索

• Apache Airflow (incubating) Documentation — Airflow Documentation

• Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita

• Airflowによるデータパイプラインのスケジュールとモニタリング - Speee DEVELOPER BLOG

• apache/incubator-airflow: Apache Airflow (Incubating)

• Airflow | Airbnb Engineering

可視化

Jupyter Notebook & Redashで可視化。RDBMS(SQL)ならRedashで、それ以外の実験的なものはJupyter。

Jupyter

• Project Jupyter | Home

• Jupyter事始め - Qiita

• データサイエンティストに向けたコーディング環境Jupyter Notebookの勧め - Qiita

• Project Jupyter

• jupyter/notebook: Jupyter Interactive Notebook

Redash

• Make Your Company Data Driven | Redash

• getredash/redash: Make Your Company Data Driven. Connect to any data source, easily visualize and share your data.

• re:dashは何が良くて、何が足りないのか - Qiita

• redashを導入してみた - そんな今日この頃の技術ネタ

• Re:dash ダッシュボードツールを使って、運営しているあらゆるサービスの数値を1ページで見る

HoloViews

• HoloViews — HoloViews

Using machine learning to try and predict taxi availability | PyCon JP 2017 in TOKYO

シンガポールのAPIから得たデータから、地理情報を元に混雑状況を予測した話。

小さなデータセットで単純なモデル(Linear Regression)から初めて、複雑なモデル(多項モデル→ランダムフォレスト)と進めていたのが面白かったです。着実に進めていた印象でした。

発表資料

• hari-allamraju (Hari Allamraju)

スライド

• pycon-talk-taxidata/PyCon Talk 2017 - Tokyo.pdf at master · hari-allamraju/pycon-talk-taxidata

Jupyter Notebook

• pycon-talk-taxidata/1. Data sources, capture and simple visualization.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/2. Lets look at one day's data.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/3. Machine learning taxi data.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/4. Let's see come concrete examples.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/5. More complex polynomial regressions.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/6. Random Forests.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/7. Comparison with real time data.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/8. Using a larger grid.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/9. Interactive map.ipynb at master · hari-allamraju/pycon-talk-taxidata

• pycon-talk-taxidata/10. Testing different starting points.ipynb at master · hari-allamraju/pycon-talk-taxidata

after VOEZ launch: how to resolve problems of mobile game server development and service maintenance | PyCon JP 2017 in TOKYO

• VOEZ｜Nintendo Switchソフト｜任天堂

Why you should do text analysis with Python (even if you don't want to) | PyCon JP 2017 in TOKYO

Pythonで自然言語処理を行う話。Researcher

spaCy

• spaCy - Industrial-strength Natural Language Processing in Python

• Install spaCy | spaCy Usage Documentation

• Models | spaCy Usage Documentation

• explosion/spaCy: 💫 Industrial-strength Natural Language Processing (NLP) with Python and Cython

gensim

トピックモデルとかWord embedding(word2vec, doc2vec)とか

• gensim: Topic modelling for humans

• RaRe-Technologies/gensim: Topic Modelling for Humans

• Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm

• gensim入門 - Qiita

• gensim 2.3.0 : Python Package Index

• Doc2Vecの仕組みとgensimを使った文書類似度算出チュートリアル - DeepAge

• LSIやLDAを手軽に試せるGensimを使った自然言語処理入門 - SELECT * FROM life;

Machine Learning

Scikit learn

• scikit-learn: machine learning in Python — scikit-learn 0.19.0 documentation

• scikit-learn/scikit-learn: scikit-learn: machine learning in Python

• scikit-learn から学ぶ機械学習の手法の概要 - Qiita

TensorFlow

• TensorFlow

• tensorflow/tensorflow: Computation using data flow graphs for scalable machine learning

• tensorflow

• Googleが提供する機械学習ライブラリ TensorFlow を1時間で試してみた | freshtrax | デザイン会社 btrax ブログ

Building a Customized Personal Assistant with Python | PyCon JP 2017 in TOKYO

Image processing with mobile device

• fogleman/primitive: Reproducing images with geometric primitives.

Translate

• soimort/translate-shell: Command-line translator using Google Translate, Bing Translator, Yandex.Translate, etc.

CUI

• 24.3. shlex — 単純な字句解析 — Python 3.6.1 ドキュメント

Bot

• gunthercox/ChatterBot: ChatterBot is a machine learning, conversational dialog engine for creating chat bots

• ChatterBot 0.7.6 : Python Package Index

Greetings

• スラマッパギとは (スラマッパギとは) [単語記事] - ニコニコ大百科

RSS Parser

• feedparser 5.2.1 : Python Package Index

• kurtmckee/feedparser: Parse feeds in Python

• Python3でfeedparserを使う – BTY備忘録

• 【データサイエンスの基礎】pythonでRSSからデータ収集 - Qiita

Facebook Messenger

• conbus/fbmq: Facebook Messenger Platform Python Library (Facebook Chatbot Library)

• 今話題のFacebook Messenger Botをpythonで実装してみた話 - Qiita

• Creating Your Messenger Bot with Python – Bot Tutorials

Pythonによる文章自動生成入門！Python ✖︎ 自然言語処理 ✖︎ ディープラーニング | PyCon JP 2017 in TOKYO

見てなかったけれど面白そうなので、後でチェックする。

資料

• Pycon jp2017 20170908_doc_ota

Pycon jp2017 20170908_doc_ota from 博三 太田

プレゼンテーション：Pythonと機械学習によるWebセキュリティの自動化 | PyCon JP 2017 in TOKYO

脆弱性検査を行う際の攻撃用パラメーターの自動生成に関する取り組み。NLPをうまく取り入れて、攻撃用パラメーターを(Javascript, HTMLのサブセットとなる)独自言語として定義していたのが成功の秘訣だと思う。

資料

• セキュリティnews | MBSD

• Pythonと機械学習によるWebセキュリティの自動化

Pythonと機械学習によるWebセキュリティの自動化 from Isao Takaesu

Day2

Keynote

• Pandasコアコミッターが語る 今日から誰でも始められるOSS活動のススメ #pyconjp 2017 2日目 Keynote - Togetterまとめ

Pythonで実現する4コマ漫画の分析・評論 2017 | PyCon JP 2017 in TOKYO

• Pythonで実現する4コマ漫画の分析・評論 2017 - slideship.com

著者自己紹介

s治さん

• esuji5/yonkoma2data: 4コマ漫画をコマ毎に切り出すすごいやつだよ

• スラスラわかるPython 電子書籍 ｜ 翔泳社の本

前回のあらすじ

Pythonで実現する4コマ漫画の分析・評論 from esu ji

• Pythonで実現する4コマ漫画の分析・評論

OpenCV : Floodfill(塗りつぶし)

• Welcome to OpenCV-Python Tutorials’s documentation! — OpenCV-Python Tutorials 1 documentation

• Python版OpenCV入門

• OpenCV-Python Tutorials — OpenCV 3.0.0-dev documentation

• その他の画像変換 — opencv 2.2 documentation

• Miscellaneous Image Transformations — OpenCV 2.4.13.3 documentation

• OpenCV 備忘録: OpenCVのFloodfillを試してみた。

Open CV : 顔認識

HOGに基づくやつかな。

• dlibでマンガの顔認識をやってみた - TadaoYamaokaの日記

• dlibで機械学習して物体検出する - Qiita

• 20160417dlibによる顔器官検出

Keras Cifar10

画像分類、顔画像から登場人物の判定に利用していた。画像の枚数が不均一すぎる & 枚数が少なめ(最大でも200枚弱/class)かなあ。

• keras/cifar10_cnn.py at master · fchollet/keras

• keras-examples/cifar10.py at master · aidiary/keras-examples

• KerasでCIFAR-10の一般物体認識 - 人工知能に関する断創録

• Kerasを用いたCIFAR-10チュートリアル - Qiita

The theory of Serverless development by Python (理論から学ぶPythonによるサーバレス開発) | PyCon JP 2017 in TOKYO

資料

• 理論から学ぶPythonによるサーバレス開発 - slideship.com

ServerlessとIoT

相性がいいらしい。

• AWS再入門 AWS IoT編 ｜ Developers.IO

• Serverless Architecture Talks にて IoT + Serverless で登壇しました #gunosybeer ｜ Developers.IO

• Trek10 | Serverless Architectures: IoT

設計指針 : Twelve-Factor App

• The Twelve-Factor App （日本語訳）

• 12 Factor App - モダンなサービス運営に必要な12のインフラ的要素 - Qiita

• The Twelve-Factor App の解説 - ワザノバ | wazanova

ログ

• kflogs 0.1.0 : Python Package Index

• marcy-terui/kflogs: Amazon Kinesis Firehose logging handler and utilities

監視

• RSSフィードの監視

• RSS - Webサイトの変更を監視して通知したい。(33224)｜teratail

• AWS障害状況をZabbixで監視 - ike-daiの日記

• NagiosでAWS障害情報(AWS Service Health Dashboard)を監視する - YOMON8.NET

Python におけるドメイン駆動設計(戦術面)の勘どころ | PyCon JP 2017 in TOKYO

サンプルコード

• ledmonster/ddd-python-inject: DDD, CQRS and Hexagonal Architecture example using inject package

戦略的側面 VS 戦術的側面

• 戦略的側面 : プロダクト全体を俯瞰するための考え方
  • 用いる用語の整理 : ユビキタス言語
  • 問題領域の整理 : コアドメイン、サブドメイン、汎用ドメイン
  • 実装するシステムの整理 : 境界づけられたコンテキスト
  • システム間の関係の整理 : コンテキストマップ
• 戦術的側面 : 個々の実装のための考え方
  • アーキテクチャ : MVC, MVVC
  • ドメインモデル : エンティティ、値オブジェクト、サービス、リポジトリ、ファクトリ、集約、ドメインイベント、などなど
  • アプリケーション : コンテキスト全体の調整役

DDD

• ドメイン駆動設計 - Wikipedia

• ドメイン駆動設計 基本を理解する

DDDの書籍

• エリック・エヴァンスのドメイン駆動設計 | Eric Evans, 和智右桂, 牧野祐子, 今関剛 | 工学 | Kindleストア | Amazon

• 実践ドメイン駆動設計（髙木正弘 ヴァーン・ヴァーノン） ｜ 翔泳社の本

Hexagonal architecture

• ヘキサゴナルアーキテクチャ(Hexagonal architecture翻訳)

• Clean Architectureで分からなかったところを整理する - Qiita

• ヘキサゴナルアーキテクチャとレイヤードアーキテクチャの違いとマイクロサービス - falsandtruのメモ帳

• ヘキサゴナルアーキテクチャを探る

CQRS

• DDDで設計するならCQRSの利用を検討すべき - Qiita

• CQRSとイベントソーシングの使用法、または「CRUDに何か問題でも？」 | プログラミング | POSTD

• Cutting Edge - 一般的なアプリケーション向けの CQRS

• データ解析のシステムからCQRSについて学ぼう｜サイバーエージェント 公式エンジニアブログ

DI

Injection必須

• Python で DDD するなら Inject がオススメ - Qiita

• Inject 3.1.1 : Python Package Index

• ivankorobkov/python-inject: Python gependency injection

ORマッパー

• redis-pyの使い方 辞書とか - Qiita

• redis 2.10.6 : Python Package Index

• andymccurdy/redis-py: Redis Python Client

機械学習におけるデータの再現性について | PyCon JP 2017 in TOKYO

データサイエンスにおいて、実験の再現性を高めるための一要素である、データ取得の再現性を高めようという試み。
データをクラウド上においておき(Redshiftとか)、そこからの取得がPythonコードで簡単にできればマシになるんじゃないかという考え方をしている。

資料

• 機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility // Speaker Deck

Github

• ayemos/akagi: Codenize your datasources.

自己紹介

• クックパッドの研究開発部を、一流に押し上げたい | クックパッド株式会社

• 社員インタビューマラソン vol.3 〜 染谷 悠一郎（研究開発部） 〜 - Cookpad Staff blog

• 機械学習の取り組みを次々と実装！ クックパッドの“即戦力”新卒エンジニアが活躍できる背景とは - エンジニアHub｜若手Webエンジニアのキャリアを考える！

• iOS向け「クックパッド」アプリに料理写真を自動で記録してくれる「料理きろく」機能が追加 | Linkman

Boto

• boto/boto3: AWS SDK for Python

• PythonでAWS操作（主にboto3利用） | mwSoft

• boto3 (AWS SDK for Python) メモ - Qiita

• boto3が出たので少しだけいじってみた – AWS SDK for Python | OpenGroove

• AWS SDK For Python (Boto3)がリリースされました！ ｜ Developers.IO

他の手法

大規模データのバージョン管理ができればOK

Git LFS

• Git Large File Storage | Git Large File Storage (LFS) replaces large files such as audio samples, videos, datasets, and graphics with text pointers inside Git, while storing the file contents on a remote server like GitHub.com or GitHub Enterprise.

• git-lfs/git-lfs: Git extension for versioning large files

• 大容量ファイルもGitで管理。 Git LFSの使い方

• Git LFSの導入方法 - Qiita

Data Version Control

• Data Version Control - Make your data science projects reproducible and shareable.

• dataversioncontrol/dvc: Make your data science projects reproducible and shareable. https://dataversioncontrol.com

ディープニューラルネット確率的プログラミングライブラリEdward | PyCon JP 2017 in TOKYO

発表資料

• Pycon2017

自己紹介

• BakFoo

• Yuta Kashino(@yutakashino)さん | Twitter

• PyConJP2016: 週末サイエンティストのススメ

Edward

• Edward – Home

• blei-lab/edward: A library for probabilistic modeling, inference, and criticism. Deep generative models, variational inference. Runs on TensorFlow.

• 確率的プログラミングライブラリEdward

• 【Edward】MCMCの数学的基礎からStochastic Gradient Langevin Dynamicsの実装まで - Gunosyデータ分析ブログ

変分近似, MCMC, 機械学習

• 変分近似（Variational Approximation）の基本（１） - 作って遊ぶ機械学習。

• 変分近似（Variational Approximation）の基本（２） - 作って遊ぶ機械学習。

• 変分近似（Variational Approximation）の基本（３） - 作って遊ぶ機械学習。

• MCMCと変分近似 - 作って遊ぶ機械学習。

• ベイズ推論による機械学習の基本 - 作って遊ぶ機械学習。

• ベイズ混合モデルにおける近似推論① ～変分近似～ - 作って遊ぶ機械学習。

• ベイズ混合モデルにおける近似推論② ～ギブスサンプリング～ - 作って遊ぶ機械学習。

• ベイズ混合モデルにおける近似推論③ ～崩壊型ギブスサンプリング～ - 作って遊ぶ機械学習。

• lossfunctions

Metropolis Hastings

• メトロポリス・ヘイスティングス法 - Wikipedia

• vol3_ch10.pdf

• Metropolis-Hastingsアルゴリズム - Qiita

• MetropolisHastingsSampling.pdf

• Metropolis-Hastings algorithm - YouTube

MCMCあたりの学習方法

Statistical Rethinking

• Statistical Rethinking – Richard McElreath

• rmcelreath/rethinking: Statistical Rethinking course and book package

• Statistical Rethinking - Lecture 01 - YouTube

トピックモデルによる統計的潜在意味解析

• 自然言語処理シリーズ トピックモデルによる統計的潜在意味解析｜コロナ社

• "トピックモデルによる統計的潜在意味解析"を読んでLDA(Latent Dirichlet Allocation)を実装しました - EchizenBlog-Zwei

• 「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」

David Mackay Lecture 14 of the cambridge course

• Lecture 14: Approximating Probability Distributions (IV): Variational Methods - YouTube

• David MacKay: Information Theory, Inference, and Learning Algorithms: Home

ADVI BBVI

• （DL hacks輪読）Bayesian Neural Network

Edwardで使っている例。

• Questions about Edward and Stan · Issue #406 · blei-lab/edward

その他ライブラリ

Autograd

• autograd/tutorial.md at master · HIPS/autograd

• Autogradという野郎が乗り込んできたのでガクブルな件 - Qiita

PyMC3

• pymc-devs/pymc3: Probabilistic Programming in Python: Bayesian Modeling and Probabilistic Machine Learning with Theano

• PyMC3で簡単なMCMCチュートリアルを試したメモ - Qiita

• Getting started with PyMC3 — PyMC3 3.1 documentation

• PyMC3でMCMC入門(1) - old school magic

Pythonにおけるデバッグ手法 | PyCon JP 2017 in TOKYO

• PythonデバッグTips - Qiita

printデバッグ

略

pdb

• 27.3. pdb — Python デバッガ — Python 3.6.1 ドキュメント

• 【Python】いつまでprintデバッグで消耗してるの？ - らっちゃいブログ

• Python で標準添付の Debuggerのpdb を利用してデバッグするメモ | 技術的生存報告記

• Pythonでpdbを使ったデバッグ - Qiita

Tips

pdbはimportするのと同じ行でpdb.set_trace()

import pdb; pdb.set_trace()

ipdb

• ipdb 0.10.3 : Python Package Index

• IPythonのデバッガー(ipdb)の使い方 - Qiita

• gotcha/ipdb: Integration of IPython pdb

• Python debugツール ipdbの紹介 - のんびりしているエンジニアの日記

bpdb

• bpdb — bpython 0.15 documentation

• bpython/bpdb at master · bpython/bpython

• python - Is it possible to use bpython as a full debugger? - Stack Overflow

pudb

• pudb 2017.1.4 : Python Package Index

• pudbを利用したPythonスクリプトのデバッグ - TIMEZONE PST Hatena Branch

• Pythonメモ : フルスクリーンコンソールデバッガPuDBでデバッグ - もた日記

• Python の CUI デバッガ PudB が便利すぎた件 | CUBE SUGAR STORAGE

• CUIベースなのに無駄にビジュアルなPython用デバッガ - pudb | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記

PyCharm

• 最強のPython開発環境 PyCharmのすゝめ - Qiita

• python_intro/IDE-PyCharm-debug.md at master · naltoma/python_intro

• PyCharm(2)ブレークポイント設定後デバックツールウィンドウを出す

• PyCharm入門

noseでのテストと、テスト時のデバッグ

• noseで気軽にテストを書く(+geventの場合) - Qiita

• Note to Users — nose 1.3.7 documentation

• nose-devs/nose: nose is nicer testing for python

• Python nose でユニットテストを書いてみた / 桃缶食べたい。

Jupyter Notebook

• JupyterまたはiPython Notebookでデバッグをする方法 - Qiita

• How to make jupyter notebook present code while in debug? · Issue #9642 · ipython/ipython

Open Space

型アノテーション

Python v3.6.2以降で使える型アノテーションの話。ベンリに使おう変数アノテーション - typing.pyとの楽しいお付き合い | PyCon JP 2017 in TOKYOの続き。

資料

• 便利に使おう変数アノテーション -typing.py との楽しいお付き合い- // Speaker Deck