TL;DR

バイオ系の常として、実験室で実験プロトコルを参照したい時があります。スマホでネットを調べるとか、居室に戻るとかしてたんですがこの時間がかなり無駄に感じていました。
そこで、Google Driveにあらかじめプロトコルをアップロードしておき、Slackを介してリンクURLを参照することで簡易にスマホでプロトコルを参照する、ということを目的としました。また、プロトコルがよく散逸していて探せないことが多かったので、Slackを使って各プロトコルを集積し、DBを使って管理することで実験効率が上がることも期待できます。

全体像

求める機能は以下の通りです。タグ付けや、SlackAPIを使ってリスト、ボタンなどを使ったりなどいろいろ機能を追加していきたいとは思っていますが、まずキリがいいかなと思いました。

Slackからプロトコル名、Google DriveへのリンクURLをDBへ登録する
Slackからプロトコル名を使ってGoogle DriveへのリンクURLを表示する
SlackからDBにあるプロトコルを削除する
SlackのコマンドでDBに登録された全データを表示する。

Fig. 1 全体のイメージ図

slack APIトークンを作成

slackbot applicationからbotを検索し、Slack APIを取得します。
PythonでSlackBot開発①「APIキーの取得と簡単な返答」で非常に詳しく述べられていました。

Slackbotのインストールと簡易的なbotの作成

pipでインストールできるので、早速インストールします。slackbot githubはこちらになります。PythonのslackbotライブラリでSlackボットを作るを参考にしました。

pip install slackbot

次に以下のようなディレクトリ構造のファイルを作ります。

slackbot         
├─ run.py         
├─ slackbot_settings.py  
└─ plugins                
   ├─ __init__.py         
   └─ respond_to.py

これらのファイル、ディレクトリの機能は以下の通りです。

|Name|種類|昨日|
|---|---|---|---|
|slackbot|dir|プロジェクトのまとめファイル。任意の名称|
|run.py|python|botの本体。このファイルを起動することでbotが起動する|
|slackbot_settings.py|python|botの設定を書き込むファイル|
|plugins|dir|機能を追加するためのディレクトリ|
|__init__.py|python|モジュールを示す空ファイル|
|respond_to.py|python|リプライで返答する機能を持たせたスクリプト|

run.py


from slackbot.bot import Bot

def main():
    bot = Bot()
    bot.run()

if __name__ == "__main__":
    main()

slackbot_settings.py

# SlackのAPIトークンを設定
API_TOKEN = "xxxx-xxxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxx"

# デフォルトリプライを設定
DEFAULT_REPLY = "対応していません"

# プラグインスクリプトを置いてあるサブディレクトリ名のリスト
PLUGINS = ['plugins']

respond_to.py

from slackbot.bot import respond_to

@respond_to('in-fusion')
def mention_func(message):
    message.reply('in-fusionのプロトコルです。\n url')

ローカルでbotを起動します。

python run.py

Herokuと連携

常時起動しておくために、Herokuと連携します。まず、Herokuに登録します。次にGithubからデプロイするために、新たにレポジトリを作ってHerokuと連携させておきます。

また、ディレクトリ構成を変更しました。

slackbot         
├─ run.py         
├─ slackbot_settings.py  
├─ Procfile   
├─ requirements.txt
├─ runtime.txt     
└─ plugins                
   ├─ __init__.py         
   └─ respond_to.py

それぞれのファイルの機能は以下の通りです。

名前	機能
Procfile	Herokuでどのプロセスを使ってどのプログラムを起動するかを指定
requirements.txt	pipでインストールするモジュールを指定
runtime.txt	Herokuで実行するPython versionを指定

Procfile

pbot: python run.py

requirements.txt

後で使いそうなものをすべて入れています。

certifi==2019.3.9
chardet==3.0.4
idna==2.8
psycopg2==2.8.2
requests==2.22.0
six==1.12.0
slackbot==0.5.3
slacker==0.13.0
SQLAlchemy==1.3.4
urllib3==1.25.3
websocket-client==0.44.0
wincertstore==0.2

runtime.txt

Python-3.7.3

Slack APIトークンについて

Githubとかに上げる以上直接Slack APIトークンをファイルにかけないので、Herokuに環境変数として登録しておきます。Reveal Config Varsをクリックします。Key = SLACKBOT_API_TOKEN, Value = xxxxで登録します。

githubにpush

githubにslackbotディレクトリ全体をpushします。

git init
git remote add origin <url>
git add .
git commit -m "test"
git push origin master

HerokuとGithubをつなぐ

HerokuのDeployにあるDeplyment MethodでGithubを選びます。下の様にConnectedになればOKです。

githubからHerokuにデプロイ

同じくHerokuのDeployにあるmanualy deployからGithubのbranchをデプロイします。

PostgresSQLと連携

Herokuでは無料でPostgresSQLが利用できるので、PostgresSQLを採用しました。
アドオンとして追加できます。
Resources > Configure Add ons > Add-onsで検索してインストールできます。PostgresSQLのいいところは、Hobby Devを選べばクレカ登録がいらないので心安らかでいられることです。下のような感じになればOKです。

次にResources > PostgresSQL >SettingsからUSER、Password、URL、DBを確認し、環境変数として登録します。環境変数としての登録は前回のSlackAPIトークンの登録と同様です。

SQLalchemyを使ってPostgresSQLと接続

DBと接続、ENGINE、BASEの定義

os.environmentで環境変数を取得して、その情報をもとにDBに接続します。ちょっとつまったのは、psycopg2というパッケージが必要ということがわからずエラー起こしていました。また、プロトコルテーブルは事前に作成しました。基本的に、SQLalchemyで基本的なSQLクエリまとめを参考にして編集しました。

#sql_settings.py

import os
from sqlalchemy import *
from sqlalchemy.orm import *
from sqlalchemy.ext.declarative import declarative_base

PSQL_USER = os.environ['PSQL_USER']
PSQL_PASSWORD = os.environ['PSQL_PASSWORD']
PSQL_HOST = os.environ['PSQL_HOST']
PSQL_DB = os.environ['PSQL_DB']
DATABASE = 'postgresql+psycopg2://{user}:{password}@{host}/{db}'\
                       .format(user=PSQL_USER, password=PSQL_PASSWORD, host=PSQL_HOST, db=PSQL_DB)

ENGINE = create_engine(DATABASE, encoding='utf-8', echo=False)


session = scoped_session(
    sessionmaker(
        autocommit = False,
        autoflush = False,
        bind = ENGINE
    )
)

Base = declarative_base()
Base.query = session.query_property()

TABLEモデルの定義

プロトコルをDBとして登録するために、プロトコルテーブルのモデルを作成します。

# sql_model.py
from sqlalchemy import Column, Integer, String
from entity import sql_settings


class Protocol(sql_settings.Base):
    __tablename__: str = 'protocol'
    id = Column('id', Integer, primary_key=True)
    name = Column('name', String)
    url = Column('url', String(200))
    description = Column('description', String(200))

SlackからDBにデータをSELECT・UPDATE・INSERT・DELETEする

respond_to.pyを編集して、プロトコルテーブルに対してSELECT、INSERT、UPDATE、DELETEをSlackから行えるようにします。
ディレクトリ構成を以下のように編集しました。

slackbot         
├─ run.py         
├─ slackbot_settings.py  
├─ Procfile   
├─ requirements.txt
├─ runtime.txt     
└─ plugins                
   ├─ __init__.py         
   └─ respond_to.py
└─ entities                
   ├─ __init__.py  
   ├─ sql_model.py             
   └─ sql_settings.py

モジュールとして作成しなければimportをSlackbotがしてくれない（？）っぽいのでentitiesというモジュールを作りました。Webアプリらしきものを作るのが初めてなのでなんかこういうときのディレクトリ構成の決まり事みたいなのがよくわかっていません...。

以下の様なコマンドをSlackから打ち込むことで、プロトコルテーブルをSlackから編集できるようにしました。Nameに対して2つプロトコルが存在してほしくないので、存在しないプロトコルにはINSERT、存在するプロトコルにはUPDATEを行うように設定しました。

# Slackでのコマンド
select name -> 該当プロトコルのURLを返す
add name url description -> nameのプロトコルをINSERT or UPDATEする
delete name -> 該当プロトコルを削除する
all -> 現在登録されているプロトコル名をすべて表示する

Slackでのリプライに対して上のような処理を実行するようにrespond_to.pyを書き換えました。
べた書きって感じがしてあれなので、もう少し上手くまとめられたら更新しようと思っています。

#respond_to.py
from slackbot.bot import respond_to
from entity import sql_model
from entity import sql_settings
import json


@respond_to('select (.*)')
def reply_protocol(message, arg):
    protocols = sql_settings.session.query(sql_model.Protocol).filter(sql_model.Protocol.name == arg).all()
    if len(protocols) == 0:
        message.reply("プロトコルがありません")
    elif len(protocols) > 1:
        message.reply('プロトコルが重複しています')
    else:
        protocol = protocols[0]
        attachments = [
            {
                'fallback': 'Fallback text',
                'author_name': protocol.name,
                'author_link': protocol.url,
                'text': protocol.url,
                'color': '#59afe1'
            }
        ]

        message.send_webapi('', json.dumps(attachments))


@respond_to("add (.*)")
def add_protocol(message, arg):
    register_info = arg.split(" ")
    protocols = sql_settings.session.query(sql_model.Protocol).filter(sql_model.Protocol.name == register_info[0]).all()
    if len(protocols) == 0:
        added_protocol = sql_model.Protocol()
        added_protocol.name = register_info[0]
        added_protocol.url = register_info[1]
        added_protocol.description = register_info[2]

        sql_settings.session.add(added_protocol)
        sql_settings.session.commit()

        message.reply(added_protocol.name+added_protocol.url+added_protocol.description)
    else:
        updated_protocol = sql_settings.session.query(sql_model.Protocol).filter(
            sql_model.Protocol.name == register_info[0]).first()
        updated_protocol.name = register_info[0]
        updated_protocol.url = register_info[1]
        updated_protocol.description = register_info[2]
        sql_settings.session.commit()

        message.reply(updated_protocol.name+updated_protocol.url+updated_protocol.description)


@respond_to("delete (.*)")
def delete_protocol(message, arg):
    sql_settings.session.query(sql_model.Protocol).filter(sql_model.Protocol.name == arg).delete()
    sql_settings.session.commit()

    message.reply("delete protocol: "+arg)


@respond_to("all")
def all_protocol(message):
    protocols = sql_settings.session.query(sql_model.Protocol.name).all()
    message_list = []
    for protocol in protocols:
        message_list.append(protocol.name)

    message.reply("\n".join(message_list))

あとがき

初めてWebアプリらしきものを作成してみましたが、結構楽しかったです。DBとかの知識ゼロだしサーバー関連の知識もなかったので非常に勉強になった、気がします。自分で使う分には使えなくもない気がしますが、公開するには粗削りすぎるなという感じです。もう少し作りこんだら研究室で公開して、実験効率が上がることを期待しています...。