Togglの記録をServerless + Pixelaで草化

• 作業時間などの時間管理ツールとしてTogglがある
  • いつ，どの作業をしたかを記録
  • 各作業をプロジェクトやタグで分類可能
  • Toggl Reportsで可視化も提供されており，特定の作業をどれくらい継続しているか，どのくらい時間をかけているかを見れる
  • でもとりあえず草化したい！
• ToggleはAPIを提供しているので比較的用意にデータ抽出可能
  • 画像認識とかいらない！

作ったもの

• 1日1回，前日に特定プロジェクトにかけた時間をTogglから抽出し，Pixelaに記録

結果

• 自分の勉強時間を草化できた🌱🌱🌱

環境

• MacOS Mojave
• Go 1.11.1
• Serverless Framework 1.32.0

つまづきメモ

• しょぼい内容だが備忘録として

Lambdaにて時間を扱う場合の注意

• CloudWatch Eventsをcron式で時間指定する場合，UTCで指定すること
  • e.g. JSTで毎日午前1時に実行したい→UTCで午後4時(-9時間)を指定する cron( 0 16 * * ? * )
• Lambda関数で日時を取得する場合(e.g. Goでのtime.Now())，標準ではUTCで取得する
• 日本時間を使いたい場合はLambda関数の環境変数でタイムゾーンを指定すること
  • e.g. 変数TZ, 値Asia/Tokyo

Toggl APIの使い方

• TogglのAPIを利用したい場合，リクエストにAPIトークンを含める
  • APIトークンはProfileから取得可能: https://support.toggl.com/my-profile/
• 今回は特定期間の記録を全取得し，特定プロジェクトの記録のみ加算していき合計時間を取得
• 特定期間の記録を取得するAPIは以下
  • GET https://www.toggl.com/api/v8/time_entries?start_date=XXX&end_date=XXX
  • 日時はISO 8601形式
• 今回はGoのwrapperであるdougEfresh/gtogglを利用
  • READMEの記載内容だとうまく行かず

import "github.com/dougEfresh/gtoggl"
import "github.com/dougEfresh/gtoggl-api/gtproject"

func main() {
  // HTTP client作成
  thc, err := gthttp.NewClient("your-api-token")
  ...
  // Togglの記録(time entry)取得用クライアント作成
  tec := gttimeentry.NewClient(thc)
  // 特定期間の記録を取得
    entries, eerr := tec.GetRange(start_date, end_date)
}

開発詳細

• 作ったものはGitHub - jagijagijag1/toggl2pixelaで公開

Serverless framework + Goで開始

• $GOHOME/src配下で作業

$ serverless create -t aws-go-dep -p <project-name>

• 東京リージョンにデプロイしたいのでserverless.ymlにregionを追記

serverless.yml

provider:
  name: aws
  runtime: go1.x
  region: ap-northeast-1

• 以下でひとまずデプロイテスト可能

$ cd <project-name>
$ make
$ sls deploy

新規関数を作成

• 関数を新規作成
  • 自動生成された関数は不要なので削除
  • toggl2pixelaフォルダを作成し，main.goを作成
  • Makefileのbuild:に以下を追記

Makefile

    env GOOS=linux go build -ldflags="-s -w" -o bin/toggl2pixela toggl2pixela/main.go

serverless.ymlの修正

• serverless.ymlの主な修正・追記点は以下
  • 新規作成した関数定義の追記 （+自動生成された関数定義の削除)
  • events下にschecule: ***を書くことで定期実行を定義 (下記では毎日午前1時に実行，上述の通りcron式の時間はUTC指定なので注意)
  • Lambda関数でJSTで日時取得したいので，環境変数TZ, 値Asia/Tokyoを指定
  • Lambda関数の環境変数(environment)にTogglのAPIキー/対象プロジェクトID，Pixelaのユーザ/トークン/グラフ情報を与える

serverless.yml

service: toggl2pixela

frameworkVersion: ">=1.28.0 <2.0.0"

provider:
  name: aws
  runtime: go1.x
  region: ap-northeast-1

package:
 exclude:
   - ./**
 include:
   - ./bin/**

functions:
  toggl2pixela:
    handler: bin/toggl2pixela
    events:
      - schedule: cron(0 16 * * ? *)
    # you need to fill the followings with your own
    environment:
      TZ: Asia/Tokyo
      TOGGL_API_TOKEN: <your-api-token>
      TOGGL_PROJECT_ID: <target-project-id> 
      PIXELA_USER: <user-id>
      PIXELA_TOKEN: <your-token>
      PIXELA_GRAPH: <your-graph-id-1>
    timeout: 10

関数本体を作成

• 素直に実装しただけなので，特記事項なし…
  • データ元のToggl，データ投入先のPixelaの情報は環境変数(TOGGL_API_TOKEN, TOGGL_PROJECT_ID, PIXELA_USER, PIXELA_TOKEN, PIXELA_GRAPH)から取得
  • GoでのToggl操作にはdougEfresh/gtogglを利用
  • 利用方法は上述
  • GoでのPixela操作にはgainings/pixela-go-clientを利用

toggl2pixela/main.go

package main

import (
    "context"
    "errors"
    "fmt"
    "os"
    "strconv"
    "time"

    "github.com/aws/aws-lambda-go/lambda"
    "github.com/dougEfresh/gtoggl-api/gthttp"
    "github.com/dougEfresh/gtoggl-api/gttimentry"
    pixela "github.com/gainings/pixela-go-client"
)

// Handler is our lambda handler invoked by the `lambda.Start` function call
func Handler(ctx context.Context) error {
    // extract env var
    apiToken := os.Getenv("TOGGL_API_TOKEN")
    pjID, _ := strconv.ParseUint(os.Getenv("TOGGL_PROJECT_ID"), 10, 64)
    user := os.Getenv("PIXELA_USER")
    token := os.Getenv("PIXELA_TOKEN")
    graph := os.Getenv("PIXELA_GRAPH")

    // extract data from toggl
    date, quantity := getDateAndTimeFromToggl(apiToken, pjID)
    if date == "-1" || quantity == "-1" {
        return errors.New("Error in accessing toggl")
    }
    fmt.Printf("date: %s, quantity: %s\n", date, quantity)

    // record pixel
    perr := recordPixel(user, token, graph, date, quantity)
    if perr != nil {
        return errors.New("Error in accessing pixela")
    }

    return nil
}

func getDateAndTimeFromToggl(apiToken string, pjID uint64) (string, string) {
    // create toggl client
    thc, err := gthttp.NewClient(apiToken)
    if err != nil {
        fmt.Println(err)
        return "-1", "-1"
    }

    // set time range to be analyzed
    y := time.Now().AddDate(0, 0, -1)
    s := time.Date(y.Year(), y.Month(), y.Day(), 0, 0, 0, 0, time.Local)
    e := time.Date(y.Year(), y.Month(), y.Day(), 23, 59, 59, 0, time.Local)
    date := y.Format("20060102")

    // get time entries
    total := int64(0)
    tec := gttimeentry.NewClient(thc)
    entries, eerr := tec.GetRange(s, e)
    if eerr != nil {
        fmt.Println(eerr)
        return "-1", "-1"
    }

    // sum durations with project pjID
    for _, e := range entries {
        if e.Pid == pjID {
            total += e.Duration
        }
    }
    totalMin := float64(total) / 60
    quantity := strconv.FormatFloat(totalMin, 'f', 4, 64)

    return date, quantity
}

func recordPixel(user, token, graph, date, quantity string) error {
    c := pixela.NewClient(user, token)

    // try to record
    err := c.RegisterPixel(graph, date, quantity)
    if err == nil {
        fmt.Println("recorded")
        return err
    }

    // if fail, try to update
    err = c.UpdatePixelQuantity(graph, date, quantity)
    if err == nil {
        fmt.Println("updated")
    }

    return err
}

func main() {
    lambda.Start(Handler)
}