Chrome ヘッドレスでファイルダウンロード[Golang + chromedp]

やったこと

• Chrome Devtools Protocolを用いて、HeadlessChromeでファイルダウンロードをする。

実際のコード

• 例としてMoneyForwardにログインして、家計簿のcsvをダウンロードするコードを書いてみる。

package main

import (
    "context"
    "log"
    "time"
    "os"

    "github.com/chromedp/chromedp"
    "github.com/chromedp/chromedp/runner"
    "github.com/chromedp/cdproto/cdp"
    "github.com/chromedp/cdproto/page"
)

func main() {
    var err error

    // create context
    ctxt, cancel := context.WithCancel(context.Background())
    defer cancel()

    // create chrome instance with headless mode
    chrome := "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"
    c, err := chromedp.New(ctxt, chromedp.WithRunnerOptions(runner.HeadlessPathPort(chrome, 9992)))
    if err != nil {
        log.Fatal(err)
    }

    host := "https://moneyforward.com"
    user := os.Getenv("MF_USER")
    pass := os.Getenv("MF_PASS")

    // run task
    err = c.Run(ctxt, doScrape(host, user, pass))
    if err != nil {
        log.Fatal(err)
    }

    log.Println("Scrape Done.")

    // shutdown chrome
    err = c.Shutdown(ctxt)
    if err != nil {
        log.Println("down-err")
        log.Fatal(err)
    }
    log.Println("Chrome Shutdown.")
}

func doScrape(host, user, pass string) chromedp.Tasks {
    return chromedp.Tasks{
        // configure to download behavior
        chromedp.ActionFunc(func(ctxt context.Context, h cdp.Executor) error {
            err := page.SetDownloadBehavior("allow").WithDownloadPath("/tmp").Do(ctxt, h)
            if err != nil {
                return err
            }
            return nil
        }),
        chromedp.Navigate(host + "/users/sign_in"),
        chromedp.SendKeys("//input[@id='sign_in_session_service_email']", user),
        chromedp.SendKeys("//input[@id='sign_in_session_service_password']", pass),
        chromedp.Click("//input[@id='login-btn-sumit']"),
        // login
        chromedp.WaitVisible(".logo-image", chromedp.ByQuery),
        // move to cashflow page
        chromedp.Navigate(host + "/cf"),
        // download file
        chromedp.Click("//*[@id='js-dl-area']"),
        chromedp.Click("//*[@id='js-csv-dl']"),
    }
}

モチベーション

• URIを持たないファイルリソースや認証の先にあるダウンロードリンクからファイルを取得したかった。
• Golangにした理由はコマンドラインツールにしたかったため。
  • 取得したファイルを標準出力にはけば、あとはパイプでつないで編集→別ツールにインポート、みたいなワークフローを想定。

所感

• Chrome Devtools Protocolおもしろい！ブラウザで出来ることのAPIが豊富に用意されているので、Golangとの組み合わせはブラウザ操作をガシガシ自動化していくよいツールに思えた。
• chromedpとcdprotoの設計がかなり抽象レイヤを挟んでいて、読んでいて面白い反面、少々冗長に思えた。私が読み切れていないだけかもしれない。

参照リンク

• Headless Chromeでファイルをダウンロードする
  • 「chrome headless ファイルダウンロード」でtopでヒットする情報。こちらでdownloadBehaviorの存在を知ることができました。ありがとうございます。
• chromedp
  • golangでchrome devtool protocolを扱うためのフロント
• cdproto
  • chromedpから参照されるライブラリ群