LoginSignup
1
0

More than 1 year has passed since last update.

@Hi_Noguchi(Hiroyuki Noguchi)in株式会社きみより

PlanetScale + trocco + Looker Studio で GitHub issues の可視性を向上させる。前編

Last updated at Posted at 2023-04-20

前書き

対象読者

  • GitHub issues / projects でタスク／プロジェクト管理をおこなっている
  • GitHub 上の UI だけでは十分に issues / projects のヴィジュアライズが満足できない
  • 以下の後編記事からやって来た人

自己紹介

  • 株式会社きみよりで代表をしています 野口啓之 / Hiroyuki Noguchi / Hi-Noguchi です
  • プロジェクト管理に GitHub issues / projects を使うのが好きです

what ?

PlanetScale

  • MySQL 互換のサーバーレスなクラウドデータベース
  • フリーでかなり使えるのがありがたい

trocco

  • 日本のサービス！
  • データのパイプラインツール
  • 要は、あっちのサービス内にあるデータを、こっちのサービスへ移動させるために用いられる

Looker Studio

  • 旧称 Google データポータル
  • いわゆる BI ツール
  • データソースを元にグラフ化したり集計したりすることができる

準備

PlanetScale

アカウント作成

  • Get Started からフォームに入力して作成

image.png

  • その後、メール認証を経て完了

データベース作成

  • 分かりづらいですが、下の方に create という文字リンクがあるので、そこからデータベースを作成

image.png

  • DB 名とリージョンを選択して進めます

image.png

  • しばらく初期設定中に……

image.png

  • Initializing の表示が消えたら準備完了。いったんここまで

trocco

アカウント作成

  • 無料ではじめる ボタンより進んでアカウント発行

image.png

  • ただ、その場ですぐに使えるようにならないというのがネック……

image.png

  • 私の場合、上記が表示されてから 10 分程度で発行されました。よかった
  • パスワードを設定して初回ログイン完了

転送元と転送先の設定

  • メニューから 転送設定 を選び、まずは 転送先 を選びます

image.png

  • たくさんの候補がある中から GitHub GraphQL API を選択

image.png

  • 続いて転送先として MySQL を選択

image.png

転送元 GitHub の詳細設定

  • この転送設定の名前を入力

image.png

  • GitHub 接続情報はまず右にある 接続情報を追加 から Personal access token を登録
    • GitHub の Personal access token は以下より発行できます

image.png

image.png

image.png

  • 追加した後で 接続情報を読み込む を押すと、プルダウンで追加したものが選べるようになります

image.png

  • デフォルトでは以下のようなクエリが書かれていて、そのままでも動いてくれるのですが……

image.png

  • 以下のドキュメントページに、他の例も表記されています。いずれにせよ organization と repository の値を書き換える必要はあります

  • 今回は以下ドキュメントより Repository配下の全Issues取得（ページネーション利用） クエリを拾ってきます

  • 次からの 取り込み対象のパス(JSON Path形式) についても、上記から拾ってきた値を入れて進めましょう
  • ドキュメントでページネーション機能を使うとされているので、そこもドキュメントに記載のパスをそれぞれ拾ってきて埋めます

image.png

  • ここで厄介なのが、接続を確認 ボタンを押した時の挙動です。以下のようなエラーが表示される場合がありますが、これは実際にページネーションを必要としない程度しか issues の件数が無い場合に表示されます

image.png

  • このとき、ページネーションを 無効 にすれば正常になります。ページネーションを有効にするのは、件数が増えた後にするのが無難でしょう

image.png

  • また、もしここでページネーションを 無効 にしても何らかのエラーが出る場合、GitHub 側の Personal access tokens で許可しているスコープの範囲が狭い可能性がありますので、そこを見直すとよいでしょう

転送先 MySQL の詳細設定

  • 続けて MySQL について、同じく右側にある 接続情報を追加 ボタンより

image.png

  • さて PlanetScale への接続方法ですが PlanetScale 側の管理画面に移動し、画面右側にある connect を押してモーダルを表示させます

image.png

  • するとモーダル内で初回に username password が表示されるので、特にパスワードについては手元に控えておきます
    • パスワードは以後非表示になります。失念すると、リセットすることでしか対応できませんので要注意
  • あとは Connetct with で MySQL CLI を選ぶと、その下に接続用のコマンドが表示されるので、そこから Fivetran へ登録するために必要な情報を取ってきます

image.png

  • また trocco の画面に戻ってきたら PlanetScale への接続情報を入力して進めます

image.png

  • SSL は 有効 ですが鍵情報などは空欄のままで大丈夫です

image.png

*接続情報を読み込む を押した後、プルダウンで選べるようになっていればヨシです

image.png

  • データベースが読み込めていれば接続できたということですね。テーブルは、存在しなければ勝手に作成してくれるということで github_issues などとしておきます。転送モードは任意で。ここでは UPSERT にしました

image.png

  • 念のため右下の 接続を確認 ボタンでチェック。問題なし

image.png

データプレビュー

  • 次へ進むと以下のようにプレビューが用意されようとするのでしばらく待つと……

image.png

  • 以下のように表示されます
    • ここで失敗する場合、何らかのエラーメッセージが表示されるので、そのメッセージに従って前の画面に戻って対応されるとよいでしょう
    • 実際、私もエラーに遭遇したことがあるのですが Embulk のエラーメッセージが表示されていたので trocco は内部で Embulk 使ってるんだなーと知りました。実際に公式紹介記事もありました

image.png

カラム定義

  • 転送の際に json カラムを個々のカラムへと展開することも設定できるようです

image.png

GitHub GraphQL クエリの作り込み

  • せっかくここまでできるなら、GitHub GraphQL API でもう少ししっかり取得する値を選定しておきたいですね。では、どのような値を取ってこられるのでしょうか。以下で一覧が確認できます

  • さらにこれを、エクスプローラーで叩きながら探り当てるということもできます

  • このあたりを参考にしつつ GraphQL のクエリを以下のように組んでみます。最初に取り込んだ後で現実的に日々回すのは last: 20 程度で十分でしょう
query($__trocco__githubEndCursor__:String){
  repository(owner: "org name", name: "repo name") {
    issues(last: 20, after:$__trocco__githubEndCursor__) {
      edges {
        node {
          number
          title
          author {
            login
          }
          assignees(first: 10) {
            nodes {
              login
            }
          }
          labels(orderBy: { direction:ASC, field: NAME }, first: 10) {
            nodes {
              name
            }
          }
          milestone {
            title
            dueOn
          }
          projectsV2(first:10) {
            edges {
              node {
                title
              }
            }
          }
          repository {
            owner {
              login
            }
            name
          }
          state
          url
          createdAt
          updatedAt
          closedAt
        }
      }
      pageInfo {
        endCursor
        hasNextPage
      }
    }
  }
}

ふたたびのデータプレビュー

  • 以下のような感じで、設定したものが取得できるようになりました

image.png

ふたたびのカラム定義

  • ということで転送先の MySQL に格納されて欲しいカラム定義をしていきます。以下のように

image.png

  • 日付フォーマットの要注意点として、デフォルトでは %Y-%m-%d %H:%M:%S が選択できるようになっているのですが、GitHub から渡されるのが %Y-%m-%dT%H:%M:%SZ であるため、このようにします。タイムゾーンも Asia/Tokyo にするとよいでしょう

  • 以下のように最後まで設定を終えたら 変更をプレビュー ボタンを押します

image.png

  • すると先ほどは json 形式で読みづらかったプレビューのところが、おこなったカラム定義に基づいた表形式として表示されてくれます
    • label のところが空なのは、何もラベルを貼っていないため……

image.png

  • 基本的にはこれだけで大丈夫ですが、他にも細かい転送設定ができます。たとえば転送日時を格納させるとか。設定する場合は以下のように

image.png

  • あとは確認画面を経て保存して完了となります

image.png

trocco 側で実行テスト

  • それではこれがうまく動作するかテストしてみましょう

image.png

  • 実行ログがリアルタイムに表示されるので、それをしばらく見守っていると、完了

image.png

PlanetScale 側で確認

  • 本当にカラムが作成されてレコードが転送されたかどうか PlanetScale 側で確認してみます
  • console からまずは show tables; でテーブルを見てみると、確かにテーブルが作成されているようです

image.png

  • select * from github_issues; で中身を確認してみると、確かにレコードが格納されていますね。最後に追加した転送日時 transferred_at もカラムとして存在しています
    • 時刻がズレてるのは PlanetScale 側の設定ですね……

image.png

  • ということで、GitHub issues のデータが trocco を介して PlanetScale MySQL テーブルに入ってきました！　あとはこれを Looker Studio で読むようにします！

Looker Studio

  • ……が、こちらは以下の後編記事に回します！

後書き

雑感

  • 本当は前後編に分けるつもりはなかったのですが、 trocco / Fivetran で苦戦して準備編に時間がかかりすぎましたので、分けます

後編へ

  • いかきじへ続く……！

おまけ

前置き

  • はじめは trocco でなく Fivetran で試そうとしてみたのですが、撃沈しました
  • 撃沈した記録を、後世のために書き残しておきます

Fivetran とは

  • データのパイプラインツール
  • 要は、あっちのサービス内にあるデータを、こっちのサービスへ移動させるために用いられる

Fivetran

アカウント作成

  • Start free というボタンからおこないます
  • Google アカウントを用いるか、フォームに従って入力を進めてアカウント作成

image.png

GitHub を利用

  • はじめにデータソースを選ぶことになるので GitHub を選んで進めます
  • GitHub との連携方法には OAuth を選んでおくのが無難でしょう
  • GitHub 側の認証画面では Fivetran からのアクセスを受け付ける organization を選んで Grant
  • 認証に成功すると以下のような画面になります

image.png

  • 同期するリポジトリの範囲や Webhook の利用、デプロイ先のロケーションとクラウドベンダーをどれにするかなどはお好みで
    • ここでのロケーション／クラウドベンダーは、自前の環境とは関係なく、クラウドサービスとしての Fivetran がどこにデプロイされるかを選ぶだけのもよう
    • なので、連携させたいサービスのロケーションに近いところを選ぶとよいでしょう
    • 普段は AWS 使っているけれどここでは GCP を選ぶ……みたいなことをしても、特に問題はない

image.png

  • 先へ進むとしばし待ちになり……

image.png

  • こんな感じで全部通過したらさらに先へ

image.png

PlanetScale へ接続

  • データの転送先として MySQL を選びます

image.png

  • 赤字で注意書きが出ていますね……

image.png

  • DeepL さんによると、以下とのこと。それはそうですね、はい

MySQLデータベースは、中程度のデータ量でも基本的なクエリを実行できないことがあり、データウェアハウスとして適切ではありません。弊社では、MySQLをテスト環境としてサポートしています。これらの制限に遭遇した場合、サポートされているデータウェアハウスに移行する必要があります。

  • さて PlanetScale への接続方法ですが PlanetScale 側の管理画面に移動し、画面右側にある connect を押してモーダルを表示させます

image.png

  • するとモーダル内で初回に username password が表示されるので、特にパスワードについては手元に控えておきます
    • パスワードは以後非表示になります。失念すると、リセットすることでしか対応できませんので要注意
  • あとは Connetct with で MySQL CLI を選ぶと、その下に接続用のコマンドが表示されるので、そこから Fivetran へ登録するために必要な情報を取ってきます

image.png

  • また Fivetran の画面に戻ってきたら PlanetScale への接続情報を入力して進めます

image.png

  • ……怒られました。PlanetScale の innodb_buffer_pool_size デフォルト値が小さいからダメとのこと

image.png

  • PlanetScale 側で確認してみると、確かにその値

image.png

  • 変更を試みるも……そもそも割り当ての総容量が低い free プランなのでダメだった……

image.png

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
0