SQLLineageを作ってみた（ベータ版リリース🎁）

はじめに

SQL Lineageという言葉をご存じでしょうか。

"リネージュ"か"リネージ"か日本語特有の問題が出ますが、とりあえず私は"リネージ"でいきます。
英単語のlineageは、系統とか血統という意味です。ゲームで20年以上前から、リネージュというのがありますが、同じ単語です。
スペルが難しいので私は、"LINE"と"AGE"が組み合わさって、祖先にさかのぼる系統図の線をイメージして覚えてます。

さてそのリネージですが、SQLと合わせて、SQL Lineageというものがあります。with句を使ったりした複雑なSQLで、最終的なselectで使う列って、おおもとはどこから来てるんだっけ？というのを図示するものです。

テーブル単位だけでなく、列単位で、どこから来ているのか知りたくなります。カラムレベルリネージと言われます。

そのツールはいくつか出てるのですが、使い勝手とか、機能過多とか、見た目とかでしっくりこなさすぎるので、作ってみることにしました。有償のサービスもあるけど、これそんなに難しい話じゃなくない？という安易な考えもあり。

要件・技術

• クライアント
  • 要件：ブラウザで動く
  • 技術：React
• サーバー
  • 要件：どこかのPaaSで動くREST API
  • 技術：Node.jsのexpress

開発開始時の私のスキル

• フロントエンド開発経験
  • 仕事ではなし
  • プライベートの独学のみ
  • JavaScriptは昔から触っていて好き
• サーバー開発経験
  • REST APIの設計・開発は、pythonで経験あり
• Node関係
  • Node.jsは独学
  • React、expressともに初
    • ※いつかしっかりやってみたかった思いはずっとあった

作ってみた（現時点。初期）

入れたクエリ

with t_a1 as (
  select
    id,
    col1 as col_a1
  from
    t_a
)
select
  t_a1.id,
  t_a1.col_a1,
  t_b.coll_b
from
  t_a1,
  t_b

モチベアップのために、リネージの部分を先行して実装しました！
Lineage なのか visualizer なのか viewer なのか、ブレすぎてることに今気づきました！

インフラ面

クライアントはGAE、サーバーはRenderに置いてあります。いずれも無料枠。

Renderは無料だと15分くらいでspin downしてしまい、その後起動に数分(!)かかります。一度起動すれば速いんですが、最初だけお待ちください。
F12のコンソールで、クエリが出た後に何もなくじっとしてるときは、サーバーを待ってます。

コード

３つのリポジトリを使っています。

1. クライアント

Reactのアプリです。
これをGAEに置いています。

2. APIサーバー

expressで作ってます。
これをRenderに置いています。
CORSの設定に割と躓きましたが、なんとかクリア。

3. SQLパーサー

expressで使っているnode moduleです。githubにアップして、expressではgithubから読みこむ形。npmへの公開は、汎用的でないので不要と思ってます。

この中でさらに、taozhi8833998/node-sql-parser を使ってます。私のモジュールは、この機械的なパーサーの結果を読み解いて、クライアントで使う目的に合わせて、加工したり情報を落としたりしてます。

今後アップデート内容

いまのところ、上の方が優先度高。

• コンパネ対応（緑のところ）
  • テーブル間の線の表示/非表示のチェックボックス
  • 列間の線の表示/非表示のチェックボックス
  • DBの方言対応（今はハードコーディングでBigQueryです。）
  • マウス操作で全体の移動、拡大/縮小
  • テーブルか列のクリック or マウスホバーで、その系統を強調
  • 文字サイズやスペースの調整ができる機能
  • エクスポート機能
    • PDF
    • クリップボード（Officeに貼り付けられる形だと嬉しいが、技術はまだ不明）
• SQLファイルをドロップしたら読む対応
• where句の対応（どう表現するか未定）
• エラーハンドリング
• 複数のSQLファイルを混在
• デザイン、見た目
• インフラ整備
  • Renderが休まない仕組み？ or 有償化
  • 引っ越し、k8s化
• ログイン機能
  • 過去のクエリの保存、呼び出し
• 課金機能
  • 保存
  • エクスポート機能？
• 随時、クエリのテストとデバッグ

たっぷりありますね・・・。

最終的な姿は、ログインせずとも大体使えるけど、保存とかエクスポートのプラスアルファ機能を課金に持っていけたらって思ってます！
または特定の企業向けのクローズドなシステムとして、他のシステムと結合したり。

おわりに

ボロボロだろうがなんだろうが、早く第一弾をリリースしたかったんですが、時間がかかってしまいました。ようやく簡単なクエリなら動くようになりました。
触ってみていただけたら嬉しいです！

もろもろの機能要望、アドバイス、バグ報告、応援等、なんでもコメントでいただけるとありがたいです！📣

よろしくお願いします！