はじめに
この記事は MicroAd Advent Calendar 2020 22日目の記事です。
業務でApache Sqoopを使って複合主キーのテーブルを転送する際に工夫したことを記事にします。
状況設定
やりたかったことは以下の通りです。
- レコード数が多いMySQLのテーブルをCDHに転送する
- レコード数が多いため、レコードを分割して並列に転送しないとメモリエラーで落ちてしまう
- MySQLのテーブルは複合主キー
MySQLの主キーが一つだったら非常に話は簡単です。 --split-byオプションに主キーを設定し、並列したい数を --num-mappersオプションに設定すれば均等に分割されて転送されます。
一方で複合主キーだった場合には --split-byオプションに複数カラムを設定することができないため、工夫が必要となります。複合主キーとは別のカラムを設定することもできますが、均等に分割されないことが予想されます。うまく転送できないかもしれません。
なお使用しているSqoopのバージョンは1.4.6です。
参考: Sqoop User Guide (v1.4.6)
解決方法
複合主キーを結合後にmd5で変換し、桁数を減らして10進数に戻したものを--split-byオプションに設定しました。
具体的には複合主キーをkey1、key2として以下のように変換された値を使用します。
CAST(CONV(LEFT(MD5(CONCAT(key1, key2)), 7), 16, 10) AS UNSIGNED)
これだけだと分かりにくいので、内側から順に確認します。
第一工程
CONCAT(key1, key2)
複合主キーを結合した文字列を作成します。
第二工程
MD5(CONCAT(key1, key2))
結合した文字列をmd5でハッシュ化します。
ハッシュ値は概ねランダムで与えられます（少なくとも検証した範囲ではほぼランダムでした）。
第三工程
LEFT(MD5(CONCAT(key1, key2)), 7)
ハッシュ値の上から7桁を取得します。
md5で変換された32桁の16進数をそのまま10進数に戻してMySQLで扱った場合、桁数が大きすぎてうまく扱えません。
第四工程
CONV(LEFT(MD5(CONCAT(key1, key2)), 7), 16, 10)
16進数を10進数に変換します。
第五工程
CAST(CONV(LEFT(MD5(CONCAT(key1, key2)), 7), 16, 10) AS UNSIGNED)
UNSIGNEDのINT型にCASTします。
最後に
この方法だと主キーがどの型か、いくつあるか等を気にする必要がありません。パフォーマンスも良好で、レコードが数千万件に上るMySQLのテーブルも上手く分割され、並列に転送されるようになりました。
他にも上手く転送する方法がありましたら、教えていただけると幸いです。