Hive 複数要素を展開して、複数行にする(LATERAL VIEW/split/explode) #hive

内容

1.したいこと
2.クエリと解説
2_1.split()の挙動
2_2.explode()の挙動

ユーザごとに購入したアイテムが入っているテーブル(テーブル名はdataとする)は、
item_listの1カラムにitemがたくさん入っている構造だが、これを
以下のtemカラムのように1行1アイテムの構造にしたい。

SELECT
        usr,
        item
FROM
        data
LATERAL VIEW
        explode( split( item_list, ',' ) ) item_list2 as item

上記のように
item_listカラムを、
①split()で1アイテムずつに分割する。
②explode()で1カラムにする。
③LATERAL VIEW でビューにして、元のdataテーブルの横につけている。
という順番で作成できるが、以下で①、②、③の挙動を見る。

--item_listを、カンマが出てきたら分割
SELECT
        split(item_list, ',') as item
FROM
        data

カンマが出てきたときに分割されていることが確認できました。
ここでの重要なポイントは、配列になっているということです。
2_2.で行う、explode()を使用するためには、配列にしておく必要があります。

SELECT
        explode(split(item_list, ',')) as item
FROM
        data

itemごとに1行になっていることが確認できました。

以下のように、2_1,2_2で解説したものを、
LATERAL VIEWでVIEWにしてitemというカラムを作成し、
元のdataテーブルの横につけている。

SELECT
        usr,
        item
FROM
        data
LATERAL VIEW
        explode( split( item_list, ',' ) ) item_list2 as item

完成。