1. beelineでhiveserver2に接続

# コンテナにdocker-xecで/bin/bashで入ってから、beelineと入力

$ docker exec -it dockercompose_hiveserver2_1 /bin/bash
root@6a715b5d374e:/# beeline

# hiveserver2に接続
beeline> !connect jdbc:hive2://localhost:10000 hive hive org.apache.hive.jdbc.HiveDriver

2. tableを作成する

以下のddlをクリップボードに貼り付けて、beelineで発行しました。

Points.

テーブル、カラムに付与するコメントがOracleやMySQLとはことなって、create table構文中で記載できます。
テーブルに、コメント以外にMap形式でpropertyを付与することが可能です。
location句で、ファイルパスを指定することが可能です。

create table if not exists erdrepo.ms_tables (
  column_attribute string comment 'attributes of column',
  column_score float comment 'evaluation of column'
)
comment 'dummy table'
location '/user/hive/warehouse/erdrepo.db/ms_tables'
tblproperties ('author'='letusfly85', 'create_comment'='start erdrepo')
;

実行の出力結果は以下のとおりです。

0: jdbc:hive2://localhost:10000> show databases;
+----------------+--+
| database_name  |
+----------------+--+
| default        |
| erdrepo        |
+----------------+--+
2 rows selected (0.167 seconds)
0: jdbc:hive2://localhost:10000> use erdrepo;
No rows affected (0.072 seconds)
0: jdbc:hive2://localhost:10000> create table if not exists erdrepo.ms_tables (
0: jdbc:hive2://localhost:10000>   column_attribute string comment 'attributes of column',
0: jdbc:hive2://localhost:10000>   column_score float comment 'evaluation of column'
0: jdbc:hive2://localhost:10000> )
0: jdbc:hive2://localhost:10000> comment 'dummy table'
0: jdbc:hive2://localhost:10000> location '/user/hive/warehouse/erdrepo.db/ms_tables'
0: jdbc:hive2://localhost:10000> tblproperties ('author'='letusfly85', 'create_comment'='start erdrepo')
0: jdbc:hive2://localhost:10000> ;
No rows affected (0.322 seconds)
0: jdbc:hive2://localhost:10000> show tables;
+------------+--+
|  tab_name  |
+------------+--+
| ms_tables  |
+------------+--+

3. meta情報を出力する

MySQLやOracleと同感覚でdescirbeコマンドを発行してみます。

0: jdbc:hive2://localhost:10000> describe ms_tables;
+-------------------+------------+-----------------------+--+
|     col_name      | data_type  |        comment        |
+-------------------+------------+-----------------------+--+
| column_attribute  | string     | attributes of column  |
| column_score      | float      | evaluation of column  |
+-------------------+------------+-----------------------+--+

ここまでは想定どおりですが、やっぱりもっと詳細な情報がみたいです。
少なくともDDLで記載した内容は見たいです。

ということで、確認しました。
詳細に情報を見たい場合は、extendedを利用します。
が、整形されずに出てしまうので、formattedオプションを使用することが
マニュアルでは推奨されています。

出力すると以下のようになりました。

0: jdbc:hive2://localhost:10000> describe formatted ms_tables;
+-------------------------------+-------------------------------------------------------------+-----------------------+--+
|           col_name            |                          data_type                          |        comment        |
+-------------------------------+-------------------------------------------------------------+-----------------------+--+
| # col_name                    | data_type                                                   | comment               |
|                               | NULL                                                        | NULL                  |
| column_attribute              | string                                                      | attributes of column  |
| column_score                  | float                                                       | evaluation of column  |
|                               | NULL                                                        | NULL                  |
| # Detailed Table Information  | NULL                                                        | NULL                  |
| Database:                     | erdrepo                                                     | NULL                  |
| Owner:                        | hive                                                        | NULL                  |
| CreateTime:                   | Fri Nov 06 02:16:37 UTC 2015                                | NULL                  |
| LastAccessTime:               | UNKNOWN                                                     | NULL                  |
| Protect Mode:                 | None                                                        | NULL                  |
| Retention:                    | 0                                                           | NULL                  |
| Location:                     | file:/user/hive/warehouse/erdrepo.db/ms_tables              | NULL                  |
| Table Type:                   | MANAGED_TABLE                                               | NULL                  |
| Table Parameters:             | NULL                                                        | NULL                  |
|                               | author                                                      | letusfly85            |
|                               | comment                                                     | dummy table           |
|                               | create_comment                                              | start erdrepo         |
|                               | transient_lastDdlTime                                       | 1446776197            |
|                               | NULL                                                        | NULL                  |
| # Storage Information         | NULL                                                        | NULL                  |
| SerDe Library:                | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          | NULL                  |
| InputFormat:                  | org.apache.hadoop.mapred.TextInputFormat                    | NULL                  |
| OutputFormat:                 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat  | NULL                  |
| Compressed:                   | No                                                          | NULL                  |
| Num Buckets:                  | -1                                                          | NULL                  |
| Bucket Columns:               | []                                                          | NULL                  |
| Sort Columns:                 | []                                                          | NULL                  |
| Storage Desc Params:          | NULL                                                        | NULL                  |
|                               | serialization.format                                        | 1                     |
+-------------------------------+-------------------------------------------------------------+-----------------------+--+
30 rows selected (0.126 seconds)

BucketカラムやSortカラムみたいな属性もあるんですね。。

Compressed属性もあるということは、圧縮みたいなことも可能なのでしょうか。ここも今後要チェックです。

4. metastoreの情報を直接見てみる

MySQLのinformation_schema, Oracleのdictionaryに類するパブリックビューを参照する感覚で、hiveのmetastore管理のMySQLのdatabaseを見てみました。

4-1. metastoreのdatabaseにログインする

oot@6a715b5d374e:/# mysql -uhive -phive
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 9
Server version: 5.5.46-0ubuntu0.14.04.2 (Ubuntu)

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| metastore          |
+--------------------+
2 rows in set (0.00 sec)

mysql> use metastore;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+---------------------------+
| Tables_in_metastore       |
+---------------------------+
| BUCKETING_COLS            |
| CDS                       |
| COLUMNS_V2                |
| COMPACTION_QUEUE          |
| COMPLETED_TXN_COMPONENTS  |
| DATABASE_PARAMS           |
| DBS                       |
| DB_PRIVS                  |
| DELEGATION_TOKENS         |
| FUNCS                     |
| FUNC_RU                   |
| GLOBAL_PRIVS              |
| HIVE_LOCKS                |
| IDXS                      |
| INDEX_PARAMS              |
| MASTER_KEYS               |
| NEXT_COMPACTION_QUEUE_ID  |
| NEXT_LOCK_ID              |
| NEXT_TXN_ID               |
| NUCLEUS_TABLES            |
| PARTITIONS                |
| PARTITION_EVENTS          |
| PARTITION_KEYS            |
| PARTITION_KEY_VALS        |
| PARTITION_PARAMS          |
| PART_COL_PRIVS            |
| PART_COL_STATS            |
| PART_PRIVS                |
| ROLES                     |
| ROLE_MAP                  |
| SDS                       |
| SD_PARAMS                 |
| SEQUENCE_TABLE            |
| SERDES                    |
| SERDE_PARAMS              |
| SKEWED_COL_NAMES          |
| SKEWED_COL_VALUE_LOC_MAP  |
| SKEWED_STRING_LIST        |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES             |
| SORT_COLS                 |
| TABLE_PARAMS              |
| TAB_COL_STATS             |
| TBLS                      |
| TBL_COL_PRIVS             |
| TBL_PRIVS                 |
| TXNS                      |
| TXN_COMPONENTS            |
| TYPES                     |
| TYPE_FIELDS               |
| VERSION                   |
+---------------------------+
51 rows in set (0.00 sec)

わらわらとテーブルを持っていますね。。お目当てなのは、TBLSとTBL_COL_STATSかな、と当たりをつけてみてみます。

4-2. TBLSテーブルの参照

TBL_ID、、、、table_idのが自分としてはしっくり来ますが、なるほど！と言った感じです。

mysql> describe TBLS;
+--------------------+--------------+------+-----+---------+-------+
| Field              | Type         | Null | Key | Default | Extra |
+--------------------+--------------+------+-----+---------+-------+
| TBL_ID             | bigint(20)   | NO   | PRI | NULL    |       |
| CREATE_TIME        | int(11)      | NO   |     | NULL    |       |
| DB_ID              | bigint(20)   | YES  | MUL | NULL    |       |
| LAST_ACCESS_TIME   | int(11)      | NO   |     | NULL    |       |
| OWNER              | varchar(767) | YES  |     | NULL    |       |
| RETENTION          | int(11)      | NO   |     | NULL    |       |
| SD_ID              | bigint(20)   | YES  | MUL | NULL    |       |
| TBL_NAME           | varchar(128) | YES  | MUL | NULL    |       |
| TBL_TYPE           | varchar(128) | YES  |     | NULL    |       |
| VIEW_EXPANDED_TEXT | mediumtext   | YES  |     | NULL    |       |
| VIEW_ORIGINAL_TEXT | mediumtext   | YES  |     | NULL    |       |
| LINK_TARGET_ID     | bigint(20)   | YES  | MUL | NULL    |       |
+--------------------+--------------+------+-----+---------+-------+
12 rows in set (0.00 sec)

mysql> select * from TBLS  where TBL_NAME='ms_tables'\G
*************************** 1. row ***************************
            TBL_ID: 6
       CREATE_TIME: 1446776197
             DB_ID: 7
  LAST_ACCESS_TIME: 0
             OWNER: hive
         RETENTION: 0
             SD_ID: 6
          TBL_NAME: ms_tables
          TBL_TYPE: MANAGED_TABLE
VIEW_EXPANDED_TEXT: NULL
VIEW_ORIGINAL_TEXT: NULL
    LINK_TARGET_ID: NULL
1 row in set (0.00 sec)

さらに、カラム情報も見てみます。

mysql> describe TAB_COL_STATS
    -> ;
+------------------------+---------------+------+-----+---------+-------+
| Field                  | Type          | Null | Key | Default | Extra |
+------------------------+---------------+------+-----+---------+-------+
| CS_ID                  | bigint(20)    | NO   | PRI | NULL    |       |
| DB_NAME                | varchar(128)  | NO   |     | NULL    |       |
| TABLE_NAME             | varchar(128)  | NO   |     | NULL    |       |
| COLUMN_NAME            | varchar(128)  | NO   |     | NULL    |       |
| COLUMN_TYPE            | varchar(128)  | NO   |     | NULL    |       |
| TBL_ID                 | bigint(20)    | NO   | MUL | NULL    |       |
| LONG_LOW_VALUE         | bigint(20)    | YES  |     | NULL    |       |
| LONG_HIGH_VALUE        | bigint(20)    | YES  |     | NULL    |       |
| DOUBLE_HIGH_VALUE      | double(53,4)  | YES  |     | NULL    |       |
| DOUBLE_LOW_VALUE       | double(53,4)  | YES  |     | NULL    |       |
| BIG_DECIMAL_LOW_VALUE  | varchar(4000) | YES  |     | NULL    |       |
| BIG_DECIMAL_HIGH_VALUE | varchar(4000) | YES  |     | NULL    |       |
| NUM_NULLS              | bigint(20)    | NO   |     | NULL    |       |
| NUM_DISTINCTS          | bigint(20)    | YES  |     | NULL    |       |
| AVG_COL_LEN            | double(53,4)  | YES  |     | NULL    |       |
| MAX_COL_LEN            | bigint(20)    | YES  |     | NULL    |       |
| NUM_TRUES              | bigint(20)    | YES  |     | NULL    |       |
| NUM_FALSES             | bigint(20)    | YES  |     | NULL    |       |
| LAST_ANALYZED          | bigint(20)    | NO   |     | NULL    |       |
+------------------------+---------------+------+-----+---------+-------+
19 rows in set (0.00 sec)

TBL_NAMEを指定して、見てみます。

mysql> select * from TAB_COL_STATS where TABLE_NAME='ms_tables'\G
Empty set (0.00 sec)

な、何もヒットしません。。
カラム名が、TBL_NAMEではなく、TABLE_NAMEなのもちょっと不自然ですが、これに入ってないのも不自然。。

その後いくつか眺めてみて、以下にたどり着きました。

mysql> select * From COLUMNS_V2 where CD_ID=6;
+-------+----------------------+------------------+-----------+-------------+
| CD_ID | COMMENT              | COLUMN_NAME      | TYPE_NAME | INTEGER_IDX |
+-------+----------------------+------------------+-----------+-------------+
|     6 | attributes of column | column_attribute | string    |           0 |
|     6 | evaluation of column | column_score     | float     |           1 |
+-------+----------------------+------------------+-----------+-------------+
2 rows in set (0.00 sec)

COLUMNS_V2というテーブル名はどうなんだろ。。。と思いつつも、メタ情報管理のテーブルには辿りつけました。

ココらへんのテーブル整理は、利用するhiveのバージョン次第で変わるとも思いますし、運用にも関わるので、どこかで深掘りする時間も必要かな、と思いました。

今日はここまでとします。

次回はindexを見ていこうと思います。

5. おまけ

物理属性と論理属性のどちらもが、key, value形式で格納されているテーブル。
テーブルとしてどうなの、というところはおいておいて入っている情報は有用そう。

mysql> describe TABLE_PARAMS;
+-------------+---------------+------+-----+---------+-------+
| Field       | Type          | Null | Key | Default | Extra |
+-------------+---------------+------+-----+---------+-------+
| TBL_ID      | bigint(20)    | NO   | PRI | NULL    |       |
| PARAM_KEY   | varchar(256)  | NO   | PRI | NULL    |       |
| PARAM_VALUE | varchar(4000) | YES  |     | NULL    |       |
+-------------+---------------+------+-----+---------+-------+
3 rows in set (0.00 sec)

mysql> select * from TABLE_PARAMS;
+--------+-----------------------+---------------+
| TBL_ID | PARAM_KEY             | PARAM_VALUE   |
+--------+-----------------------+---------------+
|      1 | COLUMN_STATS_ACCURATE | true          |
|      1 | numFiles              | 2             |
|      1 | numRows               | 1             |
|      1 | rawDataSize           | 1             |
|      1 | totalSize             | 2             |
|      1 | transient_lastDdlTime | 1446483398    |
|      2 | COLUMN_STATS_ACCURATE | true          |
|      2 | numFiles              | 1             |
|      2 | numRows               | 1             |
|      2 | rawDataSize           | 1             |
|      2 | totalSize             | 2             |
|      2 | transient_lastDdlTime | 1446483367    |
|      6 | author                | letusfly85    |
|      6 | comment               | dummy table   |
|      6 | create_comment        | start erdrepo |
|      6 | transient_lastDdlTime | 1446776197    |
+--------+-----------------------+---------------+
16 rows in set (0.00 sec)