ClickHouse 2021年1～2月新機能

Release notes からピックアップして新機能を紹介します。

リリースノート全体はこちらで見れます。
https://github.com/ClickHouse/ClickHouse/blob/master/CHANGELOG.md

v21.1.2.15-stable 2021-01-18 で追加

REPLACE TABLE / CREATE OR REPLACE TABLE

REPLACE TABLE / CREATE OR REPLACE TABLE 文で、atomicにテーブルを入れ替えられるようになりました。

今までは

CREATE TABLE myNewTable AS myOldTable;
INSERT INTO myNewTable SELECT * FROM myOldTable WHERE CounterID <12345;
DROP TABLE myOldTable;
RENAME TABLE myNewTable TO myOldTable;

でしたが、以下のように書けるようになりました。

REPLACE TABLE myOldTable SELECT * FROM myOldTable WHERE CounterID <12345;

ただし、データベースの種別がAtomicでないと使えません。

最近のバージョンで新規に作成したデータベースは、デフォルトでAtomicになりますが、以前のバージョンで作ったものは Ordinary かもしれません。
以下のSQLで確認できます。

SELECT * FROM system.databases

Ordinary から Atomic に簡単に変換する方法は用意されていないようなので、移行したい場合は新しくデータベースを作り、テーブルを移す必要がありそうです。

accurateCastOrNull関数

ClickHouseでは、性能のために、デフォルトでCASTしたときにオーバーフロー等が考慮されません。
範囲内か判定したい場合にこの新しい関数が使えます。

SELECT accurateCastOrNull(-1, 'UInt8')

┌─accurateCastOrNull(-1, 'UInt8')─┐
│                            ᴺᵁᴸᴸ │
└─────────────────────────────────┘

SELECT cast(-1, 'UInt8')

┌─cast(-1, 'UInt8')─┐
│               255 │
└───────────────────┘

toModifiedJulianDay / fromModifiedJulianDay / toModifiedJulianDayOrNull / fromModifiedJulianDayOrNull関数

ClickHouseの日付は、1970年以降の範囲しか扱えません。
この関数で文字列での日付と Modified Julian Day number を相互変換することができるので、0000～9999年の範囲で日数計算ができるようになります。

SELECT fromModifiedJulianDay(toModifiedJulianDay('1950-01-01') + 20000)

┌─fromModifiedJulianDay(plus(toModifiedJulianDay('1950-01-01'), 20000))─┐
│ 2004-10-04                                                            │
└───────────────────────────────────────────────────────────────────────┘

こちらは当社開発者からプルリクエストした関数になります。

clickhouse-client の queries-file オプション

SQLを記入したファイルを指定して実行できるようになりました。

Map型

新しくMap型が追加されました。
まだexperimental扱いなので、設定を変えないと利用できません。

動的に変わる項目を管理する場合に便利に使えると思います。

SET allow_experimental_map_type = 1

Ok.

CREATE TABLE table_map
(
    `user` Map(String, String)
)
ENGINE = MergeTree
ORDER BY tuple()

Ok.

INSERT INTO table_map
VALUES ({'name': 'mikage'}), ({'name': 'tomomi', 'email':'tomomi@example.com'});

Ok.

SELECT * FROM table_map

┌─user───────────────────────────────────────────┐
│ {'name':'mikage'}                              │
│ {'name':'tomomi','email':'tomomi@example.com'} │
└────────────────────────────────────────────────┘

SELECT
    user['name'],
    user['email']
FROM table_map

┌─arrayElement(user, 'name')─┬─arrayElement(user, 'email')─┐
│ mikage                     │                             │
│ tomomi                     │ tomomi@example.com          │
└────────────────────────────┴─────────────────────────────┘

v21.2.2.8-stable 2021-02-07 で追加

PostgreSQLとの連携

mysqlには直接接続できますが、同じようにpostgresqlにも接続できるようになりました。

使い方はMySQLと同様です。
（記事作成時点では、まだドキュメントには書かれてないようです・・・）

SELECT * ROM mysql('host:port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause']);

SELECT * FROM postgresql('host:port', 'database', 'table', 'user', 'password');