概要
Databricks で JSON 形式のデータをソースとして取り込む際、浮動小数点型（float）のフィールドが整数型（long）として推論されるケースを確認しました。
Databricks が JSON フィールドのデータ型を推論する際、値が 123 のような整数であれば long、123.12 のように小数部を含む場合は double として認識します。
{"id": 1, "temperature": 36.5}
root
|-- id: long (nullable = true)
|-- temperature: double (nullable = true)
しかし、システムによっては 123.0 のような値から末尾の 0 が自動的に取り除かれ、結果として 123 として送信される場合があります。下記の JavaScript 例でも同様の動作を確認できます。
const payload = {
"id": 2,
"temperature": 123.0
};
console.log(JSON.stringify(payload, null, 2));
{
"id": 2,
"temperature": 123
}
たとえば初回に 36 という値だけが到着し bigint 型でスキーマが固定された状態で、後から 36.1 が届くと取り込みに失敗し、該当レコードは _rescued_data 列へ格納されてしまいます。
この問題への対応策は主に次の 2 通りです。可能であればソース側で小数点以下を明示する方法が推奨されます。
- ソース側で小数点以下を記述する方法
- 文字列として読み取った後にデータ型を変換する方法
- 文字列として保持してビューでデータ型を変更する方法
対応方法
1. ソース側で小数点以下を記述する方法
小数部が 0 の場合でも .0 を明示して送信します。
{
"id": 2,
"temperature": 123.0
}
2. 文字列として読み取り、データ型の変更を行う方法
primitivesAsString オプションを true に設定して文字列として読み込み、あとから CAST で型変換します。
出所：JSON Files - Spark 4.0.0 Documentation
出所：from_json 関数 - Azure Databricks - Databricks SQL | Microsoft Learn
LDP（旧 DLT）で CAST を行う場合は、SchemaHints に変換対象のカラムを指定する必要があります。指定しないと「カラムが存在しない」というエラーとなります。
schema = """
temperature STRING,
id STRING,
_corrupt_record STRING
"""
3. 文字列として保持してビューでデータ型を変更する方法
%sql
CREATE VIEW IF NOT EXISTS workspace.json_schema_01.v_from_json_test_01
AS
SELECT
*,
named_struct(
'temperature', CAST(value_by_from_json.id AS INT),
'humidity' , CAST(value_by_from_json.temperature AS DOUBLE)
) AS casted_value_by_from_json
FROM workspace.json_schema_01.from_json_test_01;
その他の検討事項
Schema（SchemaHints）の指定だけではスキーマ拡張時に不適切
Schema や SchemaHints だけを指定していると、スキーマ拡張を許容した場合にデータ型がソースデータに応じて推論されてしまい、意図しない型になる恐れがあります。
schema = """
id bigint,
temperature double,
_corrupt_record STRING
"""
型の拡張（Type widening）では long から double への自動変換は不可
ドキュメントには次のように記載されています。
タイプ変更が byte、short、int、または long から decimal または double のいずれでもない。
出所：型の拡張 | Databricks Documentation
Streaming テーブルでは手動での型の拡張（Type widening）は不可
ALTER STREAMING TABLE 文ではデータ型の変更をサポートしていないため、Streaming テーブルに対する手動での型の拡張（Type widening）は実施不可能です。
%sql
ALTER STREAMING TABLE workspace.json_schema_01.from_json_test_01
ALTER COLUMN value_by_from_json.id
TYPE float;
[UNSUPPORTED_ALTER_COLUMN_PARAMETER] Specifying TYPE with ALTER STREAMING TABLE is not supported. SQLSTATE: 0A000
