エディタでボタンポチポチっていう操作だから、手続きの積み重ねのような動作をしているように思ってしまうかもしれない。ヒトはその方が理解しやすいだろうし、クエリの定義もしやすいってことなのでしょう。だけど、Power Query の中の人 Mashup engine の動作は異なる。
Mashup engine がクエリを評価するとき、その評価結果や途中経過を保存することはない。クエリに定義された処理に必要と判断されれば一時的にキャッシュすることがあるだけだし、Power Query エディタでステップごとに参照できる状態はプレビューであって評価結果や途中経過でもない。
"テーブルは行ごとに処理される" という動作は、 ストリーミング という Power Query の基本的な/動作ふるまいのうちのひとつだ。ストリーミングを説明しやすいのでタイトルとして取り上げた。
たとえば
ストリーミングは Table.AddColumn に限ったはことではないけど、わかりやすいので。
テーブルに列の追加するとき行われる処理について
Power Query
// Query1
let
Source = Table.FromColumns(
{
List.Numbers( 1, 5 )
},
type table [Column1 = nullable Int64.Type]
),
AddedColumn2 = Table.AddColumn(
Source, "Column2",
each [Column1] + 10,
Int64.Type
),
AddedColumn3 = Table.AddColumn(
AddedColumn2, "Column3",
each [Column1] * 10,
Int64.Type
)
in
AddedColumn3
というクエリの結果は、5行3列のテーブルになる。Power Query エディタでのステップは、
- Source: 5行1列のテーブル
- AddedColumn2: 列を追加
- AddedColumn3: 列を追加
となるが、5行のテーブルに列が追加されるのではなく、行ごとで列を追加する動作を5回繰り返す。
この動作ができないとステップごとに途中経過を保存することが必要になり、メモリがどれだけあっても足りなくなるから、行ごとの処理は合理的な動作。
クエリを分割しても同じ
このクエリのステップをそれぞれ個別のクエリに分割しても動作は変わらない。
// Query2_1
let
Source = Table.FromColumns(
{
List.Numbers( 1, 5 )
},
type table [Column1 = nullable Int64.Type]
)
in
Source
// Query2_2
let
Source = Query2_1,
AddedColumn2 = Table.AddColumn(
Source, "Column2",
each [Column1] + 10,
Int64.Type
)
in
AddedColumn2
// Query2_3
let
Source = Query2_2,
AddedColumn3 = Table.AddColumn(
Source, "Column3",
each [Column1] * 10,
Int64.Type
)
in
AddedColumn3
思ったこと🙄
そもそも、Power Query エディタの追加編集したステップの順で処理されるとは限らない のである。
その他