LoginSignup
3
2
株式会社船井総研デジタルAdvent Calendar 2023Day 11funaisoken
@kozue-sh(Shigemori Kozue)in株式会社船井総合研究所

Microsoft Fabric使ってみる(Pipeline編)

Posted at

前回はLakehouseの使いかたについて勉強しました。

今回はパイプラインでデータを取り込む演習です。
まずは前回と同じようにワークスペースを作成し、続いてレイクハウスを作成します。
前回使ったワークスペースを使いまわしても問題ありません。
ワークスペースとレイクハウスの作成方法は前回の記事をご参照ください。
image.png

パイプラインを作成する

  1. パイプラインを作成していきます。
    image.png

  2. 新しいデータパイプラインを選択して名前をつけて保存します。
    image.png

  3. データのコピー ウィザードの [データ ソースの選択] ページの [データ ソース] セクションで、[汎用プロトコル] タブを選択し、今回は[HTTP] を選択します。すべてのカテゴリを選択すると、データ接続先は30個以上あることがわかります。
    image.png

  4. 次の画面で新しい接続先の情報を入力します。
    image.png
    image.png
    image.png

  5. データのプレビューを押すと取り込み対象のデータを確認することができます。
    image.png

  6. データ型は一律「String」形式となっています。
    image.png

  7. 保存先のレイクハウスを確認します。
    image.png

  8. 次のデータ接続先で送信先オプションを設定(今回はファイル指定)し次の画面に行きます。
    image.png

  9. ファイル形式を確認します。
    image.png

  10. コピーの概要ページで詳細確認し、 [保存 + 実行] を選択します。
    image.png
    そうするとデータのコピー アクティビティを含む新しいパイプラインが作成されます。
    パイプラインの実行が開始されると、パイプライン デザイナーの下の [出力] ペインでその状態を監視できます。↻(更新)アイコンを使用してステータスを更新し、成功するまで待ちます。
    image.png

ノートブックを作成する

  1. レイクハウスの [ホーム] ページの [ノートブックを開く] メニューで、 [新しいノートブック] を選択します。
    数秒後、1 つのセルを含む新しいノートブックが開きます。ノートブックは、コードまたはマークダウン (書式設定されたテキスト) を含めることができる 1 つ以上のセルで構成されます。
    簡単なコードを含むノートブック内の既存のセルを選択し、既定のコードを次の変数宣言に置き換えます。
    パラメーター セルで、 [+ コード] ボタンを使用して新しいコード セルを追加します。
    ノートブックにコードを書き終えたらツールバーの ▷ [すべて実行] ボタンを使用して、ノートブックに含まれるすべてのセルを実行します。
    image.png

  2. 実行完了して、ジョブが成功していることを確認します。
    image.png

  3. [エクスプローラー] ウィンドウで、ビューを更新します。次に、 [テーブル] を展開し、sales テーブルを選択して、そこに含まれるデータのプレビューを表示します。
    パイプラインによってデータが取り込まれていること、指定されたデータ型に変換されていることなどが確認できます。
    image.png

パイプラインの変更

  1. 左側のハブ メニュー バーで、前に作成した [Ingest Sales Data] パイプラインに戻って、右上の [...] メニューから「データを削除」アクティビティを「データのコピー」アクティビティの左側に配置し、その「完了時」出力を「データのコピー」アクティビティに接続します。
    image.png

  2. [データの削除] アクティビティを選択し、デザイン キャンバスの下のウィンドウで、次のプロパティを設定します。
    image.png

  3. 次にパイプライン デザイナーの アクティビティ タブで、ノートブック を選択して、ノートブック アクティビティをパイプラインに追加します。
    「Copy data」アクティビティを選択し、その「On Completion」出力を「Notebook」アクティビティに接続します。
    ノートブック アクティビティを選択し、デザイン キャンバスの下のウィンドウで、次のプロパティを設定します。
    image.png

  4. 最後にパイプラインを保存し、▷ [実行] ボタンを使用してパイプラインを実行し、すべてのアクティビティが完了するのを待ちます。
    すべてのパイプラインが成功したら無事に完了です！
    image.png

まとめ

今回初めてFabric上でパイプラインを作成してみましたが、Azure DataFactoryの使い方をおさえていれば違和感なく使用することができます。

3
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
3
2