はじめに

SharePoint Online（Teamsも含む）上のファイル連携の要望は多いです。

Azure Data FactoryでSharePointのファイルをADLS Gen2にコピーなど、API を利用したコピーはいくつか見かけられますが、基本的には単一ファイルをループしてとるような方式です。

今回はより簡単な方法のアイデアをもらったのでやってみました。

※ 今回紹介する方法は一つの手段であり、懸念も存在します。個人的には保証されている API を利用したほうがデータ連携としては安定するように思います。ただ、API の方式は大量のファイル連携でもいけるのか？という気持ち・・・

概要

SharePoint の Onedrive を利用したローカルファイル同期を使ってファイルシステムとしてセルフホステッド統合ランタイムからアクセスさせます。

ローカルファイルへアクセスするためのリンクサービス設定はこちらをご確認ください。

1.SharePoint or Teams の対象フォルダを同期します。

2.フォルダが追加されたら右クリックから このデバイス上で常に保持 をクリック

1.パイプライン画面からファイルシステムのデータセットを作成します。

2.ファイルパスを確認し、参照します。ルートフォルダはOnedriveが使用しているファイルがあるためお勧めしません。

3.データセットが完成しました。

4.コピーアクティビティのパイプラインを作成し、適当な場所にシンクする設定をします。

1.ファイルを Teams にアップしてみます。

2.数分待ち、パイプラインをデバッグ実行し、成功を確認します

3.データレイクに連携できました。

ファイル同期のラグが発生するため、アップしたファイルはすぐに取得できません。
今回の検証の中ではユーザーのロック状態でも取得できることを確認できていますが、同期のタイミングや、不整合を起こした際に同期が停止するようなことが起きたら、など実際運用してみないとわからないことがありそうです。