紹介
この記事は、AEON Advent Calendar 2024の2日目です。
https://qiita.com/advent-calendar/2024/aeon
イオンリテール（株）デジタル戦略部データソリューションGの丸尾です。
当チームは実店舗出身&非エンジニア人材のみで構成された
システムの内製化チームとなっておりまして、
今回はその中で利用しているものを共有します。
概要
本投稿ではGoogle Cloud Platform(GCP)とローカルPCを、
特定のCLI(SDK)ツールを利用してファイルの送受信や、
Biqueryからのデータ抽出を行う方法を説明します。
実際のイントラネットを介した連携は、
詳細なシステムを組んだ方が良いですが、
POC検証やクイックに試したい場合は参考にして下さい。
投稿はいくつか分けて投稿しますので各リンク先をご参照下さい。
稼働環境
💻windowsマシン(windows10)
弊社の従業員向けPCが基本windowsなのでwindowsマシンの方法を記載
公式リファランスにはmac,linuxマシンでの導入方法が記載されています
対象者
①本投稿はGCP初心者の方
②Azcopyなど別クラウドのsdkを使っていた方
③ベンダーに特定ファイルの連携行わせたい方
想定シナリオ
①ローカルPC→GCloudStorageへのファイル転送
②GCloudStorage→ローカルPCへのファイル取得
③ローカルPC→Bigqueryへのファイルデータアップロードとクエリ稼働
④Bigquery→ローカルPCへのクエリ結果ファイル取得
※+おまけ：これらをRPAで回すバッチファイル作成
実施方法
<大まかな流れ>
①公式サイトからwindowsマシン用のCLI(SDK)ツールを取得
②インストール後CLI(SDK)のコンフィグ設定を実施
③上記想定シナリオを回すコマンドを作成・テスト・実行
<詳細な流れ>
①公式サイトからwindowsマシン用のCLI(SDK)ツールを取得
-1.【こちら】のリンクへアクセスし、
「Google CLIインストーラー」のリンクをクリック
-2.ダウンロードが完了したら任意の場所にインストーラーを移動
もしくはそのまま変更することなく実行
セットアップツールが立ち上がるので基本的にそのまま実行
※screen readerは視覚障害の方が利用する読み上げツールです
※インストーラーはVPN環境で止まる場合がある点は注意
-3.セットアップツールを進めInstallを実行でローカルへの導入が完了
CLIツールにはpython3が必要ですが、
Bundled Pythonにチェックが入っていると必要な物が自動入手
-4.セットアップが完了すると、
デスクトップ画面にshellのショートカットが追加
ショートカットからSDKを起動し利用できればインストールは完了
※この時点でローカルPCのcmd(コマンドプロンプト)で、
gcloud init と入力すれば同じようにSDKが起動されます。
起動できない場合は「システム環境変数」を編集
◆上記方法でインストール失敗する場合、
以下のスタンドアローンタイプで実行
-1.【こちら】のリンクへアクセスし、
自身のPC環境にあったパッケージをダウンロード
※PC環境の確認は↓
Windows の場合: [コントロール パネル] > [システム] > [システムの種類]
-2.任意の場所にパッケージを展開したら、
中に入っている「bash」もしくは「install.bat」や「insatll.sh」を起動
【こちら】のリンク先の案内に従って、残りの操作を実行して下さい。
※バージョンによってbash,install.bat,insatll.shが無い場合もありますが、
同等の機能があるはずなので、cmdもしくはpowershellから、
該当の機能を実行する方法を生成AIに聞くなりして実行して下さい
②インストール後CLI(SDK)のコンフィグ設定を実施
https://qiita.com/bleachonn77/items/ad939e578408c85cace9
③上記想定シナリオを回すコマンドを作成・テスト・実行
https://qiita.com/bleachonn77/items/bca83ba62d69cb3d8dc4