【BigQuery×Playwright×TROCCO】SQLだけで運用が完結するAIスクレイピング基盤の作り方
はじめに Webスクレイピングは、データ収集の実務において広く実践されている手法です。 一方で、安定的に運用しようとすると以下のように問題が発生しがちなテーマでもあります。 「サイトの構造が変わ...
0
0
Comment0
9 search resultsShowing 1~9 results
Stocked
You need to log-in
Snowflake Cortex (with Gemini) + TROCCOで問い合わせをAI自動分類する方法
Snowflake上でGeminiが呼び出せるようになりました！ データパイプラインへのAI組み込みがさらに便利になりそうなので、試してみます。 サンプルユースケース AI利用の例として、問い合...
1
1
Comment0
S3+Athena+TROCCOで爆速データ分析基盤立ち上げレシピ
データ分析したいけど、DWH(データウェアハウス)を導入するとなると大げさだなぁ、くらいのタイミングでライトに始められるデータ分析基盤を考えてみました。 アーキテクチャ Amazon Athen...
7
5
Comment0
SQL+Markdownだけでデータ可視化できるOSS Evidenceを使ってPerfumeの楽曲分析をしてみる
BIをコード管理したくないですか？私はしたいです。 BI as Codeを謳うOSSがあるようなので、Get Startedしてみます。 環境構築 公式ドキュメントを見ると、VSCodeのExt...
119
102
Comment0
Athenaで作成したS3上のIcebergテーブルをSnowflakeから参照してみる
これはなに Apache Iceberg というオープンソースのデータテーブル形式について、最近データエンジニアリング界隈で耳にすることが増えてきました。 これはいわゆる「レイクハウスアーキテク...
9
4
Comment0
Instagramのフォロワー数をtroccoで取得しSnowflakeに保存する
これはなに Instagramのアカウント運用において、フォロワー数は非常に重要なメトリクスです。 複数のSNSを運用している場合、重要指標の推移をダッシュボード等で横断的にモニタリングしたいこ...
10
5
Comment0
LINE公式アカウントの友だち登録者数をtroccoで取得しBigQueryに保存する
これはなに LINE公式アカウントの友だち登録者数は、アカウントの成長度合いを示す重要な指標です。しかし、そのデータを手動で取得し、分析用のデータベースに保存するのは手間がかかります。 そこで本...
8
5
Comment0
Excel Online(Microsoft 365)のデータをtrocco® でBigQueryに転送する
これはなに 私はprimeNumberというデータエンジニアリングの会社にて、様々な企業のビジネス課題をデータの力で解決するお手伝いをしています。 弊社が提供する分析基盤構築・運用の支援SaaS...
11
9
Comment0
trocco®とTwilio APIを使ってOne to Oneマーケティングを実現するコードをChatGPTに書いてもらう
これはなに 私はprimeNumberというデータエンジニアリングの会社にて、様々な企業のビジネス課題をデータの力で解決するお手伝いをしています。 データ活用の中でも「顧客データ分析」を実施する...
8
0
Comment0
9 search resultsShowing 1~9 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles