ローカルLLM Gemma 3 をRaspberry Pi 5で動かす
内容 今の時代Raspberry Piでも十分快適に使えるLLMが出ているらしく、気になったのでGoogleが提供しているLLM Gemma 3の1b q4_0 ggufモデルをRaspberr...
13
3
Comment1
45 search resultsShowing 1~20 results
Stocked
You need to log-in
GA4 export BigQueryデータをS3へ転送しAthenaでクエリする
目的と結果 目的はタイトルのとおりGoogle Analytics 4 BigQuery exportのデータをS3へ転送し、Athenaからクエリできるようにすることです 以下のような環境を作...
2
1
Comment0
施策がもたらす主要指標への影響をPyMCで推定してみる
内容 特定の施策による主要指標(KPI等)への影響を知りたい場合があります。 また、事業関連の場合そのデータは往々にして時系列データであることが多いです。 例 SNSによる投稿Aが売上に与える影...
10
5
Comment0
Amazon AthenaへGlue Jobを使って100パーティションを超えるテーブルを作成する
目的 目的は「1日1回実行のバッチ処理において、Athenaへ100を超えるパーティションを持つテーブルを作り直す形で更新する」です。 背景 パフォーマンス向上の為、データ利用者がよく使う列に対...
5
2
Comment0
AWS BedrockからClaude 3 Haikuを使ってPDF要約BOTを作る
目的 論文のような文字数が多くPDFで提供されているコンテンツの情報を取得する際に「一旦要約してくれるものが欲しいな」と思ったのでAnthropic社のClaude 3 Haiku LLMを使っ...
1
0
Comment0
データチーム一人目の私が今までデータ基盤/活用周りで行ったこと
はじめに この記事はWano Advent Calendar 2024 16日目の記事になります。 私は2023年2月に一人目のデータ部署（Team Analytics）としてTuneCore ...
22
6
Comment0
AWSでdbt-core運用環境を導入する
はじめに この記事はdbt Advent Calendar 202414日目の記事になります。 弊社では2024年5月に、DWH環境にdbt-coreを導入して、AWSの環境で運用しています。 ...
3
2
Comment0
Webアプリを作って自宅のサーバーでインターネットに公開してみた（インターネット公開編）
はじめに 普段は主にクラウドサービスを使っているのですが、「ローカル環境のマシンをインターネットに公開する場合どうするんだろう」と思ったので勉強を兼ねてやってみました。 長くなったので インター...
2
1
Comment0
自宅のサーバーをインターネットに公開してWebアプリを作ってみた（アプリ編）
はじめに 普段は主にクラウドサービスを使っているのですが、「ローカル環境のマシンをインターネットに公開する場合どうするんだろう」と思ったので勉強を兼ねてやってみました。 長くなったので インター...
2
2
Comment0
Raspberry Pi 5 で好きなボイスのスマートスピーカーを作ってみた
Raspberry Pi 5を触ってみたかったので、ラズパイでスマートスピーカー自作にプラスαを加えて、ローカルTTSモデルを介して好きな声で返してくれるものを作ってみました。 20240916...
62
59
Comment5
dbtとAthenaで管理されていないテーブル一覧を出力する
目的 dbt-coreとdbt-athena-communityを使い、Amazon Athenaへデータモデルを構築しています。 運用していくうえで、 Athenaにあるテーブルがdbt側で管...
2
1
Comment0
aws-cli Athena/Lambdaのラッパースクリプトを書いて作業を効率化する
はじめに この記事は@ktatさんのaws-cli のラッパースクリプトを書いて作業を超効率化するを見て、AthenaとLambdaのラッパースクリプトを作ってみたものになります。 現状 業務上...
7
4
Comment0
Raspberry Pi 5を持ち歩いて使う
はじめに この記事は「Raspberry Pi 5 で好きなボイスのスマートスピーカーを作ってみた」の内容をモバイル化&スマホから操作してみたものになります。 モバイル化 Raspber...
8
3
Comment0
bashスクリプトで「データサイエンス100本ノック（構造化データ加工編）
はじめに 普段はデータパイプライン構築運用を行っていますが、クラウドサーバーへ置かれるローデータをスクリプトでさっと見たい時があります。 そこで、勉強がてら昔やったことのあるデータサイエンス10...
5
0
Comment0
Amazon Athena 文字データ型のNULLと空白を混在させないための対処方法
はじめに Amazon Athena の文字データ型 CHAR, VARCHAR, STRINGにおいて、空白とNULLを区別できないことがあります。 実際にNULLと空白がテーブル内やテーブル...
3
0
Comment0
Lambda コンテナイメージを使ってSlackのグラフ貼り付けBOTを作る
この記事はWano Group Advent Calendar 2023の23日目の記事となります。 はじめに プロダクトに関わる指標を確認する際、開発部門が作成した社内ページ・BIツール・各種...
12
2
Comment0
会社のデータ分析環境をAWSで整えた話
この記事はWano Group Advent Calendar 2023の15日目の記事となります。 経緯 私は2023年2月にTuneCore Japan1人目のData Analyticsチ...
23
3
Comment0
【AWS Glue】ETLジョブでファイル拡張子をtsvからparquetへ変換する際の注意点
はじめに tsvファイルを参照元としているAthenaテーブルを、parquetファイルへ変換し新たなテーブルを作るETLジョブをGlueで作成する場合の個人的な注意点について書きました。 AW...
1
0
Comment0
【AWS SAA-C03】合格したので振り返り
2023年10月14日AWS SAA(C03)を受験して合格したので個人的振り返りを書きます。 AWS利用状況 データアナリストとして働いています。 AWSを用いてBIツール用DWH/データマー...
4
2
Comment1
【AWS CFn】スタックへの既存リソースのインポート を試す
AWS CloudFormationを用いて各リソースを管理していますが、テストで一時的に各サービスを使う際はコンソール上から手動で作成しています。 そうして作成したリソースをCFnスタックに取...
2
0
Comment0
45 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles