BigQueryでLLM（RAGを用いたテキスト生成）を使う
Google Cloud Next Tokyo2023でBigQueryからVertexAIのLLMを使用する話を聞いてきたので試してみる。 質問に対して、グラウンディング用データを参照しつつL...
6
1
Comment0
22 search resultsShowing 1~20 results
Stocked
You need to log-in
TabpyをCloud Run(on GKE)で使う
Tabpyに触ったことなかったので、 Cloud Runの勉強も兼ねてTabpyをCloud Run(on GKE)で稼働させてみた時のメモ 2021/6/17追記 久々にTabpy調べてみたら...
6
5
Comment0
GitHub Actions を使用してGKEにアプリケーションをデプロイする
GKE用のサンプルアプリケーションを、GitHub Actionsを使ってソースがPUSHされたら自動でデプロイされるようにする 前提 GitHubにリポジトリは作成済み GKE クラスタは作成...
7
3
Comment0
FirestoreのバックアップをCloud Functionsで作成する
Firestoreは何かあったときのために自分でバックアップとっておく必要があるっぽい。 FirestoreのフルバックアップをGCSに保存する用のCloud Functions（Python）...
1
0
Comment0
Dataformを使ってみる（BigQuery）
Google Cloudが買収し話題になったDataformを使ってみる。 https://cloud.google.com/blog/ja/products/data-analytics/we...
18
11
Comment0
TabNet（GCP AIPlatformの組み込みアルゴリズム）をBQMLで使う
GCPのAI Platformにいい感じの組み込みアルゴリズムがリリースされたようなので試してみる。 AI Platform 上の TabNet: 高パフォーマンスで説明可能な表形式ラーニング ...
0
0
Comment0
BQML DNNで競馬予測してみる
BQMLでDNNとXGBoostとAutoML Tablesが使えるようになるというニュースがありDNNを試してみました。 なんとなくでそれなりにいい感じにできちゃいます。 https://cl...
7
6
Comment0
terraformを使ってGCRのDocker imageからGCEインスタンスを作成する
terraform使ってみたときの色々メモ terraformとは 10分で理解するTerraform 要は、クラウドの環境を作成するときに手順書作ってマニュアルで作成するのではなく、 その辺も...
5
5
Comment1
BigQueryの公開天気データを使えそうな形に整形する
BigQueryの天気の公開データセットを使えそうな形に整形して スケジュールクエリで更新かけるときのメモ。 参考にした記事 https://cloudplatform-jp.googleblo...
1
1
Comment0
公営競技を題材にGCPを勉強する
直接的にお金が絡まないと中々やる気が出ないため、公営競技を題材にしてGCPをざっくり勉強する。 なるべくサーバレスな感じで、なるべく開発もWebベースで。 GCPの色々なサービスを使ってみること...
70
77
Comment0
Airflowを使用してDWH向けデータパイプラインを作る
前提 GCP内でのデータパイプラインで、DWHはBigQueryを使用 DWHバッチ処理のパターン バッチ処理ベースのDWHデータパイプラインは 複雑なことをしない限り以下のパターンでほとんど網...
36
23
Comment0
Cloud Dataprepハマりメモ
GCPのCloud Dataprepを使用した際にハマったメモを記載する。 google data prep Preview not available Could not load photo...
0
0
Comment0
GKEでAirflow環境構築
はじめに GKE（Kubernetes）とAirflowの勉強もかねて、GKEでAirflowの環境を構築します。 （ここをかなり参考にしてます。） Cloud Composerを使わないのか？...
28
17
Comment1
Kubernetesメモ
クラスタとNode クラスタに参加しているNode一覧を取得 kubectl get nodes Nodeの使用状況を確認する kubectl describe nodes Namespace ...
3
2
Comment0
dockerメモ
dockerfile FROM Dockerイメージを指定する。 FROMで取得するイメージはDockerHubに公開されているものになる。 FROM FROM イメージ名：タグ # タグは「3...
3
1
Comment0
scikit-learn使用まとめ
scikit-learnの使い方について、使用したものを整理する。 ロジスティック回帰 参考はこのページ。 sample from sklearn.linear_model import Log...
4
2
Comment0
Flaskメモ
DockerでFlask環境を作成などのメモ。 参考 https://qiita.com/nanakenashi/items/cbe8e8ef878121638514 https://a2c.b...
3
2
Comment0
Djangoメモ
DockerでDjango環境を作成するメモ。 参考： DjangoにPostgreSQLを適用する Django Girls Tutorial Django用Dockerfile Dock...
3
6
Comment0
SQL Workbench/J インストールから起動メモ
OS ubuntu 16.04 インストール ダウンロードページより、zipファイルダウンロードし、任意の場所に展開する。 JREのインストール JREインストールされていない場合は以下コマンド...
3
3
Comment0
pandasの使い方
pandasの機能と使い方について、使用したものを整理する。 CSVファイル読み込み pandas.read_csv() 使用できる引数はマニュアル参照。 主な引数はこのページ参照。 サンプル ...
6
13
Comment0
22 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles