PostgreSQL + pgvector を Docker Compose で手軽に試す方法
PostgreSQL の Docker イメージを使い、docker-compose を用いて pgvector の有効化と初期データの投入を簡単にセットアップできるコードを作成しました。 既存...
1
1
Comment0
32 search resultsShowing 1~20 results
Stocked
You need to log-in
Azure Data Factoryでアクティビティのエラーメッセージを取得する方法
概要 Azure Data Factory(ADF)でアクティビティのエラーメッセージを取得する方法を調べた際のメモです。 ADFではアクティビティのsuccess, fail, skip, c...
1
0
Comment0
Azure BlobStorageのファイルパスを指定して直接pandas.DataFrameで読み込む方法
Azure BlobStorageに格納しているオブジェクトファイルについて、いちいちローカルにダウンロードしてからDataFrameに読み込むのではなく、直接ファイルパスを指定してDataFr...
0
0
Comment0
RabbitMQでキュー内のメッセージをすべて取得する方法
RabbitMQでキュー内のメッセージを確認する方法のメモ。 既存のメッセージをACKなしでconsumeすることで、キュー内のメッセージに影響を与えずに済みます。 コード 以下のメソッドを実行...
1
0
Comment0
RedshiftにSSH接続してread_sql, to_sqlする方法
セキュリティの観点から、AWS Redshiftへは踏み台経由でSSH接続する場合が多いと思います。 そこで、今回はデータサイエンティスト・アナリストが良く使うであろうpandas.read_s...
2
1
Comment0
Dockerコンテナにパッケージ管理ツールpoetryを使ってPythonの分析環境を構築する方法
昨年のとあるアドベントカレンダーでPythonのパッケージ管理ツールの一つpoetryが紹介されていました。 2020 年の Python パッケージ管理ベストプラクティス 普段業務で使っている...
47
38
Comment1
Azure CLIでACRへDockerイメージをpush、ACIにデプロイする[on Windows]
最近AzureやWindows OSを使い始めました。 もともとAWSやGCPで同様のDockerコンテナをデプロイするスクリプトをshellで書いていたので、PowerShellでもやってみま...
1
0
Comment0
GCSでデータを一般公開する方法が変わった
GCPコンソール上で、GCSに格納しているデータを一般公開する方法が変わったようです。 GCSの「データの一般公開」に関する公式ドキュメントをみると、英語版では最新になっていますが、日本語版は未...
0
0
Comment0
matplotlibで降順ソートの棒グラフを作成する方法
調べても意外とすぐに出てこなかったのでメモ。 matplotlib.pyplot.barでnumpy.array型のデータの棒グラフを作成するメソッド。 環境 Python 3.7.3 nump...
6
6
Comment3
KaggleのTitanicチュートリアルをTabPy（Tableau + Python）で解く方法
BIツールTableauとPythonを連携するフレームワークであるTabpyを使って、Kaggle1のチュートリアルであるTitanicデータセット2を題材に機械学習モデルの構築と結果の可視化...
19
11
Comment0
TableauのパッケージドワークブックのデータソースをPythonを使って更新する方法
以前、CSVファイルからTableau hyperファイルにPostgreSQLライクなCOPYコマンドで一括インサートする方法を投稿しましたが、今回は作成したhyperファイルで既存のtwbx...
4
4
Comment0
CSVファイルからTableau hyperファイルにPostgreSQLライクなCOPYコマンドで一括インサートする方法
訳あってTableauSDKのAPIリファレンスを見ていたところ、以下のような記載があってビックリしました。 Insert Data Directly from CSV Files なんでも、P...
2
1
Comment0
CloudTPUでtransformer英日翻訳モデルを学習&推論する手順
公式のチュートリアル通りに進めていったら上手くいかなかったのでメモ。 本記事では、CloudTPU と GCE VMインスタンスを立ち上げ、NMTモデルの一つであるtransformerで英日翻...
10
5
Comment0
BigQueryにGCSのcsvファイルを日付別シャード化テーブルとして一括インポートする方法
GCSに格納した日付別の(※)csvファイルをシャード化テーブルとしてBigQueryに一括でインポートする方法のメモ。 ※同一カラムをもつが、日付別にファイルが分割されている パーティショニン...
1
3
Comment0
CloudTPUで学習済みのtransformerモデルをローカルで実行する方法
以前書いたCloudTPUでtransformer英日翻訳モデルを学習&推論する手順では、CloudTPUでtransformer英日翻訳モデルを学習し、推論も行いました。 今回はClo...
1
2
Comment0
GCE上でContainer-Optimized OSを使ってコンテナバッチ処理する方法
Container-Optimized OSを使ってGCE上でコンテナバッチ処理する方法のメモ。 コンテナバッチ処理後はコンテナ内でVMを削除するため、VM稼働分のコストで済みます。 コードはG...
2
3
Comment0
Cloud RunにCLIでDockerコンテナをお手軽にデプロイする方法
Google Cloud Platformのステートレスコンテナ実行サービスであるCloud Runに、DockerコンテナをCLIでお手軽にデプロイするスクリプトを作ってみました。 コードはG...
1
0
Comment0
Cloud RunでnltkライブラリがインストールされたDockerコンテナをデプロイする方法
Cloud RunでnltkライブラリがインストールされたDockerコンテナをデプロイしようとしてハマったのでメモ。 事象 以下のように、Dockerfileにnltkライブラリをインストール...
4
3
Comment0
pandasのto_sqlでトランザクションを実装する方法
to_sql()はDataFrameをデータベースに登録するために使われますが、トランザクションを実装するためには少し工夫が必要です。 本稿では、ORMモジュールであるSQLAlchemyを使っ...
8
8
Comment2
csvファイルで特定カラムが偶数か奇数のデータだけを抽出する方法
csvファイルで出力されたuser_id, item_idのリストで、user_idの末尾が偶数or奇数のデータのみを抽出する方法のメモ。 awkコマンドを利用しているのでterminal上で実...
0
0
Comment0
32 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles