ChatGPTに質問しながら開発してみた
この記事は LIFULL Advent Calendar 2022 (vol2) の9日目の記事です。 ちょうどvol1カレンダーもChatGPTネタで、「MinikubeでRedmineコンテ...
18
2
Comment0
20 search resultsShowing 1~20 results
Stocked
You need to log-in
Slackで所属channel一覧を出すsnippet
背景 チームにjoinするメンバーに自分が入ってるchannel一覧を伝えたいです。 APIで取得しようとすると、直接とるAPIがなく、後述するようにコストが高いです。 したがってブラウザのDO...
2
0
Comment0
StaticHostingサイトをCloudformationでさっと作る
CloudFront経由のStaticHostingサイトをCloudformationで作ります インフラ生成 こちらで公開頂いているcfnテンプレートを使いました。ありがとうございます セキ...
0
0
Comment0
docker-composeでbuildkitに引数を渡すことは(まだ)出来ない
docker-compose docker-composeはupやdownでお手軽にコンテナを操作できるため、ローカルでコンテナを試す際に利用しています buildkitと併用できないか調べまし...
2
0
Comment0
Airflowの使い勝手と他のワークフローエンジンの紹介(2020年)
この記事でやること ワークフローエンジンであるAirflowの使い方のポイントを書きます 私はGCPのCloud Composerで使っています ※ワークフローエンジンについては以前こちらに書き...
17
12
Comment0
AWS PrivateLinkで異なるアカウントのRDS(Aurora Serverless)にdata-apiで接続する
この記事でやること AWS PrivateLinkを用いて、異なるアカウントにあるAurora Serverlessに対してdata-api接続で接続します リージョンは同じである必要があります...
11
3
Comment0
GPUを用いる機械学習推論処理をAWS BatchのSpotインスタンスで実現する
概要 AWSにて機械学習を行うにはまずSageMakerがあります。SageMakerはモデルの学習・管理・デプロイを取りまとめて行えるフルマネージドサービスです。 概ね便利なサービスなのですが...
20
5
Comment0
sqlacodegenを使って既存のMySQLサーバからSQLAlchemyのテーブル定義を生成する
まっさらなAmazonLinux2でやるときの手順です 実行環境 OS: AmazonLinux2 (Linux version 4.14.193-149.317.amzn2.x86_64) p...
3
1
Comment0
AWS Aurora Serverlessを使ってみた感想
Aurora Serverlessの説明 一言でいうと自動でスケールして、アクセスがなければ勝手に停止するAWSのMySQL/PostgreSQLインフラです 2018年に一般公開された比較的新...
9
3
Comment0
macOS CatalinaでSQL接続をAWS Session Manager経由の踏み台サーバ経由で行う方法
この記事 macOSをMojaveからCatalinaに変えたのですが SequelProのmysql接続が同じ設定なのに失敗しました ちょっとハマったので備忘として残します AWS Sessi...
3
1
Comment0
GitHub Actionsでビルドするコンテナ内でGitHubのprivate repositoryをセキュアに参照する
はじめに GitHub Actions、便利ですよね ソースコードの変更後、いちいち手元でdocker buildしてpushなんてやってられないですし、 外部CIツールを新たに導入するよりは全...
14
9
Comment0
GKEのインスタンスにログインするときのコマンドメモ
すぐ忘れるのでメモ 例ではcloud composerのworkerインスタンスにログインしています ログインするクラスターを設定 現在のコンテキストを確認 kubectlの現在のコンテキストが...
2
1
Comment0
Boto3でS3のリスト出力をするときは、list_objects_v2ではなくBucket().objects.filterを使おう
低レベルAPIと高レベルAPI awsのpythonライブラリであるboto3ですが、ナイーブなAPIである低レベルAPIと、それをラップしたオブジェクト志向の高レベルAPIがあります Boto...
64
48
Comment0
GCPの公開IPレンジを調べるpythonコード
はじめに GCPリソースのIPレンジを知る必要があったので調べました 概ねここで議論されています https://gist.github.com/n0531m/f3714f6ad6ef738a3...
3
2
Comment0
2019年のワークフローエンジンまとめ
概要 データパイプラインの管理にワークフローエンジンを導入したいのですが、今の要件に対してどれが合っているのか判断しきれない部分があるので整理してみました 最近の導入事例や発表をみるかぎりAir...
268
209
Comment0
GCPのユーザ一覧をCLIで出すワンライナー
gcloudにはユーザ一覧を簡単に出すコマンドが無いです IAM権限ごとに該当するユーザを表示するコマンドgcloud projects get-iam-policyをjqで加工するワンライナー...
6
3
Comment0
BigQueryのテーブル分割でのパーティションテーブルとシャーディングテーブルの使い分け
TL;DR 原則としてパーティションテーブルを使うが、上位互換ではないため１次保存層にはシャーディングテーブルを使う マサカリください 概要 データ分析を行う際には分析基盤の整備が欠かせません ...
26
10
Comment0
jupyter notebook/pythonで時間のかかる処理が終わったときにslackに通知する
概要 jupyter notebookで時間がかかる作業をする場合、終わるまで別の作業をすると思いますが、 そちらの作業に没頭してしまい、元の作業が終わっていたことに気づかないことがよくあります...
29
22
Comment0
ghq getを踏み台経由で行うときのコマンド
ローカルのgitlabなど踏み台サーバ経由でアクセスするようなクローズドなgit環境からghq getしたいときの書き方です https://＜ホスト名＞/gitlab/＜親の名前＞/＜リポジト...
2
1
Comment0
AWS SAMにてサーバーレスアプリケーションを実装するときに気をつけたこと
はじめに 本記事はAWS SAMを使おうと思っている・使い始めた人向けに SAMを利用したサーバーレスアプリケーションの実装について 会社のスカンクワークを利用して社内サービスを実装したときのハ...
39
30
Comment0
20 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles