Athena Iceberg + dbt で mismatched input '<' が出たら — Hive/Trino 型混在の罠
dbt-athena で Athena Iceberg テーブルに対して incremental + merge を使い、スキーマ変更を伴う運用をしていると、複合型（struct / array...
0
0
Comment0
14 search resultsShowing 1~14 results
Stocked
You need to log-in
SlackとGitHubを連携させたのにSlackに通知が流れてこない時
前提：そもそもSlackとGitHubの連携とは 下記記事が最高です。 私は複数のrepoで設定を行ったことがあり、今回は数ヶ月ぶりに新しいrepoにも連携設定を行うことになりました。 （つまり...
1
0
Comment0
ALBのログ分析でAthenaが遅いのでpartitionを追加した
TL;DR このクエリを実行するだけなので1分あれば終わります。 公式ドキュメントに書いてあるSQLは古いので注意しましょう（2024/9現在)。 やり直すとき、一度テーブルを削除してから作り直...
0
0
Comment0
数式を英語で読む
きっかけ 確率・統計、特にベイズを勉強しているときのことです． 「Bという条件におけるAの確率は、、、」と読むのが、ふと面倒になりました． また、「この読み方、あってるんだっけ？」と考えながら読...
6
6
Comment0
CI/CDやってみた① Serverless FrameworkとCodeBuildを使ってlambda functionを作る
CI/CDの勉強をするために、超簡単なアーキテクチャを作ってみました。 今回作るもの 以下がアーキテクチャです。 CodeBuildとServerless Frameworkを使用してCI/CD...
4
1
Comment0
CI/CDやってみた② Serverless FrameworkとCodeBuildを使ってS3 bucketを作る
前回はlambda functionを作成したので、次はS3 bucketを作成してみました。 今回作るもの 前回とほぼ同じです。 GitHub repositoryの用意 説明は省略します。 ...
0
0
Comment0
CI/CDやってみた③ Serverless FrameworkとCodeBuildを使ってS3 bucketにlambdaにfileをuploadする
前回、前々回でlambda functionとS3 bucketを作成しました。 今回はそれらを組み合わせて、lambda functionを使ってファイルをS3にアップロードしてみます。 今回...
0
0
Comment0
AWS lambdaでEmacs key bindingを使う
きっかけ MacBookでAWS Lambdaでコーディング中 「下の行に移動しよう。ctrl + Nを連打っと。」 （新しいファイルが大量に作成された） 「おいいぃぃぃぃい！！！！」 やったこ...
1
0
Comment0
ChatGPTにMySQLのダミー用データベースを作成してもらった
きっかけ 「MySQLのダミー用データベースがほしいな」 「Dummy data for MYSQL databaseとか使えばいいのかな。使ったことないからちょっと面倒。」 「ChatGPT使...
1
2
Comment0
pandasでcsvをjson,jsonl, parquetに変換する
csvファイルを変換する必要があったため，備忘録的に書きました。 with文を使ったjsonへの変換もできますが，結論としてはpandasが一番楽だと思います。 環境 OS:macOS Mont...
5
4
Comment0
Juliaでデータ分析 | グラフ描写・ポアソン分布の最尤推定まで
データ解析のための統計モデリング入門 - 岩波書店 のRのコードをJuliaで実装してみました。 ちなみにPython版はこちらが参考になります。 pythonで「データ解析のための統計モデリン...
2
4
Comment0
Juliaで"."（ドット）を使ってブロードキャストする
Julia独特の表記（？）で慣れずに何度も忘れたのでメモしておく。 以下のような配列があったとする。 julia> a = [1,2,3] 3-element Vector{Int64}:...
0
1
Comment0
Dockerイメージを使って JuliaでHello,worldする
Juliaを手っ取り早くdockerで動かす方法をまとめました。 対象読者 Juliaに興味があるけど，文法とかよくわかってない人 Dockerの操作がなんとなくわかる vscodeでDocke...
0
0
Comment0
slackでチャンネルのリンクをコピーする
少しわかりにくい位置にあったので，忘れないようにメモ。 Mac版アプリ リンクを取得したいチャンネルで右クリック => コピー => リンクをコピー 参考 SlackでチャンネルのU...
0
0
Comment0
14 search resultsShowing 1~14 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles