SageMaker Unified StudioでSQLクエリ実行したときのログ追跡
はじめに SageMaker Unified Studio (以下、SMUS)では、Query Editorを使ってSQLを実行することが出来ます。 さて、このSQLクエリの実行ですが、監査対応...
0
0
Comment0
53 search resultsShowing 1~20 results
Stocked
You need to log-in
OktaとIdentity CenterとQuickSightの連携のポイント
はじめに QuickSightはOktaと直接連携することもできますが、Identity Centerを介して連携することもできます。そうすることで、OktaでSCIMが利用できるプラン（Ess...
0
0
Comment0
Amazon DCVの認証成功時に自動でセッションを作成する
はじめに 以前、Amazon DCVの基本的な内容をまとめた記事を書きました。 本記事では、Amazon DCVのPAM認証機構を活用して、認証突破と同時にDCVセッションを自動作成する方法を解...
0
0
Comment0
Airflow 3.0をDocker Composeで構築してみた【EC2/Amazon Linux 2023】
はじめに 2025年4月22日、ついにAirflow 3.0がGAされましたね。 AWSのEC2上に、Dockerを利用して環境を構築してみたので、その手順をメモしておきます。 やってみる EC...
0
0
Comment0
Amazon DCVで始めるEC2デスクトップ環境 - Amazon Linux 2023への接続と複数ユーザー管理
はじめに 最近、Amazon DCVを使って、Linuxインスタンスにデスクトップ接続する機会があったので、そこでの試行錯誤をまとめました。 まずはAmazon DCVでAmazon Linux...
4
3
Comment0
AWS Lake Formation + Redshift Spectrum（Glue クローラー使用）でQuickSightデータセットを作る
はじめに QuickSightで、Redshift Spectrumを使って接続したいときがあったので、手順をメモします。Lake Formationが絡んでくると、さらにややこしくなるので、結...
1
1
Comment0
OpenSearchのインデックスサイズの監視をAlerting機能で実施する
はじめに OpenSearchのプロビジョンドは、大きなインデックスが作成されると容量が不足して落ちることがあります。 それを検知するために、ドメインのストレージサイズが少なくなったらそれをCl...
3
2
Comment0
MWAAでのリソース管理：Deferrable Operatorsによるワーカースロット解放の実践
はじめに Amazon Managed Workflows for Apache Airflow (MWAA) は、AirflowのAWSマネージドサービスであり、簡単にAirflowの環境を構...
3
0
Comment0
Redshift Provisioned（暗号化なし）のスナップショットを、別アカウントのServerlessで復元する
はじめに Redshiftには、スナップショット機能（自動/手動）があり、これを使うことでバックアップや復元などが簡単に行えます。 また、この機能はクラスター間の移行にも使うことができますが、タ...
0
0
Comment0
S3にファイルが置かれたらStep Functions+Glueで処理したい（リソースは1つ）
はじめに 皆さん、イベント駆動処理していますか？ スケジュールを前もって決められない場合などに便利ですよね。 ただ、イベントが増えすぎると、それに伴い処理するリソースが増えていってしまいます。 ...
0
0
Comment0
GlueのPIIデータ処理をスクリプトで実施してみる
はじめに 皆さん、GlueのPIIデータ処理は使っているでしょうか。 そもそもPIIとは、Personally Identifiable Information（PII）の略であり、日本語では個...
0
0
Comment0
MWAAでAWS Batchを非同期実行し、完了をSensorで監視する
はじめに こちらの素晴らしいブログに、PythonSensorを使っての非同期実行の方法が載っていました。 今回はそれをAWS Batchで試してみます。 ちなみにZombie Taskとは、A...
0
0
Comment0
OpenSearch IngestionでネストされたJSONの中のフィールドを削除する方法
前置き OpenSearch Ingestionは、OpenSearchドメインにデータを取り込む部分をマネージドで実施してくれる機能です。これを利用することで、Lambdaなど作成することなく...
0
0
Comment0
Icebergのパーティション変更した場合のS3ディレクトリ構造の変化を確認する
確認したいこと Iceberg は、パーティションを途中で変更することができます。 物理データをS3に格納した場合、パーティションを変更したら物理的なS3のディレクトリ構造はどう変化するのかを確...
0
0
Comment0
IAM Identity CenterのユーザーをLake Formationで許可してAthenaでクエリする
やりたいこと タイトルの通りです。 「ユーザー認証はOktaなどの外部IdP認証にして、Data Catalogへの認可はLake Formationで一元管理したい！」というユースケースなどで...
0
0
Comment0
Security LakeにWAFのログを入れてAthenaでクエリしたい
やりたいこと Amazon Security Lakeが、AWS WAFのログサポートを2024年5月に開始しました。 WAFとSecurity Lakeを連携させて、お試しでAPI GWを建て...
1
1
Comment0
Step Functionsで日付を取得して後続のGlueジョブで使いまわす（手動で別日実行もしたい）
はじめに Step Functions、皆さん使っているでしょうか。GUIでフローが組めて便利ですよね。 そんな便利なStep Functionsですが、実際に使おうとすると日付をどうやって取得...
2
0
Comment0
AirflowのELT pipeline QuickStartをやってみた
はじめに QuickStartの説明 Airflow公式ドキュメントのユースケース紹介ページの中に、ETL/ELTというページがありました。 ここに紹介されている、airflow-quickst...
0
1
Comment0
ついにMWAAのコンソールからプライベートなWebサーバーにアクセスできるようになった！！
はじめに 2024年6月18日、タイトル通りのことが出来るようになりました。 試してみたので記事にしてみました。 今まではどうだったのか MWAAのコンソールには、「Airflow UIを開く」...
0
1
Comment0
Redshiftのデータ共有で元DBに作成したテーブルを即時反映させる
はじめに Redshiftのデータ共有、皆さん使われているでしょうか。 物理的なコピーをせず、Redshift間でデータの共有ができて便利ですよね。 さて、このデータ共有ですが、既に共有されてい...
2
0
Comment0
53 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles