Amazon S3 Tables で Iceberg 機能と LakeFormation統合機能を試す
reInvent 2024 で発表された S3 の拡張機能 S3 Tables。 ざっくりいうと、Managed Apache Iceberg on S3。 S3上で、オープンソースのテーブルフ...
0
1
Comment0
78 search resultsShowing 1~20 results
Stocked
You need to log-in
ついにGAした Redshift と Aurora の Zero-ETL でニアリアルタイム連携
[1] はじめに Zero-ETL統合とは？ OLTP系DBとOLAP系DWHはそもそも役割が違うので、従来はOLTP DBに蓄積されてたデータをDWHにデータ連携するETLが必要だった この連...
6
5
Comment0
Glue Studio ノートブック と CodeWhisperer でいまどきのETL開発
[1] はじめに AWS GlueでETL処理の開発方法はいろいろある Glue StudioでGUIベース の NoCode/LowCode な方法 Glue Studioノートブックでコーデ...
2
2
Comment0
Redshiftでリアルタイム分析：Kinesisストリーミング取り込みを試す
概要 Kinesis Data Streamのストリームデータを、ニアリアルタイムで直接Redshiftに取り込む機能 Redshift内ではMaterialized Viewとして取り込まれる...
1
4
Comment0
Amazon Kendra + SageMaker JumpStartで生成AI / RAGをとりあえず動かす
概要 企業データをベースに、自然文でQAしてくれる検索拡張生成（RAG）のソリューション ChatGPTなど一般的な生成AIの場合、それっぽいけど正しいかわからない、または誤った情報が返されるハ...
1
2
Comment0
Glue CrawlerからSnowflakeのメタデータを収集してカタログ化
データインテグレーションサービスAWS Glueのデータカタログ生成のためのクローラー（Crawler）機能がSnowflakeをサポートしたので試してみた 何ができる？ Snowflakeに登...
3
2
Comment0
Amazon Redshift のパフォーマンスチューニング 十ヶ条まとめ
Amazon Redshift は Serverless版もGAされ、さらにATO：Automatic Table Optimization（自動テーブル最適化）など、従来からある Provis...
1
2
Comment0
Amazon Redshift で ダイナミックデータマスキング 続編：プレビュー版ビルトイン機能を試す
追記：2023/4/20にGAになりました https://aws.amazon.com/about-aws/whats-new/2023/04/amazon-redshift-availabi...
1
0
Comment0
Amazon Athena から Snowflake に直接クエリ：フェデレーテッドクエリ
Amazon Athenaはデータコネクタを利用することでAWS以外の様々なサービスにライブデータアクセス（フェデレーテッドクエリ）できる。 Snowflake コネクタを利用してAthenaか...
1
0
Comment0
AWS Glue Studioで機密データ （PII）検出と処理を試す
AWS Glue DataBrewに続き、AWS Glueでも個人識別情報 (PII) やその他の機密データの自動検出に対応してます。 公式ドキュメントはこちら https://docs.aws...
3
0
Comment0
Amazon Redshift で ダイナミックデータマスキング
顧客機微データ（PIIやPCI）をRedshift内で扱う場合の対処法には色々対策が想定される 例） クラスタの暗号化（AWS KMS） 行レベルセキュリティや列レベルセキュリティで対象データへ...
0
2
Comment0
AWS Glue DataBrewで個人を特定できる情報 (PII) の検出と変換処理を試す
GUIでデータプレパレーションができるサービス AWS Glue DataBrew を使って、個人を特定できる情報 (PII) の検出とデータマスキング変換をできます。 GitHubのaws-s...
0
0
Comment0
Amazon Redshift で 行レベルアクセス制御（RLS）
例えば、各自が所属する部門に関する行（レコード）だけを表示させたい場合など、ROLEに応じて操作範囲を制限したい場合に使えるRedshiftの機能 (2022年7月GA)。 RLS : Row-...
0
0
Comment0
Amazon Redshift で 列レベルアクセス制御
例えばPIIやPCIなどの機密情報対策として、テーブル、ビュー、マテリアライズドビューで列（カラム）レベルでGRANT/REVOKE形式のアクセス制御ができるRedshiftの機能. SQLだけ...
0
0
Comment0
Amazon EMR 再入門
改めてAmazon EMRを触った際の備忘録 以下のSpark ETLのWorkshop触ってのポイントまとめ https://emr-etl.workshop.aws/spark_etl/st...
4
4
Comment0
よく使うgitコマンド一覧
よく使うgitコマンドメモ #運用系 1) リモートリポジトリをローカルにクローン git clone [リモートリポジトリURL] [ローカルディレクトリ] 2) 通常ワークフロー： 編集〜コ...
3
10
Comment0
いまさらAmazon EKSを使ってみる （普通のk8sとの違いなど ）
今更ながら、k8sは使ってるがAmazon EKSはちゃんと使ったことないので気になったポイントまとめ ※2021年1月時点 [1] Amazon EKSとは AWSが提供するマネージドKube...
13
10
Comment0
AWSとGCPの違いポイントまとめ
もともとAWSを使っていてGCPを勉強し始めた際、 AWSとの違いで一瞬「んっ？」っとなったポイントの備忘録 注意）あくまで2020年8月時点（+自身の知識範囲） [1] Cloud IAM 系...
19
13
Comment0
AWS Glue python shell で ETL
AWS Glue python shell で ETLジョブ作成する際のハマりどころメモ 2021/1 時点 Glue Python shellとは？ GlueのジョブTypeの１つ Spark...
0
2
Comment0
AWSでembulkを試したメモ（S3からRDSへロード）
Treasure Data社製のバルクデータローダーOSS 『embulk』 を試したメモ。 v0.8.13 S３の指定バケットに格納した複数csvファイルを、RDS（Postgresql）にL...
11
13
Comment1
78 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles