Lambdaを大量に使うETLジョブを運用してきて発生した問題と対策を挙げていく
ジョブの概要 受け取ったファイルの情報を加工して、DynamoDB、RDS、S3に必要な情報をロードしていくジョブで、StepFunctionsのMapステートを用いて、受け取ったファイル単位に...
6
1
Comment0
6 search resultsShowing 1~6 results
Stocked
You need to log-in
クリーンアーキテクチャに入門してバッチシステムをリニューアルした
10ヶ月ほどやってきた案件がS-inを迎えたのでやってきたことを備忘録として残します。 現場のベテランエンジニアに教えてもらいながらクリーンアーキテクチャを導入してバッチシステムをリニューアルし...
11
4
Comment0
SQLAlchemy1.3から1.4に移行
SQLAlchemy1.4が2021/3/17にリリースされた。 1.3.19 -> 1.4.1 に変更する際に調査したことをメモする。 Sessionがコンテキストマネージャに 1.3で...
5
6
Comment0
PynamoDBについて
PynamoDBとは boto3のラッパーライブラリです。boto3で書くと複雑になってしまうところをシンプルにかけます。 ドキュメントには以下のように書かれています。 But why stop...
4
4
Comment0
【React Router】URLパラメーターを取得する
TyepeScriptでReactRouterを扱う際に、URLパラメーターを取得するところで失敗した。 App.tsx import React from 'react'; const Cha...
7
6
Comment0
【React】クラスコンポーネントを関数コンポーネントに書き換え
はじめに React Way 的にはクラスコンポーネントよりも関数コンポーネントのほうが望ましい。 そこでクラスコンポーネントで書かれたコードを関数コンポーネントに書き換えた。 書き換え前 Ap...
8
7
Comment0
6 search resultsShowing 1~6 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles