AWSでサーバーレスバッチ処理のアーキテクチャを考えてみた
概要 AWSのフルマネージド型バッチ処理サービスのAWS Batchを使用して、サーバーレスバッチ処理をTerraform構築してみます。 ソースはこちら: 777nancy/batch-inf...
0
0
Comment0
11 search resultsShowing 1~11 results
Stocked
You need to log-in
EmbulkでMySQLからPostgreSQLへデータ転送
はじめに 異なるRDBMS間で、データを転送する業務が発生しました。 調べている中で、今更ながらEmbulkを知ったのでその使い方のメモです。 今回は、MySQL -> PostgreSQ...
2
3
Comment0
Prestoインストール方法(Presto-Admin版)
はじめに 公式のPrestoインストール方法は1台ごとノードにデプロイしていました。この方法では1台ごとにプロセスの起動、停止、再起動、コンフィグの変更等を行う必要があるため管理が大変です。 今...
1
2
Comment0
Kerberized Hadoop ClusterのHive metastoreにPrestoを接続
はじめに 扱っているデータの性質上、どうしてもオンプレミスでHadoop Clusterの運用を行っています。(クラウドがいい...) 今まではSpark, Hiveでバッチ処理をメインで行って...
1
0
Comment2
Hadoopクラスタkerberos化後のPySparkのエラー
はじめに HadoopクラスタのKerberos認証を有効化後にPySparkのエラーが発生しました。 その対応方法です。 環境 OS: CentOS 7.7 Hadoopディストリビューション...
1
0
Comment0
sbt 1.2.xのライブラリ依存性解決が遅いんじゃ！
はじめに Apache Sparkフレームワークを使用してビックデータ処理をScalaで記述しています。 処理をデプロイするためのjarファイルをGitLab CI/CDで作成しています。 しか...
0
1
Comment0
さくっとDockerでEC2にGitLabを構築する
はじめに 新規サービスの開発プロジェクトに参加しています。プロジェクト発足当初はGitレポジトリをホスティングするシステムがありませんでした。そのためDockerを使用してAWSのEC2でGIt...
2
0
Comment1
Pythonでコンフィグファイルを簡単に読み込むライブラリを作った
はじめに Pythonでアプリケーションを作成する際に、設定やパラメータをiniやjson, yaml形式のコンフィグファイルで持つことが多いと思います。 そのコンフィグファイルを簡単に読み込め...
2
1
Comment2
メール送信機能を今更ながらPythonで実装してみた
はじめに 今更ながらPythonでメールを送信する機能を実装しました！ ファイルの添付も簡単にできます！ 使い方 gmailからのメール送信を例に使い方を説明します。 gmailのuser, p...
1
8
Comment0
画像の色(RGB)を抽出する
はじめに 画像から使用されている色(RGB)を抽出する機会があったので、そのメモです。 環境 言語、パッケージ 言語、パッケージ バージョン Python 3.7.4 numpy 1.16.4 ...
14
20
Comment0
Ansibleと変数と時々jinja2
はじめに Ansibleのtemplatesで使用される、jinja2はAnsibleのYAMLファイル内でも使用できます。 例 jinja2の表記を使用したい箇所を{{ }}で囲むだけです。...
0
0
Comment0
11 search resultsShowing 1~11 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles