2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

aws周りのメモ1

Last updated at Posted at 2016-12-18

aws-cli

なるほど、プロフィールで複数設定できるのね

s3

マウントしてみた。
リアルタイムでやりたかったけど通信料をケチる方向に流れたので、
オンデマンド同期を目指す。

AWS,S3自体もプライベートでは使っていないのでドキドキ。
バケットポリシーとIAMポリシーを設定してみた。
片方で良かったのかもだけど、若干手違いで手間取ったので両方試した。

s3への同期ツール

DragonDiskがよさげ。コマンドラインツールもある。
でもなぜか動かせなかった。

goofysのほうは細かく手を入れられそうな気がしたし、先に見つけたのでやってみた。

lambda

チュートリアルを実行してみる参考

使い道の事例

わからないまま試してみた

dynamoDBの操作が初期のチュートリアルのサンプルコードだったのでdynamoDBにテーブルを作成してやってみた。
IAMは特に承認とかせずに実行できた。

考えてる(非?)構造データの扱いがAWSでできるか

非構造データは構造化の用途以外のデータという位置付けっぽい
構造化するけど非構造にするというか非構造ではないけど半構造でもないみたいなのを取り扱える魔法のような考えのものはまだないっぽい気がする。

データの分析と再編集という考え方はどうか。。

lambdaでのテキスト抽出

Athenaというサービス(様々なデータをクエリで分析)

それぞれの構造などの分析方法はサービス側で規定されているってか仕様通りっぽいのかな

使用量プラン

APIを提供する際のプランによる制限を管理することができる

【新機能】Amazon API Gatewayに「使用量プラン」機能が追加。キーごとにスロットリングやリクエストの制限が可能に | Developers.IO
http://dev.classmethod.jp/cloud/aws/usage-plan-for-api-gateway/

トークンバケットモデル

スロットリング調整の考え方(アルゴリズム)

トークンバケットモデルではバケット(ばけつ)の中にトークンがまず入っています。リクエストがきたら1つのリクエストにトークンを合わせてネットワークに送り出します。つまり、バケットの中にあるトークンの数だけリクエストを送ることができ、なくなったら{"message": "null"}という形でレスポンスを返します。この「バケットに入る最大トークン量」が「バースト」です。
一方このバケットには一定単位でトークンが補充されていきます。ですのでバケットが空になっても補充された分のトークンは使えるようになるため、リクエスト自体は送れるようになりますが、バースト分のトークンを使いきった時はこの補充されたトークンのみを使えるようになるためつながりやすさは落ちます。この補充される割合を「レート」と言います。

つまり、キューイング的な仕組みになってるってことね。
そして、トークン数=リクエスト可能数。

レート

秒間のリクエスト数

バースト

貯金しておけるリクエストトークン

クォータ

月間のリクエスト数

ステージ

開発環境と本番環境とかそういうやつ
ステージの概念はつかわなくてスキップしても使える

デフォルトプラン

Amazon API Gatewayのための利用プラン | Amazon Web Services ブログ
https://aws.amazon.com/jp/blogs/news/new-usage-plans-for-amazon-api-gateway/

デフォルトプランはスロットリングもクオータもありませんし、APIの挙動を変更しません。

APIキー

APIキーは識別のためであり、認証のためではないことを指摘しておきます。キーはリクエストの署名のためには使われず、セキュリティ機構として使うべきではありません

API Gateway カスタムオーソライザー

Lambdaの関数を呼び出すつもりがなぜかうまく呼び出せない。
lambdaのバージョンを作成したら呼び出せた。

db

AWS上のデータベースサービスが沢山あってよくわからないので、整理してまとめてみた - Qiita
http://qiita.com/iron-breaker/items/48b430e125e7c4ef0fbd

RDBMSならRDSなのか。
いざ、RDBMSを選択しようとしたら、oracleとかauroraとかが選択肢にありまた調べる。

【速報】Amazon Aurora with PostgreSQL compatibility が発表されました! #reinvent | Developers.IO
http://dev.classmethod.jp/cloud/aws/reinvent2016-postgre-aurora/

いよいよAuroraを選択しない理由がなくなってきた | レコチョクのエンジニアブログ
https://techblog.recochoku.jp/1064

Amazon Aurora for PostgreSQL compatibilityの話を聞いてきたよ - Qiita
http://qiita.com/ma2shita/items/4d6281de0bcec1132160

プロトコルレベルでのPostgreSQLと同じ振る舞い

Amazon AuroraをMySQLと比べてみた(前編) | Nedia What's up!
http://blog.nedia.ne.jp/2016/07/21/7882.html

mysqlだけど、インスタンスで単位価格はかわるのね。現在、具体的にはどうなのか。

Amazon Aurora アップデート – PostgreSQL 互換のエンジン | Amazon Web Services ブログ
https://aws.amazon.com/jp/blogs/news/amazon-aurora-update-postgresql-compatibility/

10月 – ストアードプロシジャーからLambda Functionの呼び出し
10月 – S3からのデータ読み込み
9月 – リーダーエンドポイントが追加されました – 負荷分散と高可用性向上 –
9月 – Parallel Read Ahead, Faster Indexing, NUMA Awareness
7月 – MySQLバックアップからクラスタを作成可能になりました
6月 – Cross-Region Read Replicaがご利用頂けるようになりました
5月 – アカウント間でスナップショットを共有頂けるようになりました
4月 – Cluster view for Amazon Aurora in RDS console
3月 – Amazon Auroraのリードレプリカで、フェイルオーバーの順番を指定可能になりました
3月 – Local Time Zone Support
3月 – ソウルリージョンでご利用可能に
2月- シドニーリージョンでご利用可能に
そして今、 PostgreSQL 互換のエンジンをご利用可能に

公式の価格表

料金 - Amazon Aurora | AWS
https://aws.amazon.com/jp/rds/aurora/pricing/

料金 - Amazon RDS for PostgreSQL | AWS
https://aws.amazon.com/jp/rds/postgresql/pricing/

うーん、やっぱりposgreかな。試して見たくはあるけど。
開発時点で生産性が違うならだけど。。無料枠も使えた方がいいし。

以下参考

[S3] OS X に goofys 入れて S3 をマウントする - Qiita
http://goo.gl/ijxueU

バケットポリシーの例 - Amazon Simple Storage Service
https://goo.gl/gppMRL

Managing Access Keys for IAM Users - AWS Identity and Access Management
http://goo.gl/ma1bdL

aws configure 複数 - Google 検索
https://goo.gl/ZjA6JJ

AWS CLIで複数アカウントのアクセスキーを管理して扱う設定 - Qiita
http://goo.gl/B5Gkzm

AWS CLIで複数のProfileを使い分ける - Qiita
http://goo.gl/IMEUpw

AWSのアクセスキーの切り換え - Qiita
http://goo.gl/c3yRu1

特定のS3バケットのみアクセスできるIAMユーザーを作成しアクセス制限をかけることができます。 | ナレコムAWSレシピ
http://goo.gl/aWhxi8

S3のアクセスコントロールまとめ - Qiita
http://goo.gl/J16794

S3のアクセスコントロールまとめ - Qiita
http://goo.gl/J16794

Goofysを使ってS3をマウント | Boiler Room
http://goo.gl/9Hkvmk

s3fsよりも高速に使えるgoofysを試してみた | Developers.IO
http://goo.gl/c24taF

kahing/goofys: a Filey System for Amazon S3 written in Go
https://goo.gl/sGa1nS

起動オプション - Google Chrome まとめWiki
http://goo.gl/8u8o

S3の料金体系が分かりにくいと聞かれたので纏めた - Qiita
http://goo.gl/ag3lb

Amazon S3と同期させるためのツール7選
http://goo.gl/x94N7G

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?