aws-cli
なるほど、プロフィールで複数設定できるのね
s3
マウントしてみた。
リアルタイムでやりたかったけど通信料をケチる方向に流れたので、
オンデマンド同期を目指す。
AWS,S3自体もプライベートでは使っていないのでドキドキ。
バケットポリシーとIAMポリシーを設定してみた。
片方で良かったのかもだけど、若干手違いで手間取ったので両方試した。
s3への同期ツール
DragonDiskがよさげ。コマンドラインツールもある。
でもなぜか動かせなかった。
goofysのほうは細かく手を入れられそうな気がしたし、先に見つけたのでやってみた。
lambda
チュートリアルを実行してみる参考
使い道の事例
わからないまま試してみた
dynamoDBの操作が初期のチュートリアルのサンプルコードだったのでdynamoDBにテーブルを作成してやってみた。
IAMは特に承認とかせずに実行できた。
考えてる(非?)構造データの扱いがAWSでできるか
非構造データは構造化の用途以外のデータという位置付けっぽい
構造化するけど非構造にするというか非構造ではないけど半構造でもないみたいなのを取り扱える魔法のような考えのものはまだないっぽい気がする。
データの分析と再編集という考え方はどうか。。
lambdaでのテキスト抽出
Athenaというサービス(様々なデータをクエリで分析)
それぞれの構造などの分析方法はサービス側で規定されているってか仕様通りっぽいのかな
使用量プラン
APIを提供する際のプランによる制限を管理することができる
【新機能】Amazon API Gatewayに「使用量プラン」機能が追加。キーごとにスロットリングやリクエストの制限が可能に | Developers.IO
http://dev.classmethod.jp/cloud/aws/usage-plan-for-api-gateway/
トークンバケットモデル
スロットリング調整の考え方(アルゴリズム)
トークンバケットモデルではバケット(ばけつ)の中にトークンがまず入っています。リクエストがきたら1つのリクエストにトークンを合わせてネットワークに送り出します。つまり、バケットの中にあるトークンの数だけリクエストを送ることができ、なくなったら{"message": "null"}という形でレスポンスを返します。この「バケットに入る最大トークン量」が「バースト」です。
一方このバケットには一定単位でトークンが補充されていきます。ですのでバケットが空になっても補充された分のトークンは使えるようになるため、リクエスト自体は送れるようになりますが、バースト分のトークンを使いきった時はこの補充されたトークンのみを使えるようになるためつながりやすさは落ちます。この補充される割合を「レート」と言います。
つまり、キューイング的な仕組みになってるってことね。
そして、トークン数=リクエスト可能数。
レート
秒間のリクエスト数
バースト
貯金しておけるリクエストトークン
クォータ
月間のリクエスト数
ステージ
開発環境と本番環境とかそういうやつ
ステージの概念はつかわなくてスキップしても使える
デフォルトプラン
Amazon API Gatewayのための利用プラン | Amazon Web Services ブログ
https://aws.amazon.com/jp/blogs/news/new-usage-plans-for-amazon-api-gateway/
デフォルトプランはスロットリングもクオータもありませんし、APIの挙動を変更しません。
APIキー
APIキーは識別のためであり、認証のためではないことを指摘しておきます。キーはリクエストの署名のためには使われず、セキュリティ機構として使うべきではありません
API Gateway カスタムオーソライザー
Lambdaの関数を呼び出すつもりがなぜかうまく呼び出せない。
lambdaのバージョンを作成したら呼び出せた。
db
AWS上のデータベースサービスが沢山あってよくわからないので、整理してまとめてみた - Qiita
http://qiita.com/iron-breaker/items/48b430e125e7c4ef0fbd
RDBMSならRDSなのか。
いざ、RDBMSを選択しようとしたら、oracleとかauroraとかが選択肢にありまた調べる。
【速報】Amazon Aurora with PostgreSQL compatibility が発表されました! #reinvent | Developers.IO
http://dev.classmethod.jp/cloud/aws/reinvent2016-postgre-aurora/
いよいよAuroraを選択しない理由がなくなってきた | レコチョクのエンジニアブログ
https://techblog.recochoku.jp/1064
Amazon Aurora for PostgreSQL compatibilityの話を聞いてきたよ - Qiita
http://qiita.com/ma2shita/items/4d6281de0bcec1132160
プロトコルレベルでのPostgreSQLと同じ振る舞い
Amazon AuroraをMySQLと比べてみた(前編) | Nedia What's up!
http://blog.nedia.ne.jp/2016/07/21/7882.html
mysqlだけど、インスタンスで単位価格はかわるのね。現在、具体的にはどうなのか。
Amazon Aurora アップデート – PostgreSQL 互換のエンジン | Amazon Web Services ブログ
https://aws.amazon.com/jp/blogs/news/amazon-aurora-update-postgresql-compatibility/
10月 – ストアードプロシジャーからLambda Functionの呼び出し
10月 – S3からのデータ読み込み
9月 – リーダーエンドポイントが追加されました – 負荷分散と高可用性向上 –
9月 – Parallel Read Ahead, Faster Indexing, NUMA Awareness
7月 – MySQLバックアップからクラスタを作成可能になりました
6月 – Cross-Region Read Replicaがご利用頂けるようになりました
5月 – アカウント間でスナップショットを共有頂けるようになりました
4月 – Cluster view for Amazon Aurora in RDS console
3月 – Amazon Auroraのリードレプリカで、フェイルオーバーの順番を指定可能になりました
3月 – Local Time Zone Support
3月 – ソウルリージョンでご利用可能に
2月- シドニーリージョンでご利用可能に
そして今、 PostgreSQL 互換のエンジンをご利用可能に
公式の価格表
料金 - Amazon Aurora | AWS
https://aws.amazon.com/jp/rds/aurora/pricing/
料金 - Amazon RDS for PostgreSQL | AWS
https://aws.amazon.com/jp/rds/postgresql/pricing/
うーん、やっぱりposgreかな。試して見たくはあるけど。
開発時点で生産性が違うならだけど。。無料枠も使えた方がいいし。
以下参考
[S3] OS X に goofys 入れて S3 をマウントする - Qiita
http://goo.gl/ijxueU
バケットポリシーの例 - Amazon Simple Storage Service
https://goo.gl/gppMRL
Managing Access Keys for IAM Users - AWS Identity and Access Management
http://goo.gl/ma1bdL
aws configure 複数 - Google 検索
https://goo.gl/ZjA6JJ
AWS CLIで複数アカウントのアクセスキーを管理して扱う設定 - Qiita
http://goo.gl/B5Gkzm
AWS CLIで複数のProfileを使い分ける - Qiita
http://goo.gl/IMEUpw
AWSのアクセスキーの切り換え - Qiita
http://goo.gl/c3yRu1
特定のS3バケットのみアクセスできるIAMユーザーを作成しアクセス制限をかけることができます。 | ナレコムAWSレシピ
http://goo.gl/aWhxi8
S3のアクセスコントロールまとめ - Qiita
http://goo.gl/J16794
S3のアクセスコントロールまとめ - Qiita
http://goo.gl/J16794
Goofysを使ってS3をマウント | Boiler Room
http://goo.gl/9Hkvmk
s3fsよりも高速に使えるgoofysを試してみた | Developers.IO
http://goo.gl/c24taF
kahing/goofys: a Filey System for Amazon S3 written in Go
https://goo.gl/sGa1nS
起動オプション - Google Chrome まとめWiki
http://goo.gl/8u8o
S3の料金体系が分かりにくいと聞かれたので纏めた - Qiita
http://goo.gl/ag3lb
Amazon S3と同期させるためのツール7選
http://goo.gl/x94N7G