LoginSignup
0
0

More than 1 year has passed since last update.

@jimbot3(jimbot 3)

キャッシュの実装(AWS Memcachedの実行環境の構築)

Last updated at Posted at 2022-01-30

はじめに

Amazon ElastiCache for Memcachedを利用した値の取得について記載します。
実行環境は以下となります。

001.PNG

また、それぞれのセキュリティグループのインバウンド許可は以下になっています。

AWSサービス 利用用途
EC2 User側から5000番ポート(アプリがflaskのため)の許可, Cloud9から22番ポートの許可(アプリ配置のため)
RDS EC2,Cloud9の割り当てたセキュリティグループから3306番ポートの許可
Memcached EC2,Cloud9から11211番ポートの許可
Cloud9 デフォルト

各AWSリソースの作成

各AWSリソースの作成と設定についてを記載します。
EC2,RDS,Cloud9については、一般的な作成方法なので設定内容についての記載をし、Memcachedについては作成方法についてを記載します。

1. RDSの設定

RDSの構築そのものについては割愛します。(広く一般的な作成方法のため)
データの投入についての一連の作業はCloud9から実施しています。
以下は、Cloud9でmysql --versionでmysqlが入っていることを確認し、mysql -h XXXXX.ap-northeast-1.rds.amazonaws.comで接続してからデータを投入した流れです。

$ mysql --version
mysql  Ver 15.1 Distrib 10.2.38-MariaDB, for Linux (x86_64) using  EditLine wrapper
$ mysql -h XXXXX.ap-northeast-1.rds.amazonaws.com -P 3306 -u admin -p
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 12
Server version: 8.0.23 Source distribution

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

> create database food;
> connect food;
> create table fruit (ID varchar(32) UNIQUE,Name varchar(128));
> insert into fruit (ID, Name) values('001' , 'Peach');
> insert into fruit (ID, Name) values('002' , 'Orange');
> select * from fruit;
+------+--------+
| ID   | Name   |
+------+--------+
| 001  | Peach  |
| 002  | Orange |
+------+--------+
2 rows in set (0.01 sec)

2. EC2とCloud9設定

EC2とCloud9の構築についても広く一般的な構築方法のため割愛します。構築後にログインした後は、flaskやemcachedのモジュールのインストールのため以下yumコマンドの実行を行います。

$ pip3 install Flask
$ pip3 install PyMySQL
$ pip3 install python-memcached

また、今回はCloud9を開発環境としているため、Cloud9で作成したアプリケーションを配置するにはscpコマンドを利用し、EC2へのログインに関してはsshコマンドでCloud9経由でEC2へのログインを行っています。

$ scp -i ./AWS_TEST.pem -r ./flask_app ec2-user@10.1.10.110:/home/ec2-user 
$ ssh -i ./AWS_TEST.pem ec2-user@10.1.10.110

3. Memcachedの作成

Amazon ElastiCache Memcachedの作成の作成についてですが、これは以下のように1画面入力するだけで作成できます。「キャッシュ環境の作成なんて難しいんだろうな」とかまるで思う必要ないと思います。作る分にはRDSより簡単なはずです。ポイントという事も特にないのですが、サブネットグループがあったりや、プライベートサブネットに配置しパブリックサブネットのEC2からアクセスしてきたデータを返せるようにするなどRDSの構築を行うように作成できます。

003.PNG

各プログラムについて

今回はpythonのflaskというフレームワークを利用しています。
まず、ディレクトリ構成は以下のようになっています。

Cloud9で表示されるディレクトリ画面
002.PNG
↓

flask_app
├── app
│   ├── app.py
│   ├── static
│   └── templates
│       ├── hit.html
│       ├── index.html
│       └── Nothit.html
└── run.py

それぞれのpython,htmlファイルは以下のようになっています。

1.run.py

flaskの実行というか起動(開始)ファイルで以下コマンドを実行することでサービスを開始できます。コマンド実行後のh ttp://x.x.x.x:5000でwebアクセスができます。
$ python3 run.py #実行コマンド

run.py
from app.app import app

if __name__ == "__main__":
    app.run(host='0.0.0.0', port='5000')

2.app.py

アプリケーションプログラムファイルです。
それぞれポイントになりそうな点はプログラム内にコメントを入れております。
(except～～については適当に例外処理を記載しただけなのでコメント入れてないです。。。)

app.py
# import
import pymysql.cursors
import memcache
from flask import Flask, request, render_template

app = Flask(__name__)


#Memcachedの定義
cache = memcache.Client(['mytest.xxxxxx.cfg.apne1.cache.amazonaws.com:11211'])

#デフォルトページの指定
@app.route('/')
def index():
    return render_template("index.html")


#index.htmlから/kobetsuに対してデータが飛ばされたときの実行プログラム
@app.route('/kobetsu', methods=['GET'])
def kobetsu():
    ID = request.args.get('ID')
    cachevalue = cache.get(str(ID)) #キャッシュサーバに対してデータが格納されているかを確認

    if cachevalue: # キャッシュサーバにデータが格納されておりtrue状態であればhit.htmlを返す
        return render_template('hit.html', cachevalueID=cachevalue['ID'],cachevalueName=cachevalue['Name'])
    else: #キャッシュサーバにデータが格納されておらずfalse状態であればRDSにデータを取得しに行く
        connection = pymysql.connect(host='xxxxxx.xxxxxx.ap-northeast-1.rds.amazonaws.com',
        user='admin',
        password='1qaz2wsx',# 脆弱なパスワード←?
        db='food',
        charset='utf8',
        cursorclass=pymysql.cursors.DictCursor)
    try:
        with connection.cursor() as cursor:
            sql = 'SELECT * FROM fruit where ID="%s"' %(ID)
            cursor.execute(sql)
            results = cursor.fetchall()
            if results:
                for r in results:
                    cache.set(str(ID) ,r ,time=600) # index.htmlから飛ばされたIDに対して出力された結果をkey:ID value:r としてキャッシュサーバに格納。timeはキャッシュサーバのデータ保有時間
                    return render_template('Nothit.html', resultsID=r['ID'], resultsName=r['Name']) # Nothit.htmlを返す
            else:
                raise TypeError()
    except TypeError: #エラー処理は結構適当です。
        connection.rollback()
        return 'No ID!!!'
    except Exception as error:
        connection.rollback()
        return 'Please call jimbot 080-XXXX-XXXX', error.args[0]
    finally:
        connection.close()

#index.htmlから/tourokuに対してデータが飛ばされたときの実行プログラム
@app.route('/touroku', methods=['POST'])
def touroku():
    ID = request.form["ID"]
    Name = request.form["Name"]

    cache.flush_all() #キャッシュの削除を行う。これは、登録した後もキャッシュが残り続けていたらユーザが登録されていないと誤認するのを防ぐため。

    connection = pymysql.connect(host='xxxxxx.xxxxxx.ap-northeast-1.rds.amazonaws.com',
    user='admin',
    password='1qaz2wsx',# 脆弱なパスワード←?
    db='food',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor)
    try:
        with connection.cursor() as cursor:
            sql = "INSERT INTO fruit (ID, Name) VALUES (%s, %s)"
            cursor.execute(sql, (ID,Name))
        connection.commit()
        return 'Welcome ID :  '  + str(ID) +'!!!'
    except connection.IntegrityError: #エラー処理は結構適当です。
        connection.rollback()
        return 'MemberID already exists!!! Please try update command and put option.'
    except NameError:
        connection.rollback()
        return 'There is a mistake in the value you entered. Please enter \'ID\',Name '
    except Exception as error:
        connection.rollback()
        return 'Please call jimbot 080-XXXX-XXXX', error.args[0]
    finally:
        connection.close()

#index.htmlから/taberaretaに対してデータが飛ばされたときの実行プログラム
@app.route('/taberareta', methods=['POST'])
def taberareta():
    ID = request.form["ID"]

    cache.flush_all()#キャッシュの削除を行う。これは、削除した後もキャッシュが残り続けていたらユーザが削除されていないと誤認するのを防ぐため。

    connection = pymysql.connect(host='xxxxxx.xxxxxx.ap-northeast-1.rds.amazonaws.com',
    user='admin',
    password='1qaz2wsx',# 脆弱なパスワード←?
    db='food',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor)
    try:
        with connection.cursor() as cursor:
            sql = 'SELECT * FROM fruit where ID="%s"' %(ID)
            cursor.execute(sql)
            results = cursor.fetchall()
            if results:
                sql = "DELETE FROM fruit WHERE ID = '%s'" %(ID)
                cursor.execute(sql)
                connection.commit()
                return 'Delete ID :  '  + str(ID) +' (T_T)'
            else:
                raise TypeError()
    except TypeError:  #エラー処理は結構適当です。
        connection.rollback()
        return 'No ID!!!'
    except Exception as error:
        connection.rollback()
        return 'Please call jimbot 080-XXXX-XXXX', error.args[0]
    finally:
        connection.close()

3.index.html

トップ画面です。 結構適当です。いや、かなり適当です。
各Form内に値を入力してSend Dataを押下するとapp.py内の"/touroku","/kobetsu","/taberareta"にデータを渡すようになっています。

index.html
<html>
<head> </head>
<table border="0">
  <body>
    <h1>Welcome to Fruit Data</h1>
    <hr>
    <form action="/touroku" method="POST">
      <table border="2">
        <h3>Add Fruit Information Data</h3>
        <tr>
          <td align="right"><b> ID:</b></td>
          <td><input type="text" name="ID" size="3" maxlength="3"></td>
        </tr>
        <tr>
          <td align="right"><b> Name:</b></td>
          <td><input type="text" name="Name" size="30" maxlength="30"></td>
        </tr>
      </table>
      <td> <input type="submit" value="Send Data"> <input type="reset" value="Reset"> </td>
    </form> <br> <br>
    <form action="/kobetsu" method="Get">
      <table border="2">
        <h3>Get a Fruit Information Data</h3>
        <tr>
          <td align="right"><b> ID:</b></td>
          <td><input type="text" name="ID" size="3" maxlength="3"></td>
        </tr>
      </table>
      <td> <input type="submit" value="Send Data"> <input type="reset" value="Reset"> </td>
    </form> <br>
    <form action="/taberareta" method="POST">
      <table border="2">
        <h3>Delete Fruit Data (T_T) </h3>
        <tr>
          <td align="right"><b> ID:</b></td>
          <td><input type="text" name="ID" size="3" maxlength="3"></td>
        </tr>
      </table>
      <td> <input type="submit" value="Send Data"> <input type="reset" value="Reset"> </td>
    </form>
  </body>
</html>

4.hit.html

キャッシュにヒットしたときに返される画面です。
app.py内の【return render_template('hit.html', cachevalueID=cachevalue['ID'],cachevalueName=cachevalue['Name'])】で返される画面です。

hit.html
<head>
</head>
<body>
  <h1>hit!!!  ID {{ cachevalueID }} は {{ cachevalueName }} です。</h1>
</body>

5.Nothit.html

キャッシュにヒットしなかったときに返される画面です。
app.py内の【return render_template('Nothit.html', resultsID=r['ID'], resultsName=r['Name'])】で返される画面です。

Nothit.html
<head>
</head>
<body>
  <h1>Nothit...  ID {{ resultsID }} は {{ resultsName }} です。 </h1>
</body>

構成や各ファイルの内容以下URLの説明が非常に分かりやすかったので、こちらもご覧ください。
https://qiita.com/kiyokiyo_kzsby/items/0184973e9de0ea9011ed

キャッシュの動作テスト

キャッシュの動作テストとその他の動作についてもテストを行います。
テストは以下の順序で行います。

1.フルーツ個別検索(hitなし)
2.フルーツ個別検索(hitあり)
3.フルーツ追加
4.フルーツ個別検索(3の追加時にキャッシュクリアされたためhitなし)
5.フルーツ個別検索(hitあり)
6.3で追加したフルーツの個別検索
7.3で追加したフルーツの削除
8.3で追加したフルーツを検索しデータなし
9.フルーツ個別検索(6の削除時にキャッシュクリアされたためhitなし)

0.top画面はこんな感じ

top.PNG

1.フルーツ個別検索(hitなし)

初回検索なのでNothit.htmlを返します。
kekka_001.PNG

2.フルーツ個別検索(hitあり)

1で検索されておりMemcachedに格納されている【cache.set(str(ID) ,r ,time=600)】ためhit.htmlを返します。
kekka_002.PNG

3.フルーツ追加

新規フルーツの追加
kekka_003_1.PNG

確認画面。これは専用のhtml画面では無くapp.pyのreturn【return 'Welcome ID : ' + str(ID) +'!!!'】を返すものです。
kekka_003_2.PNG

4.フルーツ個別検索(3の追加時にキャッシュクリアされたためhitなし)

キャッシュがクリアされた【cache.flush_all()】のでNothit.htmlを返します。
kekka_004.PNG

5.フルーツ個別検索(hitあり)

4でキャッシュが格納されたのでhit.htmlを返します。
kekka_005.PNG

6.3で追加したフルーツの個別検索

検索画面
kekka_006_1.PNG

検索結果。ID3に関しては初回検索のためNothit.htmlを返す。
kekka_006_2.PNG

7.3で追加したフルーツの削除

削除画面。フルーツが食べられたことを示します。
kekka_007_1.PNG

確認画面。これは専用のhtml画面では無くapp.pyのreturn【return 'Delete ID : ' + str(ID) +' (T_T)'を返すものです。kekka_007_2.PNG
】

8.3で追加したフルーツを検索しデータなし

検索画面
kekka_008_1.PNG

削除されたIDが無いことを確認。app.pyの以下のRDSにデータが無かった時に返されるエラーを拾って画面に返すようしています。

    except TypeError: #エラー処理は結構適当です。
        connection.rollback()
        return 'No ID!!!'

kekka_008_2.PNG

9.フルーツ個別検索(6の削除時にキャッシュクリアされたためhitなし)

検索画面
kekka_009_1.PNG

確認画面。7の削除の際にキャッシュがクリアされたのでNothit.htmlを返します。
kekka_009_2.PNG

おわりに

簡単にキャッシュサーバを作成し簡単なプログラムでキャッシュのテストを実行したものですが、キャッシュとキーバリューの感覚はつかめました。最後まで読んでいただきありがとうございました。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0