redis-pyからRedis Sentinelにアクセスしてみる

TL;DR

• redis-pyはRedis Sentinelに対応したモジュールがあるので、そちらを使ってRedis Sentinelにアクセスが可能
• Redis Sentinel経由で取得したRedisへの接続はコネクションプールであり、通常のRedisへの操作と同様に利用可能
• マスターがダウンした際に使っていた接続（コネクションプール）は、フェイルオーバーに追従してくれる

環境

今回の環境は、こちら。

$ cat /etc/redhat-release 
CentOS Linux release 7.6.1810 (Core)


$ uname -a
Linux localhost.localdomain 3.10.0-957.12.2.el7.x86_64 #1 SMP Tue May 14 21:24:32 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux


$ redis-server -v
Redis server v=5.0.6 sha=00000000:0 malloc=jemalloc-5.1.0 bits=64 build=c3d7ebb6b1a2844b


$ redis-sentinel -v
Redis server v=5.0.6 sha=00000000:0 malloc=jemalloc-5.1.0 bits=64 build=c3d7ebb6b1a2844b


$ python -V
Python 3.6.8


$ pip3 freeze
redis==3.3.8

CentOS 7、Redis 5.0.6、Python 3.6.8、redis-py 3.3.8です。

各サーバーは、以下のように用意します。

• マスター … 192.168.33.10
• レプリカ … 192.168.33.11
• Sentinel 1〜3 … 192.168.33.12〜194.168.33.14
• クライアント … 192.168.33.15

Redis Sentinelの構築

まずは、Redis Sentinalを構築しましょう。

EPELから、Redisをインストールします。

$ sudo yum install epel-release
$ sudo yum install https://rpms.remirepo.net/enterprise/remi-release-7.rpm
$ sudo yum --enablerepo=remi install redis

まずは、Redisのレプリケーションを構成します。

Redisのマスターは、/etc/redis.confのデフォルト設定から以下のように変更。
※デフォルト設定の全体は、最後に記載します

bind 0.0.0.0

レプリカ側は、/etc/redis.confのデフォルト設定から以下のように変更。

bind 0.0.0.0

replicaof 192.168.33.10 6379

Redisのマスター、レプリカをそれぞれ起動して

$ sudo systemctl start redis

レプリケーションが動作していることを確認。

マスター側。

$ redis-cli -h 192.168.33.10
192.168.33.10:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=192.168.33.11,port=6379,state=online,offset=28,lag=0
master_replid:54810ab6453ffdf12f21ff34157e2e0d655f8a81
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:28
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:28

レプリカ側。

$ redis-cli -h 192.168.33.11
192.168.33.11:6379> info replication
# Replication
role:slave
master_host:192.168.33.10
master_port:6379
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_repl_offset:56
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:54810ab6453ffdf12f21ff34157e2e0d655f8a81
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:56
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:56

続いて、Redis Sentinelを構成します。/etc/redis-sentinel.confのデフォルト設定から、以下のように変更します。
※デフォルト設定の全体は、最後に記載します

sentinel monitor mymaster 192.168.33.10 6379 2

Redis Sentinel起動（3台で行います）。

$ sudo systemctl start redis-sentinel

確認。

$ redis-cli -h 192.168.33.12 -p 26379
192.168.33.12:26379> info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.33.10:6379,slaves=1,sentinels=3

マスター、レプリカがそれぞれひとつ、Sentinelが3つある状態ですね。

redis-pyで、Redis Sentinelにアクセスする

それでは、今度はRedis Sentinelにredis-pyからアクセスしてみます。まずはインストール。

$ pip3 install redis

今回のredis-pyのバージョンです。

$ pip3 freeze
redis==3.3.8

redis-pyからRedis Sentinelへのアクセスですが、以下を参考に

Sentinel support

コマンドラインプログラムを書いてみました。

sentinel_client.py

import re
from redis.exceptions import ReadOnlyError
from redis.sentinel import Sentinel
import sys

try:
    print('start sentinel client')

    sentinels = [('192.168.33.12', 26379), ('192.168.33.13', 26379), ('192.168.33.14', 26379)]
    sentinel = Sentinel(sentinels, decode_responses = True)

    redis = None

    while True:
        if redis != None:
            print('{}: > '.format(redis), end = '', flush = True)
        else:
            print('> ', end = '', flush = True)

        command = sys.stdin.readline().strip()

        if command == 'info master':
            print(sentinel.discover_master('mymaster'))
        elif command == 'info replicas':
            print(sentinel.discover_slaves('mymaster'))
        elif command == 'use master':
            redis = sentinel.master_for('mymaster')
        elif command == 'use replica':
            redis = sentinel.slave_for('mymaster')
        elif command == 'info':
            print(str(redis.info()))
        elif command.startswith('set '):
            tokens = re.split('\s+', command)
            key = tokens[1]
            value = tokens[2]

            try:
                redis.set(key, value)
                print('set {} = {}'.format(key, value))
            except ReadOnlyError as e:
                print('{}: {}'.format(e.__class__.__name__, e))

        elif command.startswith('get '):
            tokens = re.split('\s+', command)
            key = tokens[1]
            print('get[{}] = {}'.format(key, redis.get(key)))
        elif command.startswith('del '):
            tokens = re.split('\s+', command)
            key = tokens[1]

            try:
                redis.delete(key)
                print('del, {}'.format(key))
            except ReadOnlyError as e:
                print('{}: {}'.format(e.__class__.__name__, e))
        elif command == 'exit':
            print('bye bye!!')
            break
        elif not command:
            pass
        else:
            print('unknown command = {}'.format(command))

except KeyboardInterrupt:
    print('bye bye!!')

Sentinelへのアクセスは、各Sentinelプロセスへのアクセス先を使って、Sentinelインスタンスを作成することで行います。

    sentinels = [('192.168.33.12', 26379), ('192.168.33.13', 26379), ('192.168.33.14', 26379)]
    sentinel = Sentinel(sentinels, decode_responses = True)

マスターおよびレプリカへのアクセスは、Sentinel#master_forまたはSentinel#slave_forで行います。

            redis = sentinel.master_for('mymaster')

            redis = sentinel.slave_for('mymaster')

各メソッドの戻り値は、SentinelConnectionPoolのインスタンスです。

あとは、SentinelConnectionPoolに対してRedisコマンドを実行すればOKです。

        elif command.startswith('set '):
            tokens = re.split('\s+', command)
            key = tokens[1]
            value = tokens[2]

            try:
                redis.set(key, value)
                print('set {} = {}'.format(key, value))
            except ReadOnlyError as e:
                print('{}: {}'.format(e.__class__.__name__, e))

        elif command.startswith('get '):
            tokens = re.split('\s+', command)
            key = tokens[1]
            print('get[{}] = {}'.format(key, redis.get(key)))
        elif command.startswith('del '):
            tokens = re.split('\s+', command)
            key = tokens[1]

            try:
                redis.delete(key)
                print('del, {}'.format(key))
            except ReadOnlyError as e:
                print('{}: {}'.format(e.__class__.__name__, e))

あとは、情報取得系のコマンドを…。

        if command == 'info master':
            print(sentinel.discover_master('mymaster'))
        elif command == 'info replicas':
            print(sentinel.discover_slaves('mymaster'))


        elif command == 'info':
            print(str(redis.info()))

discover〜はSentinelにおけるマスター、レプリカの情報で、infoは接続しているRedisの情報です。

では、実行してみます。

$ python3 sentinel_client.py
start sentinel client
> 

マスター、レプリカの情報。

> info master
('192.168.33.10', 6379)
> info replicas
[('192.168.33.11', 6379)]

マスターに接続。

> use master

set、get。

Redis<SentinelConnectionPool<service=mymaster(master)>: > set key1 value1
set key1 = value1
Redis<SentinelConnectionPool<service=mymaster(master)>: > get key1
get[key1] = value1

レプリカにつなぎなおして、データ取得。

Redis<SentinelConnectionPool<service=mymaster(master)>: > use replica
Redis<SentinelConnectionPool<service=mymaster(slave)>: > get key1
get[key1] = value1

レプリカ側では、データの更新は不可です。

Redis<SentinelConnectionPool<service=mymaster(slave)>: > set key2 value2
ReadOnlyError: You can't write against a read only replica.

ここで、再度マスターに接続。

Redis<SentinelConnectionPool<service=mymaster(slave)>: > use master

マスターのRedisを停止してみます。

$ sudo systemctl stop redis

redis-cliで、マスターが切り替わったことを確認します。

$ redis-cli -h 192.168.33.12 -p 26379
192.168.33.12:26379> info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.33.11:6379,slaves=1,sentinels=3

この状態で、先程のマスターにつないだコマンドからデータを取得してみます。

Redis<SentinelConnectionPool<service=mymaster(master)>: > get key1
get[key1] = value1

なんか、動きました…。

このRedisの情報を見てみます。

Redis<SentinelConnectionPool<service=mymaster(master)>: > info
{'redis_version': '5.0.6', 'redis_git_sha1': 0, 'redis_git_dirty': 0, 'redis_build_id': 'c3d7ebb6b1a2844b', 'redis_mode': 'standalone', 'os': 'Linux 3.10.0-957.12.2.el7.x86_64 x86_64', 'arch_bits': 64, 'multiplexing_api': 'epoll', 'atomicvar_api': 'atomic-builtin', 'gcc_version': '4.8.5', 'process_id': 24544, 'run_id': 'ad1e763f073c8fcce092a773f2bbd2c5933d2bf9', 'tcp_port': 6379, 'uptime_in_seconds': 440050, 'uptime_in_days': 5, 'hz': 10, 'configured_hz': 10, 'lru_clock': 9707634, 'executable': '/usr/bin/redis-server', 'config_file': '/etc/redis.conf', 'connected_clients': 7, 'client_recent_max_input_buffer': 2, 'client_recent_max_output_buffer': 0, 'blocked_clients': 0, 'used_memory': 2070088, 'used_memory_human': '1.97M', 'used_memory_rss': 4554752, 'used_memory_rss_human': '4.34M', 'used_memory_peak': 2173256, 'used_memory_peak_human': '2.07M', 'used_memory_peak_perc': '95.25%', 'used_memory_overhead': 2024062, 'used_memory_startup': 791416, 'used_memory_dataset': 46026, 'used_memory_dataset_perc': '3.60%', 'allocator_allocated': 2637720, 'allocator_active': 3035136, 'allocator_resident': 7573504, 'total_system_memory': 510861312, 'total_system_memory_human': '487.20M', 'used_memory_lua': 37888, 'used_memory_lua_human': '37.00K', 'used_memory_scripts': 0, 'used_memory_scripts_human': '0B', 'number_of_cached_scripts': 0, 'maxmemory': 0, 'maxmemory_human': '0B', 'maxmemory_policy': 'noeviction', 'allocator_frag_ratio': 1.15, 'allocator_frag_bytes': 397416, 'allocator_rss_ratio': 2.5, 'allocator_rss_bytes': 4538368, 'rss_overhead_ratio': 0.6, 'rss_overhead_bytes': -3018752, 'mem_fragmentation_ratio': 2.25, 'mem_fragmentation_bytes': 2526672, 'mem_not_counted_for_evict': 0, 'mem_replication_backlog': 1048576, 'mem_clients_slaves': 0, 'mem_clients_normal': 183998, 'mem_aof_buffer': 0, 'mem_allocator': 'jemalloc-5.1.0', 'active_defrag_running': 0, 'lazyfree_pending_objects': 0, 'loading': 0, 'rdb_changes_since_last_save': 0, 'rdb_bgsave_in_progress': 0, 'rdb_last_save_time': 1569988537, 'rdb_last_bgsave_status': 'ok', 'rdb_last_bgsave_time_sec': 0, 'rdb_current_bgsave_time_sec': -1, 'rdb_last_cow_size': 221184, 'aof_enabled': 0, 'aof_rewrite_in_progress': 0, 'aof_rewrite_scheduled': 0, 'aof_last_rewrite_time_sec': -1, 'aof_current_rewrite_time_sec': -1, 'aof_last_bgrewrite_status': 'ok', 'aof_last_write_status': 'ok', 'aof_last_cow_size': 0, 'total_connections_received': 26, 'total_commands_processed': 2737329, 'instantaneous_ops_per_sec': 3, 'total_net_input_bytes': 202595677, 'total_net_output_bytes': 1041974292, 'instantaneous_input_kbps': 0.2, 'instantaneous_output_kbps': 0.54, 'rejected_connections': 0, 'sync_full': 0, 'sync_partial_ok': 0, 'sync_partial_err': 0, 'expired_keys': 0, 'expired_stale_perc': 0.0, 'expired_time_cap_reached_count': 0, 'evicted_keys': 0, 'keyspace_hits': 3, 'keyspace_misses': 2, 'pubsub_channels': 1, 'pubsub_patterns': 0, 'latest_fork_usec': 277, 'migrate_cached_sockets': 0, 'slave_expires_tracked_keys': 0, 'active_defrag_hits': 0, 'active_defrag_misses': 0, 'active_defrag_key_hits': 0, 'active_defrag_key_misses': 0, 'role': 'master', 'connected_slaves': 0, 'master_replid': '56d4bc022b7a089800bfe723201c821f570f2fe4', 'master_replid2': '54810ab6453ffdf12f21ff34157e2e0d655f8a81', 'master_repl_offset': 91797500, 'second_repl_offset': 91786762, 'repl_backlog_active': 1, 'repl_backlog_size': 1048576, 'repl_backlog_first_byte_offset': 90748925, 'repl_backlog_histlen': 1048576, 'used_cpu_sys': 1280.370212, 'used_cpu_user': 41.081586, 'used_cpu_sys_children': 0.004907, 'used_cpu_user_children': 0.0, 'cluster_enabled': 0, 'db0': {'keys': 1, 'expires': 0, 'avg_ttl': 0}}

レプリカがいないことになっていますね。

'connected_slaves': 0

ということは、接続しているのはフェイルオーバーしたレプリカのようです。

この状態で、レプリカに接続してデータを取得してみると、なんと動きます。

Redis<SentinelConnectionPool<service=mymaster(master)>: > use replica
Redis<SentinelConnectionPool<service=mymaster(slave)>: > get key1
get[key1] = value1

discover〜で見てみると、こういう状態です。

Redis<SentinelConnectionPool<service=mymaster(slave)>: > info master
('192.168.33.11', 6379)
Redis<SentinelConnectionPool<service=mymaster(slave)>: > info replicas
[]

となると、この場合はレプリカにつないでも、つなぐべきレプリカがいないのでマスターに接続することになるわけですね。

実際、更新も可能です。

Redis<SentinelConnectionPool<service=mymaster(slave)>: > use replica
Redis<SentinelConnectionPool<service=mymaster(slave)>: > set key2 value2
set key2 = value2

というわけで、マスターを使っている時に接続先がダウンした場合、フェイルオーバーしたマスターに昇格した旧レプリカにつないでくれるということですね（Sentinelが検知するまでの間の挙動にについては、今回は見ていませんが）。

とりあえず、挙動はなんとなくわかった感じです。

付録：EPELからインストールした、RedisおよびRedis Sentinelのデフォルト値

EPELからインストールした、/etc/redis.confのデフォルト値。

$ sudo grep -v '#' /etc/redis.conf | grep -v '^$'
bind 127.0.0.1
protected-mode yes
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile /var/log/redis/redis.log
databases 16
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /var/lib/redis
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
replica-priority 100
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes

EPELからインストールした、/etc/redis-sentinel.confのデフォルト設定。

$ sudo grep -v '#' /etc/redis-sentinel.conf | grep -v '^$'
port 26379
daemonize no
pidfile "/var/run/redis-sentinel.pid"
logfile "/var/log/redis/sentinel.log"
dir "/tmp"
sentinel myid 88cdee281108c92337965c782f60653f4f5d00fe
sentinel deny-scripts-reconfig yes
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel config-epoch mymaster 0
sentinel leader-epoch mymaster 0
protected-mode no
supervised systemd
sentinel known-replica mymaster 192.168.33.11 6379
sentinel known-sentinel mymaster 192.168.33.14 26379 4cdd5e38eccc965513db0d8be46b9eb6614418da
sentinel known-sentinel mymaster 192.168.33.13 26379 22249d49a0b530709b7897cbbb88a2db6da6a1b1
sentinel current-epoch 0