はじめに

サーバーのPythonのアップグレードに挑戦しました。かなり時間を取られたので、備忘録としてここにまとめます。

環境

CentOS 7
python3.6とpython2.7が予め入っている

1. pyenvのインストール

$ pyenv versions

以下のように出力されれば、インストールされていないことになります。バージョンが表示される場合は、インストールされているので読み飛ばしてください。

bash: pyenv: command not found...

pyenvのインストールは以下の記事を参考にしました。手順をまとめておきます。

1-1. pyenvの使用に必要となるパッケージのインストール

$ sudo yum install gcc zlib-devel bzip2 bzip2-devel readline readline-devel sqlite sqlite-devel openssl openssl-devel git libffi-devel

1-2.ホームディレクトリ下にpyenvのリポジトリをクローンする

$ git clone https://github.com/pyenv/pyenv.git ~/.pyenv

1-3. .bash_profileにpyenvのパスを追加

$ echo 'export PATH="$HOME/.pyenv/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile

1-4. pyenvのバージョンを確認

$ pyenv --version

pyenv 1.2.2-6-g694b551

2. pythonのインストール　（失敗）

入手できる最新のpythonのバージョンを確認。

$ pyenv install --list

3.11.3を選びました。

$ pyenv install 3.11.3

とすれば問題なくpython3.11.3がインストールできるはずですが

ModuleNotFoundError: No module named '_ssl'
ERROR: The Python ssl extension was not compiled. Missing the OpenSSL lib?

Please consult to the Wiki page to fix the problem.
https://github.com/pyenv/pyenv/wiki/Common-build-problems

とエラーが出てきてしまいました。どうやら、_sslというモジュールが無いというエラーのようです。
実際、以下のように打ち込み、インストールされているpythonのバージョンを確認してみても、3.11.3は出てきません。

$ pyenv versions

調べてみると、たくさん記事が出てきました。

なるほど。python3.10.x以降はopen-sslのバージョンが1.1.1以上でないとダメらしいです。open-sslとはchatGPTによると以下のようなものだそうです。

OpenSSLは、オープンソースの暗号ライブラリとツールキットです。データの暗号化、復号化、署名、証明書の作成、プロトコルの実装など、さまざまな暗号化関連の機能を提供します。

では、今入っているopen-sslのバージョンを確認してみます。

$ openssl version

OpenSSL 1.0.2k-fips 26 Jan 2017

確かにバージョンは1.0.2です。ではアップグレードを試みましょう。

3. opensslのアップグレード

まず試したのは以下のスクリプトです。

sudo yum install openssl11-devel --allowerasing

Command line error: no such option: --allowerasing

怒られました。

次に試したのは以下のコマンドです。

sudo yum install openssl11-devel

0 packages excluded due to repository protections
No package openssl11-devel available.

また怒られました。

よく見ると、以下のように書いてあります。

This system is not registered with an entitlement server. You can use subscription-manager to register.

なるほど、エンタイトルメントサーバーじゃないからダメ。みたいな話でしょうか。調べてみたら以下のような記事が出てきました。

/etc/yum/pluginconf.d/subscription-manager.confの中身にある、enabledの値を1から0に書き換えたらいいんですね。こちらの方が、もし万が一のことがあったときに書き直せばいいのでsudo subscription-manager registerとするよりも心理的にやりやすいです。
ということで、

$ vi /etc/yum/pluginconf.d/subscription-manager.conf

としてenabled=0に書き換えました。

登録を済ませた？ところで再び実行です。
openssl11もその開発用パッケージopenssl11-develもまとめてインストールします。

sudo yum install openssl11 openssl11-devel

No package openssl11 available.
No package openssl11-devel available.

ダメでした。
仕方ないのでソースコードから直接インストールする方法がないか調べてみたところ、以下の記事が見つかりました。

良さそうなので早速試してみることに。

3-1. 必要なパッケージのインストール

最初にインストールしたパッケージと一部被ってますが、気にせずインストールしました。

$ sudo yum install -y zlib-devel perl-core make gcc

3-2. opensslのダウンロード

次に、ソースコードをおいてあるサイトから、tar.gzファイルをダウンロード。

$ sudo curl https://www.openssl.org/source/openssl-1.1.1.tar.gz -o /usr/local/src/openssl-1.1.1.tar.gz

3-3. opensslのインストール

そしてOpenSSLのインストールです。

$ cd /usr/local/src
$ sudo tar xvzf openssl-1.1.1.tar.gz
$ cd openssl-1.1.1/
$ sudo ./config --prefix=/usr/local/openssl-1.1.1 shared zlib
$ sudo make depend
$ sudo make
$ sudo make test
$ sudo make install

インストールされたかを確認しましょう。以下のようになればOKです。

$ sudo ls -l /usr/local/openssl-1.1.1
total 0
drwxr-xr-x 2 root root  37 Jul 11 13:57 bin
drwxr-xr-x 3 root root  21 Jul 11 13:57 include
drwxr-xr-x 4 root root 159 Jul 11 13:57 lib
drwxr-xr-x 4 root root  28 Jul 11 13:58 share
drwxr-xr-x 5 root root 140 Jul 11 13:57 ssl

3-4. opensslのライブラリ群を追加する

どうやら、ライブラリの追加という操作が必要なようです。
以下のサイトを参考にしました。

$ vi /etc/ld.so.conf.d/openssl-1.1.1.conf

として、

/usr/local/openssl-1.1.1/lib

と書き込みました。

3-5. キャッシュファイルの更新

$ sudo ldconfig

3-6. ライブラリが追加されたことを確認

$ sudo ldconfig -p | grep libssl

これで、

libssl.so.1.1 (libc6,x86-64) => /usr/local/openssl-1.1.1/lib/libssl.so.1.1
libssl.so (libc6,x86-64) => /usr/local/openssl-1.1.1/lib/libssl.so

が追加されていれば（あれば）OKです。

3-7. 動作確認

以下のコマンドで問題なくインストールされていることがわかります。

$ sudo /usr/local/openssl-1.1.1/bin/openssl ciphers -v TLSv1.3
TLS_AES_256_GCM_SHA384  TLSv1.3 Kx=any      Au=any  Enc=AESGCM(256) Mac=AEAD
TLS_CHACHA20_POLY1305_SHA256 TLSv1.3 Kx=any      Au=any  Enc=CHACHA20/POLY1305(256) Mac=AEAD
TLS_AES_128_GCM_SHA256  TLSv1.3 Kx=any      Au=any  Enc=AESGCM(128) Mac=AEAD

さて、これで最新のOpenSSLがインストールできたので、自信をもってpyenv installができますね。

pyenvの実行再び

$ pyenv install 3.11.3

ModuleNotFoundError: No module named '_ssl'
ERROR: The Python ssl extension was not compiled. Missing the OpenSSL lib?

ダメでした。
OpenSSLは問題なくインストールできたはず。インストールできてるよね？ってことで調べてみる。

$ openssl version
OpenSSL 1.0.2k-fips  26 Jan 2017

できてない。いやでも間違いなくサーバーの何処かにちゃんとしたOpenSSLはおいてあるはず。ということは従来のバージョンと競合してるかもしれない。ログアウトして再度ログインしても問題は解決しない。さっきインストールしたOpenSSLは/usr/local/openssl-1.1.1/bin/opensslにある。
ということで絶対パスで確認してみる。

$ /usr/local/openssl-1.1.1/bin/openssl version
OpenSSL 1.1.1  11 Sep 2018

ビンゴ。絶対パスで指定してあげればちゃんと機能するってことは、正しくインストールはできたけど、opensslとコマンドを打つときに従来のopensslがまず読み込まれるようになっているということでしょう。これは従来のopensslがおいてあるPATHよりも前に、/usr/local/openssl-1.1.1/bin/opensslをPATHとして指定すれば解決しそう。

ということで、

$ vi .bashrc

として、

export PATH="/usr/local/openssl-1.1.1/bin/:$PATH"

とすれば良いんじゃないだろうか。

source ~/.bashrc

として変更を反映させて、

$ openssl version
OpenSSL 1.1.1  11 Sep 2018

うまくいきました。これでようやくpyenvが使えそうです。

$  pyenv install 3.11.3

ModuleNotFoundError: No module named '_ssl'
ERROR: The Python ssl extension was not compiled. Missing the OpenSSL lib?

ダメでした。
調べてみたところ、opensslが標準の場所とは違うところにインストールされたせいで、pythonのビルドがうまく行かないそう（以下の記事参考）。そこで、OpenSSLのヘッダ・ライブラリを見つけられるように、PYTHON_CONFIGURE_OPTSという環境変数にOpenSSLの場所を代入する必要があるみたいです。

上記の記事とはインストール場所が違うので、そこだけ書き換えた以下のコマンドを実行します。

$ echo 'export PYTHON_CONFIGURE_OPTS="--with-openssl=/usr/local/openssl-1.1.1"' >> ~/.bashrc

達成

流石に次はうまくいくだろうと思い、再度pyenvを実行します。

$ pyenv install 3.11.3

Downloading Python-3.11.3.tar.xz...
-> https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tar.xz
Installing Python-3.11.3...
Installed Python-3.11.3 to /root/.pyenv/versions/3.11.3

できました。
ようやくpython3.11.3がインストールできました。

以下のコマンドで、インストールができているか念のため確認します。アスタリスクの付いているものが現在の環境です。

$ pyenv versions

デフォルトで使用されるpythonを3.11.3にするために、

$ pyenv global 3.11.3

と実行して、

$ python -V
Python 3.11.3

と表示されればインストール終了です。

おまけ（一般ユーザーにも変化を適用する）

以下のように普段Pythonが使われているディレクトリに、新しくインストールしたPythonのシンボリックリンクを作成しました。

sudo ln -s $(pyenv which python) /usr/bin/python3.11

これで、
python3.11というコマンドによって、誰でもpython3.11.3を使うことが可能になりました。

結論

従来のPythonも残しつつ、新しいPythonも使えるようになりました。

追記：rootでやる必要はなかった

パッケージの保管場所など色々と面倒だったので、よく確認してみたら、上記のpyenvのインストールやpyenvの実行は別に一般ユーザーでもできることでした。なので、それぞれがｐｙenvをインストールしてopen-sslの問題をクリアして、好きなバージョンのpythonをインストールし管理する方がいい気がしました。
ですので、rootにインストールした新しいpyenvは

pyenb uninstall 3.11.3

として消しました。