あらまし

Python 3.11 で pdb でデバッグしようとしたところ、文字コードに関する問題が発生したので備忘。
※コンソール出力からは、パス情報を除去しています。

環境

Python 3.10, 3.11, 3.12
Windows 10

テストコード

文字コードは UTF-8 で保存していた。

#!/usr/bin/env python

def main():
    print ('こんにちは、世界！')

if __name__ == '__main__':
    main()

普通に実行 ⇒ 問題なし

PS > py -3.10 .\test.py
こんにちは、世界！
PS > py -3.11 .\test.py
こんにちは、世界！
PS > py -3.12 .\test.py
こんにちは、世界！

pdb で実行

3.10 ⇒ 問題なし

PS > py -3.10 -m pdb .\test.py
> test.py(3)<module>()
-> def main():
(Pdb) c
こんにちは、世界！
The program finished and will be restarted
> test.py(3)<module>()
-> def main():
(Pdb)

3.11 ⇒ UnicodeDecodeError

PS > py -3.11 -m pdb .\test.py
Traceback (most recent call last):
  File "Python\Python311\Lib\pdb.py", line 1774, in main
    pdb._run(target)
  File "Python\Python311\Lib\pdb.py", line 1652, in _run
    self.run(target.code)
             ^^^^^^^^^^^
  File "Python\Python311\Lib\pdb.py", line 167, in code
    return f"exec(compile({fp.read()!r}, {self!r}, 'exec'))"
                           ^^^^^^^^^
UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 74: illegal multibyte sequence
Uncaught exception. Entering post mortem debugging
Running 'cont' or 'step' will restart the program
> python\python311\lib\pdb.py(167)code()
-> return f"exec(compile({fp.read()!r}, {self!r}, 'exec'))"
(Pdb)

3.12 ⇒ UnicodeDecodeError

PS > py -3.12 -m pdb .\test.py
Traceback (most recent call last):
  File "Python\Python312\Lib\pdb.py", line 1813, in main
    pdb._run(target)
  File "Python\Python312\Lib\pdb.py", line 1652, in _run
    self.run(target.code)
             ^^^^^^^^^^^
  File "Python\Python312\Lib\pdb.py", line 167, in code
    return f"exec(compile({fp.read()!r}, {self!r}, 'exec'))"
                           ^^^^^^^^^
UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 74: illegal multibyte sequence
Uncaught exception. Entering post mortem debugging
Running 'cont' or 'step' will restart the program
> python\python312\lib\pdb.py(167)code()
-> return f"exec(compile({fp.read()!r}, {self!r}, 'exec'))"
(Pdb)

原因

3.11から、pdbがソースコードを読み込むときの方法が変わったようだ。
3.10では io.open_code で開いていたが、3.11では io.open で読み込んでいる。(たぶん。)

3.10
https://github.com/python/cpython/commit/2c2055884420f22afb4d2045bbdab7aa1394cb63#diff-98d47941a1bfadcfdfe02973122c83be2940ca6f3b1c32ca8898e7f594d2669dL1580

3.11
https://github.com/python/cpython/commit/2c2055884420f22afb4d2045bbdab7aa1394cb63#diff-98d47941a1bfadcfdfe02973122c83be2940ca6f3b1c32ca8898e7f594d2669dR166

io.open_code についてはこちら。
https://docs.python.org/ja/3/library/io.html#io.open_code

なので、3.10ではバイナリモードで読み込んでいたため、文字コードエラーは起きていなかったが、
3.11で通常のテキストモードで読み込んでいるため、
デフォルトエンコードがSJIS(CP932?)であるWindowsでは文字コードエラーが発生しているようだ。

対策

UTF-8モードを有効にする

Pythonは原則環境依存の文字コードを採用するが、これを強制的にUTF-8を標準とする方法がある。
https://docs.python.org/ja/3/using/windows.html#win-utf8-mode

環境変数 PYTHONUTF8 に 1 をすればOK。

ソースコードをShift-JISにする

文字通り。

疑問

自分の中ではpdbのソースコード読み込み方法を変更する議論が見つけられなかったのだが(よわよわ英語力)、どのような経緯でこの仕様が変更されたのだろうか？
このプルリクでは議論されてないっぽい？ https://github.com/python/cpython/pull/26992