はじめに

プログラミングの効率を上げるためのアプローチとして注目されているテスト駆動開発（TDD）。今回はその実践ガイドである「テスト駆動Python」をAIツールと一緒に読み進めてみました。

今回活用したAIツールは、ChatGPTです。それぞれの特徴を活かしながら学習を進める中で、どのように役立ったのか、またどのような誤解や限界があったのかを解説します。

この記事では、特に以下のポイントについて解説します：

AIツールを活用して本を読むメリット
AIが示した情報の正確性や信頼性についての考察

参考にした本

今回参照した「テスト駆動Python」は、Pythonを用いたTDD（Test Driven Development）の実践を丁寧に解説した書籍です。

この本は初心者から上級者まで幅広い層を対象にしており、以下のトピックが詳しくカバーされています：

TDDの基本概念
pytestを使用したテストコードの記述方法

📚 書籍情報:

テスト駆動Python

開発環境

開発環境は以下の通りです：

pytest 8.3.4
ChatGPT-4

ChatGPTと一緒に読んだ場合

ChatGPTの活用法

ChatGPTは、質問に対して即座にテキストベースの回答を返すAIツールです。本を読む際に疑問点が生じた場合、ChatGPTに質問して即時に解説を得ることができます。「辞書代わり」として活用するのに非常に便利です。

具体例:

質問: 書籍に出てくる「モックオブジェクト」とは何ですか？

ChatGPTの回答: モックオブジェクトとは、テストのために外部依存を模倣するオブジェクトです。例えば、APIやデータベースの代わりに使用し、テスト対象部分の動作を確認する際に役立ちます。

ChatGPT(GPT-4o)の課題

一方で、ChatGPTの回答には注意が必要です。回答が必ずしも正確とは限らず、書籍や公式ドキュメントと矛盾する解釈が含まれる場合があります。

例えば、pytestの出力に関する質問では、回答が一部正確でなかったため、信頼性の問題が浮き彫りになりました。

間違えていた点

以下の質問をChatGPTに投げかけました：

質問: pytestの出力結果でs.やxxX.について

ChatGPTの回答は以下の通りでした：

pytest の出力結果で表示される記号（例: s, ., x, X）は、各テストケースの結果を示しています。以下は、それぞれの記号の意味と詳細です。

記号状態説明

. 成功（Pass）テストが正常に実行され、すべてのアサーションが通過しました。

s スキップ（Skipped）特定の条件でテストをスキップした場合に表示されます（例: @pytest.mark.skip を使用した場合）。

x 失敗（Failed）テストが失敗し、アサーションが通過しなかった場合に表示されます。

X エラー（Error）テスト中に例外が発生した場合（例: 実行中に例外がスローされた場合）に表示されます。

しかし、この回答には誤りがありました。

x: 失敗することが期待されるテストケースに対応。
X: 失敗が期待されていたが成功してしまったテストケースに対応。

具体的なコード例

以下は、pytestの出力でx と X を確認できる具体例です：

import pytest

@pytest.mark.xfail
def test_expected_fail():
    assert 1 == 2  # 失敗することが期待される

@pytest.mark.xfail
def test_unexpected_success():
    assert 1 == 1  # 成功してしまう
"""
このコードをpytestすると、次の出力が得られます：
$pytest
$xX
"

感想

現時点（2025年1月21日）では、ChatGPTがPythonの一部モジュールに関する解説で不正確な情報を提供する場合があると感じました。

そのため、AIツールを活用して学習を進める際には、書籍や公式ドキュメントなど、信頼性の高い情報源を併用することが重要だと考えます。

一方で、なぜChatGPTがこのような誤りを生じるのか、その原因を探ることも大切だと感じました。例えば：

ChatGPTの学習データに関連ドキュメントの情報が不足しているのか？
モデルが学習データを誤って学習しているのか？

これらの理由を明らかにすることで、AIツールをより効果的に活用できるのではないかと考えています。もし、この点について詳しい方がいらっしゃれば、ぜひ教えていただけると嬉しいです。