OpenInterpreterやその他自律Agent系のOSSの、「足りないパッケージを自分で判断して許可を仰いだうえで、勝手にインストールする機能」を実装する一例を紹介します。

コードの自動生成を駆使する場合、どうしてもライブラリがインストールされていない事態は避けられず、自動でインストールしてくれるとありがたいです

何より、なんかかっこいいです！

（ただし基本的に最新バージョンがインストールされるので、個別の仮想環境での実施が前提となります）。

Google Colab上でこの機能を実現する実装例（あくまで一例）を構築したので記事にしてみます。

実装したGoogle Colabのnotebookはこちらになります。

動作の様子はこちらです

本記事の流れは次の通りです。

手順1: 不足しているパッケージを用意するために、あえて、PILをアンインストール
手順2: 自動生成されたコードをtry-exceptで挟む関数を用意する
手順3: スタックトレースから修正方法をLLM（ChatGPT）に教えてもらう
手順4: メイン関数の実装と実行

手順1: 不足しているパッケージを用意するために、あえて、PILをアンインストール

Google Colabはいろいろとはじめからパッケージが入っていて、不足パッケージを探すのが面倒なので、逆にアンインストールします。

今回は、画像のサイズを出力するコードを自動生成した""、という前提のもとで話を進めます。

import PIL
# エラーなくPILが通るはず

# uninstallします
!pip uninstall pillow -y

import PILをすると問題なく通ると思います。
そしてuninstallをします。

このuninstallを有効にするために、一度ランタイムを再起動してください

そして、再度import PILをすると、エラーが発生します。

これでパッケージを不足している状態になりました。

手順2: 自動生成されたコードをtry-exceptで挟む関数を用意する

本記事ではコードの自動生成部分は省略します。

以下のような、PILで画像を読み込んで、その幅と高さを出力するコードが生成されたとします。

# [1] 生成されたコードが例えば以下だったとします。
# 単純に画像を取得して、幅と高さを求めているだけです。

generated_code_txt="""
from PIL import Image
import requests
from io import BytesIO

# 適当な画像のURLを指定
image_url = 'https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F3328834%2Ff8a26020-6ec7-aa41-9ff6-0c4d38cb8319.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&w=1400&fit=max&s=521ce0ce7dc4fe5865bc41b79a4b735f'

# 画像を取得
response = requests.get(image_url)
img = Image.open(BytesIO(response.content))

# 画像を取得
response = requests.get(image_url)
img = Image.open(BytesIO(response.content))

# 画像の幅と高さを取得
width, height = img.size

# 幅と高さを表示
print("幅:", width)
print("高さ:", height)
"""

このコードを実行したときに、from PIL import Imageでエラーが発生するので、Try-Exceptで実行するコードを囲む関数を用意します。

さらに、例外（Exception）でどのような内容（スタックトレース）が表示されていたのかを取得するために、tracebackを使用します。

import traceback
traceback_str = traceback.format_exc()

エラーメッセージを変数traceback_strに格納します。

このエラーメッセージ（スタックトレース）を解決する方法をLLM（今回はGPT-3.5）に尋ね、その修正のPythonコードを実行するという流れになります。

Try-Exceptで実行するコードを囲む関数（の一例）は次の通りです。

def add_try_except_block(code_str):
    """try-exceptでコードを挟む関数です"""
    indented_code = "\n".join(["    " + line for line in code_str.splitlines()])

    try_except_code = f"""
try:
    traceback_str = None
{indented_code}
except Exception as e:
    import traceback
    traceback_str = traceback.format_exc()"""
    return try_except_code

さきほどの生成された（と仮定した）コードにこの関数の引数にして実行すると以下のように変換されます。

# [1] 生成されたコードをtry-exceptで挟む
generated_code_txt_with_try = add_try_except_block(generated_code_txt)

# [2] try-exceptで挟んだ状態を確認
print(generated_code_txt_with_try)

print文の出力結果は次の通りです（実際は文字列です）。

try:
    traceback_str = None
    
    from PIL import Image
    import requests
    from io import BytesIO
    
    # 適当な画像のURLを指定
    image_url = 'https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F3328834%2Ff8a26020-6ec7-aa41-9ff6-0c4d38cb8319.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&w=1400&fit=max&s=521ce0ce7dc4fe5865bc41b79a4b735f'
    
    # 画像を取得
    response = requests.get(image_url)
    img = Image.open(BytesIO(response.content))
    
    # 画像を取得
    response = requests.get(image_url)
    img = Image.open(BytesIO(response.content))
    
    # 画像の幅と高さを取得
    width, height = img.size
    
    # 幅と高さを表示
    print("幅:", width)
    print("高さ:", height)
except Exception as e:
    import traceback
    traceback_str = traceback.format_exc()

手順3: スタックトレースから修正方法をLLM（ChatGPT）に教えてもらう

LLMは何でも良いですが、GPT3.5を使用します。

本記事では簡単のためにAPI_KEYを直書きします（本番ではこんな危険なことは避けましょう）

# パッケージのインストール
!pip install openai==0.28

# 非常に危険。API_KEYを直書き

import os
import re
import openai

KEY = "sk-hogehoge"
openai.api_key = KEY

次に、ChatGPTの回答からPythonのコード部分のみを抜き出す関数を定義します。

コードだけ教えてと伝えても、なんかごちゃごちゃ説明してくれるので、コード以外を無視することにします。

def extract_python_code(text):
    """pythonの実装のみを抽出"""
    pattern = r'```python(.*?)```'
    result = re.findall(pattern, text, re.DOTALL)
    # result リスト内のすべての要素を結合して1つの文字列にする
    extracted_code = '\n'.join(result)
    return extracted_code

あとは、実行したPythonコード、発生したスタックトレース、そして回答として欲しい修正方法（事前に実行するPythonコード）を埋め込んだ、適切なPromptを用意します。

def get_response_from_chatGPT(generated_code_txt_with_try, traceback_str):

    # Promptの作成
    user_content = f"""
以下のPythonコードを実行したところ、次のようなスタックトレースが表示されました。
再度このPythonコードを実行し、エラーなく完了させるためには、このスタックトレースの内容を解決するために、
最低限として事前にどのようなPythonコードを実行する必要がありますか？
Pythonのコード形式で教えてください。pipコマンドなどが必要な場合は、subprocess.runを使用し、標準出力をprintするように、

output = subprocess.check_output(command, shell=True, stderr=subprocess.STDOUT, universal_newlines=True)
print(output)
を使用してください。

### [Pythonコード]
{generated_code_txt_with_try}

###  [スタックトレース]
{traceback_str}

### [事前に実行するPythonコード]
"""

    messages = [
      {"role": "system","content":"You are an AI assistant that helps people find information."},
      {"role": "user", "content":user_content}
    ]


    # responseを得る
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages = messages,
        temperature=0.0,
        top_p=0.0,
        max_tokens=800,
        )

    # Pythonコードのみを取り出す
    ret = response['choices'][0]['message']['content']  # 回答
    correction_code = extract_python_code(ret)

    return correction_code

手順4: メイン関数の実装と実行

以上で準備は完了です。最後に手順1-3で用意した内容をmain関数に整理し、実行します。

def main(generated_code_txt):

  # [1] 何らかコードを生成したとします
  # generated_code_txt

  # [2] try-exceptで挟み、スタックトレースをとれるようにします
  generated_code_txt_with_try = add_try_except_block(generated_code_txt)

  # [3] エラーがなくなるまで回します（本当は制限回数を定めるべき）
  error_is = True

  while error_is:
      # [3-1] 空の辞書を作成。exec実行した中身の変数をここに格納します
      variables = {}
      traceback_str= None

      # [3-2] 実行 execを使用してコードを実行し、exec内の変数を辞書で取得します
      print("============================================")
      print("[1] 生成されたコードを実行します（今回は適当な画像のサイズを出力するコードです）\n")
      exec(generated_code_txt_with_try, globals(), variables)

      # [3-3] エラーなく終わったかを判定します
      if  not variables.get("traceback_str"):
          error_is = False  # loopから抜ける
          print("\n[Fin] 実行が完了しました")
          break

      # [3-4] エラーが発生し、スタックトレースが存在する場合、それを表示します
      if  variables.get("traceback_str"):
          print("[2] エラーが発生しました\n\n")
          print(traceback_str, variables.get("traceback_str"))

      # [3-5] 修正コマンドの実行
      print("\n[3] 修正方法を考えます。少々お待ちください。\n")
      correction_code = get_response_from_chatGPT(generated_code_txt_with_try, traceback_str)

      # [3-6] 実行して良いかの確認
      print("\n[4] 修正のために、以下のコマンドを実行しても良いですか？\n")
      print(correction_code)
      user_input = input("宜しければyを入力しEnterを押してください。実行を中止する場合はnを入力しEnterを押してください: ")

      # [3-7] 修正の実行
      if user_input.lower() == 'y':
          print("\n[5] それでは修正します。\n")
          exec(correction_code, globals())
          print("[6] 修正が完了しました\n\n 再実行に入ります・・・\n\n")

      else:
          print("ユーザーが実行中止を選択しました。")
          break

このメイン関数を実行します。

# メインの実行
main(generated_code_txt_with_try)

すると、初回はPILパッケージの不足でエラーになります。

============================================
[1] 生成されたコードを実行します（今回は適当な画像のサイズを出力するコードです）

[2] エラーが発生しました


None Traceback (most recent call last):
  File "<string>", line 8, in <module>
ModuleNotFoundError: No module named 'PIL'


[3] 修正方法を考えます。少々お待ちください。

そして、修正方法を考えてくれます。

[4] 修正のために、以下のコマンドを実行しても良いですか？


import subprocess

command = 'pip install pillow'
output = subprocess.check_output(command, shell=True, stderr=subprocess.STDOUT, universal_newlines=True)
print(output)

宜しければyを入力しEnterを押してください。実行を中止する場合はnを入力しEnterを押してください: y

修正案を提案してくれるので、問題なければ、yを入力し、Enterを押します。

今回は、pip install pillowを実行したいと言っています。

足りないとスタックトレースに出てきたのはPILですが、きちんとpillowをインストールすると判断してくれています。

[5] それでは修正します。

Collecting pillow
  Downloading Pillow-10.0.1-cp310-cp310-manylinux_2_28_x86_64.whl (3.6 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.6/3.6 MB 13.7 MB/s eta 0:00:00
Installing collected packages: pillow
Successfully installed pillow-10.0.1

[6] 修正が完了しました

 再実行に入ります・・・

修正を実施し、pillowがインストールされ、再実行に入ります。

============================================
[1] 生成されたコードを実行します（今回は適当な画像のサイズを出力するコードです）

幅: 1322
高さ: 715

[Fin] 実行が完了しました

以上で、不足していたパッケージを自動で判断し、許可のもとインストールして、コードを再実行してくれる仕組みが作れました。

今回のものは非常に単純で、もっと注意すべき点やエラーのハンドリングにはいろいろありますが、ミニマムに動かす第一歩としては十分かと思います。

なんか、勝手にやってくれるのかっこいいです。

宜しければぜひお試しください。

（再掲）実装したGoogle Colabのnotebookはこちらになります。

以上、ご一読いただき、ありがとうございました。

小川雄太郎

【免責】
本記事の内容は執筆者の意見/発信であり、執筆者が属する企業等の公式見解ではございません