ChatGPT Code Interpreterできること

created by en-japan Yue.Pu

Code Interpreter（コードインタープリター）とは、ChatGPTが提供する公式プラグインの一つで、このプラグインを利用することで、ChatGPT上でPythonを使ったコードの実行や、ファイルのアップロード・ダウンロードができるようになります

まず使い方

現時点では課金アカウントしか使えません。

1. ChatGPTにログインし、左下の3点→「Settings」をクリックします。
2. 「Beta features」をクリックし、「Code interpreter」の右にあるトグルボタンをクリックします。
   
3. TOP画面に戻り、[New chat]をクリックし、「GPT-4」をクリックし「Code Interpreter」をクリックします。
4. ChatGPTのアイコンが紫色になっていれば設定完了です。
   
5. 入力画面の左端にある「＋」マークを押すと、ファイルなどを添付できます。
   • 添付ファイルはcsv、PDF、zip、jpg/png、動画などです。
     

できること

ファイル・文字処理

サンプル論文はnature machine intelligenceです。

• 論文PDFをアップロードし、内容をまとめてもらいます。
  • 現時点ではOCR機能を使えないので、画像ベースのPDFを読めません。
    
• Word Cloudの生成
  
  • [Show work]を押せば、実行したソースコードが見られます。ソースコードはAIが作成したものです。

• さらに細かい要求を指示できます。例えば、文字色を変えてみます。
  
• zipファイルの処理
  • zipファイルの作成やunzipなどの操作ができます。それを使って、一度に複数のファイルをアップロード・ダウンロードできます。
    

感想

長い文章や論文の内容を要約して、読者が選択する時間と読む時間を節約できるようです。

画像処理

• 自然言語で指示
  
  • unzipと画像処理という2つの作業を分けて、順番に実行したようです。
  • 漢字のファイル名がまだ正しく表示できません。（漢字フォントファイルが必要ようです。）
  • 最初のzipファイルはzip -r file.zip file1.txt file2.txtのようなコマンドで生成する方が良いです。MacOSのzip機能は変なファイルを巻き込むようですから。
  • 処理後の1枚画像：
    
• 更に細かい処理を指示
  • 自動的に足りない情報を質問するようです。
    
  • フォントファイルを提供し、色とサイズを指定します。
    
  • 成果物：
    
  • AIが生成したソースコードが完全ではなかったので、順調とはいきませんでした。例えば：
    • AIは処理に必要なpythonライブラリを導入し忘れていたので、以下のようなエラーが発生しました。
    • 対話が長すぎて、その前に生成したファイルが失われました。
  • 問題の原因を指摘すれば、AIが自身で改修できます。
    

感想

上記の実行では、自然言語で画像処理、文字を画像化することを試しました。
現時点では、AI自己デバッグがまだ弱いようです。ソースコードの確認が必要です。

QRコード

• 文字列からQRコードを作り
  • 現時点では日本語の場合は特定のpythonライブラリを使うことができないようです。なので、ここからは英語で指示します。

• 改善方法を質問
  
  • 改善
    
  • 成果物(残念)

• ロゴが大きすぎる問題の解決

gif生成

• 成果物：
  

動画処理

• パノラマ画像から動画生成
  • できるだけ詳しく説明するべきです（利用者の高い言語化能力が必要）。

• AIから作業内容の説明

• 成果物

  • (記事を作るためにgifに変換しました。)
    

• 動画に字幕を追加してみたが。。。

  • 現時点ではpython環境では実現できない内容のソースコードが提供されます。それをローカル環境で実行できます。

データ分析

サンプルデータはIBM Supply Chain Intelligence Suiteを使います。

• まず、生データのデータクレンジング
  
  • AI自身で判断し、作業をできます。
  • 従来、人間で作業すると、データクレンジングだけでも結構手間がかかります。

• 特に確認したい内容がなかったので、データの特徴を可視化してもらいました。
  
  
• ベンダーの貢献度より、会社の経営戦略を変えられるかもしれません。
  
• 直接にビジネス提案を求めます。
  

コメント

これからAIは会社戦略、経営提案、問題発見などの分野で役に立つようになります。

全体的の感想

• 目標を説明すると、AIは自分で方法を決めて、解決するツールです。
• 英語を使ったほうがいいです。日本語の場合は実行されないかもしれません。
  • python環境では、漢字フォントファイルがないので、文字化けしやすいです。フォントファイルをアップロードすることで解決できます。
• AIはうまく人間の意味を理解できないので、ユーザーの高い文字表現能力を求めます。
  • それても成果物の人工確認が必要です。
• 現時点では、AIのデバッグ能力が弱いので、利用者からの指摘が必要です。
  • 長く相談すると、環境がリセットされます。ここまでの内容が忘れられます。
• python環境には色々な制限があり、もし実行できない場合は、ソースコードが提供されます。ローカルの環境を用意する必要があります。
  • 大きなファイルの処理はまだできません。タイムアウトになりますので。
• まだbeta版ので、未来のバージョンでは上記問題が解決されられると思います。