FileUploadAPIを呼んでみた！

Last updated at 2024-12-04Posted at 2024-12-04

はじめに

部署配属後、初めて参画したプロジェクトで一番難しかった実装内容についての記録です。

この記事を読むと

FileUploadAPIとは/FileUploadAPIをAzure Functionsで呼ぶコード
Azure FunctionsをHULFT SquareのRESTコネクターで実行する方法

がわかります<(_ _)>

長いですが最後まで読んでいただけたら嬉しいです(^-^)

実装した処理の目的

トークン数に引っかかるような大容量ファイルをAOAIで分析する。
↑をHULFT Squareで実行させたい！

(AIに直接ファイルをアップロードする(置く)イメージだよ　by先輩)

行ったこと

1. Blobストレージ上にあるファイルをAOAIにアップロードする関数を作る
2. この関数をAzure開発環境(クライド)にデプロイする
3. RESTコネクターを用いてHULFT Squareで実行する

の3工程！
かなり大変だったのに文字に起こすと少ない(´；ω；`)

前提知識

私はAzureってなんだ？？レベルで始めたので、必要な前提知識も記録。

Blobストレージ：エクスプローラの様なもの

AOAI(=Azure OpenAI Service)：Azureで使える生成AI

Azure Functions：

Assistants API:

FileUploadAPIとは

Assistants APIのひとつです。

主な概要

ローカルファイルをAzure(クラウド)にアップロードし、それをAIサービスの入力データとして使用できるようにするためのAPIのこと。ファイルが入力データになるので、トークン数に引っかかるような大容量ファイルをAIで分析することができます。

Azure Functionsへコードをデプロイする

デプロイ方法

1. 関数をローカルで実行できるか確認
2. Azure環境にデプロイ

の2工程です!

(Azure初心者の為、記録しています<(_ _)>)

作成したAzure Functionsのコード

工夫した点は、アップロードするファイル名を動的に取得できるようにしたことです✨

まずファイル名を固定値で取得する→json型の入力値で動的に取得するという風に作成しました！

function_app.py

import azure.functions as func
import logging
import requests
from azure.storage.blob import BlobServiceClient
import json


# 設定
OPENAI_API_UPLOAD_URL = "https://your-openai-service-name.openai.azure.com/openai/files?api-version=2024-05-01-preview"  
#↑URL構造：AOAIのエンドポイント/リソースパス？クエリパラメータ

# Azure Blob Storageからファイルをダウンロードする関数
def download_blob(connection_string, container_name, blob_name):
    blob_service_client = BlobServiceClient.from_connection_string(connection_string)
    blob_client = blob_service_client.get_blob_client(container=container_name, blob=blob_name)

    file_data = blob_client.download_blob().readall()
    print(file_data)

    return file_data

# OpenAIにファイルをアップロードする関数
def upload_to_openai(api_key,blob_name,file_data):
    headers = {
        'api-key': f'{api_key}'
    }
    files = {
        'file': (blob_name,file_data)   
    }
    # purposeの指定
    data = {
        'purpose' : 'assistants'
    }
    response = requests.post(OPENAI_API_UPLOAD_URL, headers=headers, files=files,data=data)
    return response.json()

app = func.FunctionApp(http_auth_level=func.AuthLevel.FUNCTION)

@app.route(route="blob_to_aoai_fileupload", methods=[func.HttpMethod.POST])
def blob_to_aoai_fileupload(req: func.HttpRequest) -> func.HttpResponse: #トリガー
    logging.info('Python HTTP trigger function processed a request.')
  
    # name = req.params.get('name') #デフォルトのやつリクエストのbodyを取り出したい
    # if not name:
    #     try:
    #         req_body = req.get_json()
    #     except ValueError:
    #         pass
    #     else:
    #         name = req_body.get('name')

    # if name:
    #     return func.HttpResponse(f"Hello, {name}. This HTTP triggered function executed successfully.")
    # else:
    #     return func.HttpResponse(
    #          "This HTTP triggered function executed successfully. Pass a name in the query string or in the request body for a personalized response.",
    #          status_code=200
    #     )
    
    try:
        req_body = req.get_json()
        logging.info(f'Request JSON: {req_body}')
    except ValueError as e:
        logging.error(f'Invalid JSON body: {e}')
        return func.HttpResponse(
            "Invalid JSON body",
            status_code=400
        )
    
    #JSONボディから必要な情報を取得
    connection_string = req_body.get('connection_string')
    logging.info('get connection_string successfully')
    container_name = req_body.get('container_name')
    logging.info('get container_name successfully')
    blob_name = req_body.get('blob_name')
    logging.info('get blob_name successfully')
    api_key = req_body.get('api_key')

    # Azure Blob Storageからファイルをダウンロード
    result=download_blob(connection_string, container_name, blob_name)

    logging.info("ok/download")

    # ダウンロードしたファイルをOpenAIにアップロード
    response = upload_to_openai(api_key, blob_name,result)
    logging.info(response)
    logging.info("ok/upload")
    return func.HttpResponse(
        json.dumps({
            "message": "File uploaded successfully to OpenAI.",
            "openai_response": response
        }),
        status_code=200,
        mimetype="application/json"
    )