はじめに
Oracle Database 23ai の2024年10月のアップデートでUTL_TO_GENERATE_TEXTプロシージャのインプットにBLOBが追加されました。これにより、Google AI、Hugging Face、OpenAI、Vertex AIによって提供されるマルチモーダルLLMにイメージとテキストの質問を指定することで、イメージからテキストへの変換を実行することができます。
ユースケースに応じて、DBMS_VECTORまたはDBMS_VECTOR_CHAINパッケージのUTL_TO_GENERATE_TEXT関数を使用できますが、今回は、DBMS_VECTOR_CHAINパッケージとOpenAIを使って試してみました。
作業ステップ
- 事前作業
- UTL_TO_GENERATE_TEXTを使ってテキスト生成
事前作業
- 作業用データベースユーザの作成
PDBにSYSDBA権限で接続し、データベースユーザを作成し、「DB_DEVELOPER_ROLE」、「create credential」権限を付与します。
$ export NLS_LANG=American_America.AL32UTF8
$ sqlplus / as sysdba
alter session set container=pdb1;
CREATE USER docuser identified by <password> DEFAULT TABLESPACE USERS quota unlimited on USERS;
GRANT DB_DEVELOPER_ROLE, create credential to docuser;
- ネットワークACLの設定
作成したデータベースユーザーにホストに対する接続権限を付与
BEGIN
DBMS_NETWORK_ACL_ADMIN.APPEND_HOST_ACE(
host => '*',
ace => xs$ace_type(privilege_list => xs$name_list('connect'),
principal_name => 'docuser',
principal_type => xs_acl.ptype_db));
END;
/
- イメージファイルの準備
イメージファイルを格納するローカルディレクトリ(/home/oracle/image)を作成しイメージファイル(bird.jpgなど)をディレクトリにアップロード。対応するディレクトリオブジェクト(IMAGE_DIR)を作成します。
create or replace directory IMAGE_DIR as '/home/oracle/image';
- イメージファイルを読み込むPL/SQLファンクションの作成
ディレクトリオブジェクトとファイル名を指定し、LOBにロードするファンクション（load_blob_from_file)を作成します。
create or replace function load_blob_from_file(directoryname varchar2, filename varchar2)
return blob
is
filecontent blob := null;
src_file bfile := bfilename(directoryname, filename);
offset number := 1;
begin
dbms_lob.createtemporary(filecontent, true, dbms_lob.session);
dbms_lob.fileopen(src_file, dbms_lob.file_readonly);
dbms_lob.loadblobfromfile(filecontent, src_file,
dbms_lob.getlength(src_file), offset, offset);
dbms_lob.fileclose(src_file);
return filecontent;
end;
/
- アクセスするLLMプロバイダの資格証明を作成
2024年11月時点では、Google AI、Hugging Face、OpenAI、Vertex AIが対応しています。
今回はOpenAI を使用しました。
exec dbms_vector_chain.drop_credential('OPENAI_CRED');
declare
jo json_object_t;
begin
jo := json_object_t();
jo.put('access_token', '<access_token>');
dbms_vector_chain.create_credential(
credential_name => 'OPENAI_CRED',
params => json(jo.to_string));
end;
/
UTL_TO_GENERATE_TEXTを使ってテキスト生成
以下の画像ファイル(bird.jpg)をデータベースサーバの指定ディレクトリにアップロードし、UTL_TO_GENERATE_TEXTを使ってテキスト生成します。
テキストの質問に「Describe this image」を指定してテキスト応答を生成しています。
- SELECT文の例
SET ECHO ON
SET FEEDBACK 1
SET NUMWIDTH 10
SET LINESIZE 80
SET TRIMSPOOL ON
SET TAB OFF
SET PAGESIZE 10000
SET LONG 10000
var input clob;
var media_data blob;
var media_type clob;
var params clob;
begin
:input := 'Describe this image';
:media_data := load_blob_from_file('IMAGE_DIR', 'bird.jpg');
:media_type := 'image/jpeg';
:params := '
{
"provider" : "openai",
"credential_name": "OPENAI_CRED",
"url" : "https://api.openai.com/v1/chat/completions",
"model" : "gpt-4o-mini",
"max_tokens" : 2048,
"temperature": 1.0
}';
end;
/
select dbms_vector_chain.utl_to_generate_text(:input, :media_data, :media_type, json(:params));
DBMS_VECTOR_CHAIN.UTL_TO_GENERATE_TEXT(:INPUT,:MEDIA_DATA,:MEDIA_TYPE,JSON(:PARA
--------------------------------------------------------------------------------
The image features a stylized bird in flight against a vibrant red background. T
he bird has a black and white body, with one wing appearing in orange and purple
hues. Below, there are abstract clouds illustrated in a minimalist, wavy line s
tyle. The overall composition combines bright colors and graphic elements, creat
ing a modern and artistic representation of the bird.
1 row selected.
- PL/SQL の例
declare
input clob;
media_data blob;
media_type varchar2(32);
params clob;
output clob;
begin
input := 'Describe this image';
media_data := load_blob_from_file('IMAGE_DIR', 'bird.jpg');
media_type := 'image/jpeg';
params := '
{
"provider" : "openai",
"credential_name": "OPENAI_CRED",
"url" : "https://api.openai.com/v1/chat/completions",
"model" : "gpt-4o-mini",
"max_tokens" : 60,
"temperature": 1.0
}';
output := dbms_vector_chain.utl_to_generate_text(
input, media_data, media_type, json(params));
dbms_output.put_line(output);
if output is not null then
dbms_lob.freetemporary(output);
end if;
if media_data is not null then
dbms_lob.freetemporary(media_data);
end if;
exception
when OTHERS THEN
DBMS_OUTPUT.PUT_LINE (SQLERRM);
DBMS_OUTPUT.PUT_LINE (SQLCODE);
end;
/
The image features a stylized bird, possibly a hummingbird, depicted in flight
against a reddish background. The bird has a distinct design, showcasing a
combination of colors including black, white, orange, and purple. Its wings are
outstretched, with the right wing featuring bold, swirling patterns.
PL/SQL procedure successfully completed.
おわりに
外部のマルチモーダルLLMを使ってデータベースサーバー上のイメージファイルの説明を生成することができました。