はじめに

kaggleなどで英語データを収集している際、日本語に翻訳したくなるケースはないでしょうか？
患者データの所感が英語だったり、記事データの内容が英語だったりしますよね。。。。

一記事程度であれば、google翻訳だったり、ChatGPTを使って対応できますが、文字制限がありますし、何十件、何百件とあると面倒くなります。そして、最後に行き着くのはコード作成だと思います。

なんとなくコードの想像は付くけど、なんかコードが長くなりそう。。。
あー、どうしよかな？？と悩み始めたそこの貴方！

そのタスク、snowflakeならば１クエリで終わります。

前提と準備

snowflakeアカウントは作成済みで、accountadminで作業することとします。
今回の記事では、こちらのBBC newsのデータを試しに利用します。中身は⇩な感じです。

手順の確認

1. 取り込み、翻訳語データ格納用のデータベース、スキーマの作成
2. CSVファイルの取り込みとテーブル作成
3. 翻訳クエリの作成と実行

1. データ格納用のデータベース、スキーマの作成

以下、クエリをワークシート上で実行します。

CREATE database bbc_news;
CREATE schema news;

2. CSVファイルの取り込みとテーブル作成

今回は簡単にGUI上でテーブル作成をしちゃいます。
作成したnewsスキーマを右クリックして。データロードを選択します。

kaggleからダウンロードしたCSVファイルを指定して

テーブル名をNEWSにしてあげて

カラムは自動で検出して設定してくれるので、ヘッダー設定のみ最初の行にはヘッダー...をにして、ロードを選択すれば

ロード完了！

次に翻訳後のデータを格納するテーブルをロードしたテーブル構造をコピーして作成します。

CREATE OR REPLACE TABLE news_jp LIKE news;

ここで一度、ロードしたデータを見てみましょう！
titleに記事名、DESCRIPTIONに記事内容が記載されていることを確認してください！

SELECT * FROM news LIMIT 50;

3. 翻訳クエリの作成と実行

今回はsnowflakeのTRANSLATE関数を利用して翻訳します。
実行するコードは以下の１クエリです。

insert into news_jp
SELECT 
    SNOWFLAKE.CORTEX.TRANSLATE(TITLE, 'en', 'ja'), 
    PUBDATE, 
    GUID, 
    LINK, 
    SNOWFLAKE.CORTEX.TRANSLATE(DESCRIPTION, 'en', 'ja') 
FROM news 
LIMIT 50;

翻訳語の中身を見てみましょう！日本語訳された記事の内容が表示されればOKです！（翻訳したTITLEとDESCRIPTIONのみを抽出してます。）

SELECT TITLE, DESCRIPTION FROM news_jp LIMIT 50;

最後に

GUI操作と簡単なSQLで翻訳を行うことができました！
snowflakeには他にもLLMを簡単に使えるCOMPLETE関数などもあり、
SQLで生成AIや需要予測、クラスタリングができますので是非、試してみてください！！