AutoTrain🚂🚂🚂とは
ノーコードでテキスト分類や要約などがstate-of-the-artできるサービスです。AutoNLPだとググラビリティが低かったので名称が変わったのだと思います。
データ準備
ハウツー系の文章を要約しようと思います。
ハウツー系の文章(inputs)とその要約(targets)があります。
https://www.wikihow.jp/蛇に噛まれた時の対処
要約する文と要約文のcsv/jsonlファイルを作成します。
ファイル作成スクリプトはColabにあります。
プロジェクトの作成
Summarization と Japaneseを選択し、プロジェクトを作成します。
csvファイルをアップロード
jsonlでもアップロードできます。
今回はjsonlファイルをドラッグ・アンド・ドロップし、text:srcとtarget:tgtカラムを選択し、プロジェクトに追加します。
Go to trainingsをクリックします。
学習
Start models trainingsをクリックします。
推論
ROUGE-1 5.21の精度で分類できました。modelをクリックし、model hubで推論できます。
ROUGE-1とは、unigramでどれぐらい要約文と一致しているかという指標です。他のmt5系記事よりもいい結果がでています。
右側の入力ボックスで簡単に試すことができます。
https://huggingface.co/vabadeh213/autotrain-wikihow-737822494
モデルをダウンロード
モデルをダウンロードすることでオフラインでも推論できます。
モデルをダウンロード
!curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
!sudo apt-get -qq install git-lfs
!git lfs install
#!git clone "https://$USERNAME:$PASSWORD@huggingface.co/vabadeh213/autotrain-wikihow-737822494" # set username/password for private model
!git clone https://huggingface.co/vabadeh213/autotrain-wikihow-737822494
pipelineで推論
!pip install -q transformers
from transformers import pipeline
text = '脅威を感じた蛇は再び襲いかかります。したがって、噛まれた際は速やかに蛇の攻撃範囲から離れましょう。 少なくとも6mは間合いを取りましょう。できる限り速やかに医療処置を求めることが大切です。ほとんどの病院は、毒蛇用の抗毒素（血清）を用意しています。病院に到着する前の応急手当だけでは、あまり症状の改善にはつながりません。被害現場からすぐさま救急サービスに通報できれば不幸中の幸いです。救急車を呼べない場合は、何としても助けを求め、みなさんまたは被害者を最寄りの病院へ搬送しなければなりません。みなさんに噛みついた蛇がガラガラヘビかどうかが分からない場合でも、すぐに病院へ直行しましょう。実際に毒が体に回り、症状が出始めたとしても、病院にいれば安心できるでしょう。噛まれた箇所を心臓よりも上に置くと、毒を含んだ血液が猛スピードで心臓に流れ込みます。救助が来るまでの間、できれば被害者の体を静止させましょう。体を動かすと血流が増大し、あっという間に毒が回ります。したがって、毒蛇に噛まれた際は体の動きを最小限に抑えて安静にすることが大切です。もちろん、みなさんの周りに誰もいなければ、じっとしている場合ではありません。すぐに助けを求めましょう。'
predict = pipeline("summarization", "autotrain-wikihow-737822494")
predict(text)
#[{'summary_text': '蛇の攻撃範囲から離れる。救急サービスに通報する。噛まれた箇所を'}]
まとめ
- クレカ登録しない限り無料で使えてとても便利
- curlでpython環境がなくても使える
curl -X POST -H "Authorization: Bearer $YOUR_API_KEY" -H "Content-Type: application/json" -d '{"inputs": "I love AutoTrain"}' https://api-inference.huggingface.co/vabadeh213/autotrain-wikihow-737822494