Hugging FaceのInference APIをNode.jsから叩いてみるメモ

Inference APIとは

Hugging Face で公開されているモデルを利用した推論ができる API です。
API を利用することで、JavaScript など Python 以外の言語からも簡単に推論できます。

ドキュメント

準備

アクセストークン（READ）を発行＆コピーしておきます。

Inference APIを叩いてみる

コード

import fetch from "node-fetch";
async function query(data) {
    const response = await fetch(
        "https://api-inference.huggingface.co/models/gpt2",
        {
            headers: { Authorization: `Bearer ${API_TOKEN}` },
            method: "POST",
            body: JSON.stringify(data),
        }
    );
    const result = await response.json();
    return result;
}
query("こんにちは。いい天気ですね。").then((response) => {
    console.log(JSON.stringify(response));
});

結果

レスポンスが返ってきました。

[{"generated_text":"こんにちは。いい天気ですね。虽然、やたまるなったその因にわずってした。いようし"}]

価格

ドキュメントの Pricing にはこのような記載がありますが、具体的にいくら掛かるかはよくわかりませんでした。
（詳しい方いたら教えて下さい）

他のモデルでも試してみる

他のモデルを利用するときは、Hugging Face の

モデル

GPT-4 を試してみたいので、こちらのモデルを利用してみます。

コード

const fetch = require("node-fetch");

async function query(data) {
  const response = await fetch(
    "https://api-inference.huggingface.co/models/chavinlo/gpt4-x-alpaca",
    {
      headers: { Authorization: `Bearer ${process.env.API_TOKEN}` },
      method: "POST",
      body: JSON.stringify(data),
    }
  );
  const result = await response.json();
  return result;
}

query("こんにちは。いい天気ですね。").then((response) => {
  console.log(JSON.stringify(response));
});

結果

ローディングしている様子。
（estimated_timeは残り秒数？）

{"error":"Model chavinlo/gpt4-x-alpaca is currently loading","estimated_time":2082.540283203125}