先日、NVIDIAのH100を使うことができたので、BeautifulSoupとGoogleのgemma-2b LLM (Gemma)を使って実験をしてみました。
スペックはと言うと、80GBのVRAM（H100)と200GBのRAM。BeautifulSoupでサイトを取ってきて、Gemma 2bで推論させました。
これからのプランはと言うと、このような割と軽量なLLMで推論をさせて、ウェブクローラー(BeautifulSoup)を制御させようと思うのです。
このサンプルでは、面白いキーワードを出力するうようにとプロンプトに入れています。
株式会社インスパイアサーチではLLM＋ウェブクローラーや各種検索サービスのコンサルティングや開発支援をしていますので、何かありましたら、お気軽にご相談ください。