vLLMでチャットモデルと埋め込みモデルをホストしてみた[Docker, docker-compose使用]
1. はじめに vLLMを使用したサーバーを構築した話を発展させて、チャットモデルと埋め込みモデルを同時にサービングしてみました。 2. この記事に記載していること Dockerを使用したvLL...
0
0
Comment0
9 search resultsShowing 1~9 results
Stocked
You need to log-in
M3-Embeddingを読んでみた
1. 初めに 以前、ローカルでRAGモデルを作成した際に「最近の文章埋め込みモデルはどのような仕組みなのだろう？」という疑問から埋め込みモデルの調査をしていたところ、 多言語対応 いろいろな埋め...
1
0
Comment1
ローカルでRAG用のサーバーを構築してみた[vLLM, infinity使用]
1. 初めに 前回にvLLMを使用してチャットモデルと埋め込みモデルを同時にサーブした内容の記事を書きました。 その際の応用として、RAGシステムをローカルで構築しました。 コードはこちらです。...
1
1
Comment0
vLLM × Qwen3 × cline：cline生成コードでCIFAR-10学習もできるローカルLLM環境の構築例
1. はじめに 前回、vLLMを使用したLLMサーバーを構築しました。 その応用でLLMサーバーをclineと連携しましたので、記事を作成しました。 2. この記事に記載してあること Docke...
1
0
Comment0
GPU環境でvLLMを使ってローカルLLMサーバーを動かしてみた
1. はじめに これまでローカルでLLMを動かす際には、主に transformers を使っていました。 しかし、以下のような課題を感じることが多くありました。 コードが煩雑になりやすい 外部...
3
1
Comment0
[深層学習] SchedulerいらずのOptimizer
1. はじめに 皆さん、深層学習でスケジューラーを使っていて、 どのスケジューラーを選べばいいのか分からない… とりあえず使ってみたけど、パラメータが多くて設定が面倒… そんな経験はありませんか...
1
0
Comment0
【Vision Language Model】LLaVAの論文を読んでみた
1. はじめに 1.1 この論文について簡単に 画像領域でのマルチモーダルLLMにおいて指示チューニングの有効性を示した論文です。 1.2 論文を読んだ理由 最近、signateのragコンペで...
0
0
Comment0
signate ragコンペに参加してみた
1. 初めに 1.1 この記事の目的 signate開催のRAGコンペである「第3回金融データ活用チャレンジ( https://signate.jp/competitions/1515 )」に参...
1
0
Comment0
Vite + DockerでReact環境を構築する
1. はじめに Reactの環境構築をする際には様々な方法があり、簡単に環境構築をする方法の一つであるViteを使用してみたという記事です。Dockerを使用したかったので、0から作成する手順を...
1
0
Comment0
9 search resultsShowing 1~9 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles