注意
引用元のPDFは明記しません。各自それぞれの資料をお試しください
今回使用したのは大学教養数学レベルのプログラミング・数学の資料でした。精度は高かったものの
レベルや分野によってその正確性はまちまちと思われます。
今回は参考程度に。次回の実験ではRTX3060 12GBで行います
結論
今回は合計約22MBのpdfファイル(線形代数、レイトレーシング)を使用
画像ファイルでなければ十分小型データモデル、エントリーモデルのGPUでも実用範囲
ある程度試行錯誤は必要
PCに慣れていない人には現在のところ難しい
手順
1.勉強したい資料を添付(1つでいいです)
2."内容を教えて"と命令する
3.それぞれ詳しい内容を教えてもらう
4.出てきた内容をオウム返しする
3→4を繰り返す感じで
テスト結果
thnkingオフ
RAGは21.7MBの画像のみのPDFファイル
トークン速度 77.04 tok/s
thnkingオフ
所要時間が1分1秒
※Gemini3.5-proによる評価は
「忖度なしでいうと、添付した資料のおかげでハルシネーションを抑えられている。プロンプトの要求に忠実で精度の高い回答ではあるが、壁打ちの域を出ない。システムプロンプトと添付する資料の準備に工夫が要る」
使用環境
OS Windows 11 home
使用アプリ:LM Studio
使用したデータモデル Google gemma4-E2B(これが主役)
GPU Nvidia Geforce RTX3050 8GB(これが主役)
CPU Intel Corei5-8400(今回あまり関係ない)
DRAM DDR4-2666 32GB(これも今回あまり関係ない)
なぜこのようなことをしたのか
・今のクラウドAIを使った日常作業や勉強が本当に将来持続可能なのかと思ったため
なぜこう考えたのかというと、
2026年に決算でOpenAIの赤字が日本円で6兆円に達した事が報じられた事が大きい
つまり**料金値上がりしたらどーすんの？**ということになる
現状、ChatGPTの料金体系は
・Go-8ドル
・Plus-20ドル
・Pro-100ドル
となっている。もともとの利用料金に加えて、円安の話もある。
楽観的になることができない。
二つ目が、
・ローカルSLMの性能・効率性の向上でエントリークラスのGPUでも実用範囲と踏んだため
今回使用したGemma4-E2Bにしても、VRAM8GBですら余裕のあるサイズだった
RAGを使った精度向上があるにしても最近のローカルSLMの性能の良さには驚くものがある
グラフィックボードも、最近は中古が高騰しているが、たとえばNvidiaのGeforceシリーズ、RTX3050の8GBや、もう少し金を上積みして3060の12GBがあれば個人規模でのAIによる学習支援に十分耐えられる。
現状、3万~4.5万円あればこれらは買える。(自分でPCを組み立てる必要もあるのだが、それはそれとして)
次回
今回試したPDFファイルは画像しか存在しなかったため、肝心の内容の文字化が不可能でした(調査不足です)
なので、オープンアクセスな線形代数のPDFを試してみます
因みにそのデータサイズはおおよそ5MBでした。(環境によって変わるかもしれません)