こちらは『AIパートナー・AIキャラ・AIVtuber Advent Calendar 2026』1日目の記事になります。
こんにちは。AITuber『紅璃ロゼ』を開発している、非エンジニアのsmorceです。
2026年も、気づけばいろいろなものを作っていました。
ローカルLLMを使ったAIエージェント、個人情報を外部に送信しないマスキングアプリ、ローカルファイル検索システム、AIモデルのファインチューニング、データサイエンスの実験。
さらには、自作AITuber『紅璃ロゼ』の3Dモデルを作ったり、声をつけたり、動画を制作したり……。
こうして並べてみると、自分でも「よくこんなに手を出したな」と思います。
ちなみに、私はAIエンジニアではありません。プログラミングを専門的に学んできたわけでもありませんし、3Dモデリングの経験もありません。
そんな私でも、生成AIの力を借りながら、ここまでいろいろなものを形にできるようになりました。
もちろん、すべてがうまくいったわけではありません。
思い通りに動かず何度も修正したものもあれば、時間をかけた末にお蔵入りになったプロジェクトもあります。
それでも、2026年は間違いなく、これまでで最も多くのことに挑戦できた年でした。
今回は、そんな2026年の活動をまとめて振り返ってみたいと思います!
本記事は総集編ですが、詳細の記事は note に前半と後半にわけて書きましたので、ぜひご覧ください。
2026年1月~6月までの振り返り ~ 非エンジニアのローカルAI開発 奮闘記
2026年7月~12月までの振り返り ~ 非エンジニアのローカルAI開発 奮闘記
1. 2026年の開発を振り返ってみる
今年の活動を大きく分けると、次の5つになります。
- ローカルAI環境の構築:自宅で動くAIエージェントや検索システムの開発
- 実用的なAIアプリケーションの開発:個人情報保護、RAG、モデルルーティングなど
- AITuber『紅璃ロゼ』の開発:3Dモデル、音声、動画、配信システム
- AIモデル・データサイエンスの実験:ファインチューニング、探索アルゴリズム、分類モデル
- 失敗からの学び:うまくいかなかった実装や、途中で断念したプロジェクト
上半期は、ローカルLLMを活用した実用的なシステムの構築が中心でした。
一方、下半期はロゼの開発を進めながら、AIモデルの学習や評価、データサイエンスにも挑戦しました。
振り返ってみると、技術的な方向性は違っていても、根底にあるのは同じ好奇心だったと思います。
「これ、AIを使えば自分でも作れるんじゃないか?」
この疑問が、今年のものづくりの原動力でした。
2. ローカルLLMで、自分専用のAI環境を作る
クラウドに何でも送る必要はあるのか?
2026年に入ってから、Qwen3.6やGemma4など、ローカル環境でも実用的に利用できるLLMが登場しました。
そこで考えるようになったのが、
「これ、わざわざクラウドのAIに送る必要があるんだっけ?」
ということです。
クラウドLLMは非常に便利ですが、個人情報や機密情報を扱う場合には、データの送信先を意識する必要があります。
一方、ローカルLLMであれば、自分のPC上で推論を実行できます。
もちろん、ローカル化すればすべての問題が解決するわけではありません。
計算資源は限られていますし、性能や運用の手間を考えればクラウドが適しているケースもあります。
それでも、できるだけデータを外部へ送信せず、自分の管理下でAIを動かしてみたい。
そんな考えから、いくつかのシステムを構築しました。
Hermes Agentをローカルで動かす
特に大きかったのが、自律型AIエージェント「Hermes Agent」のローカル化です。
Nous Researchが公開しているHermes Agentに、ローカルLLMのQwen3.6-27B-MTPを接続しました。
さらに、Web検索やDeepResearch、Obsidianとの連携なども実装しています。
これによって、過去に保存したノートを検索したり、Web上の情報を調査したり、調査レポートをまとめたりする作業を、自宅のAI環境で実行できるようになりました。
特に便利なのがObsidianとの連携です。
AIエージェントが必要に応じて過去のメモを参照できるため、自分の蓄積してきた知識を活用した調査ができるようになりました。
いわゆるAgentic RAGのような仕組みです。
スマホから自宅のAIを使う
さらに、外出先から自宅のHermes Agentへ接続できる環境も構築しました。
接続経路は以下のような構成です。
スマホ → Tailscale → WSL → Mosh → tmux → Hermes Agent
最初は技術的な興味から作った仕組みだったのですが、これが意外なほど便利でした。
例えば、Xで気になった投稿を見つけたら、そのURLをHermes Agentへ渡して要約してもらいます。
内容を確認したうえでObsidianへ保存する、という作業が日課になりました。
自宅のPCで動いているAIを、外出先から普通に使える。
作ってみると、これが思っていた以上に楽しい体験でした。
ニュース収集も自動化
毎朝のニュース収集も自動化しました。
Codex CLIとWindowsタスクスケジューラを組み合わせ、AI関連ニュースだけでなく、一般ニュース、ファッション、栄養、宇宙などの話題を収集・要約しています。
さらに、YouTubeの新着動画をGemma4で要約する仕組みも追加しました。
収集した内容はGitHubへ自動保存しています。
派手なシステムではありませんが、毎日繰り返す作業を自動化できたことで、情報収集の負担がかなり減りました。
3. 欲しかったAIアプリを自分で作る
ローカルLLMの環境が整ってくると、次第に「自分が使いたいアプリ」も作るようになりました。
日記アプリ「メモリーム」
最初に紹介したいのが、日記アプリ「メモリーム」です。
自作AITuberの紅璃ロゼと雑談しながら、日々の出来事を記録できるアプリです。
会話内容はPostgreSQLへ保存し、過去の記憶をベクトル検索とナレッジグラフで検索できる仕組みにしました。
一般的な日記アプリとは少し違いますが、誰かと話しながら記録するという体験は、なかなか面白いものでした。
日記を書くために机に向かうのではなく、ロゼと会話しているうちに自然と記録が残る。
そんな使い方を目指しています。
個人情報マスキングアプリ「Maskey」
実務での利用を意識して作ったのが、個人情報マスキングアプリ「Maskey」です。
OpenAIが公開したPII検出モデルを活用し、個人情報を検出してマスキングするWebアプリを開発しました。
特徴は、WebGPUとTransformers.jsを利用して、ブラウザ内だけで処理を完結させていることです。
つまり、マスキング前のデータを外部サーバーへ送信する必要がありません。
個人情報を保護するためのツールなのに、マスキング前の情報を外部へ送信するのは避けたい。
そんな課題を解決するための構成です。
実務でも需要がある領域なので、今後の活用につながればと考えています。
ローカル検索アプリ「NoteSeeker」
もう一つ、個人的に気に入っているのが「NoteSeeker」です。
これは、Obsidianに蓄積したメモをWikiのように検索できるローカルアプリです。
日本語の埋め込みモデルRuri v3、リランキングモデル、PostgreSQLの全文検索、ベクトル検索、グラフ検索などを組み合わせています。
また、文章を意味のまとまりごとに分割するセマンティックチャンキングも実装しました。
検索した情報について、ローカルLLMと会話することもできます。
既存のOSSを組み合わせたシステムですが、検索から会話まで自分の環境で完結するのは快適でした。
RAGやモデルルーティングにも挑戦
ほかにも、実務を意識したさまざまな仕組みを実装しました。
例えば、vLLM Semantic Routerを使ったモデルルーティングです。
リクエストの内容に応じて適切なLLMへ振り分けるだけでなく、PIIチェックや脱獄検出、キャッシュ戦略なども組み込みました。
日本語向けの分類モデルについては、自分でファインチューニングも行っています。
さらに、AmazonのState-Aware RAGを参考に、検索結果から必要な情報を選別し、ワーキングメモリを更新しながら回答する仕組みも再現実装しました。
ただ、実際に作ってみると、すべての用途に複雑なRAGが必要なわけではないこともわかりました。
小規模な用途であれば、Agentic RAGやシンプルなファイル検索で十分なケースもあります。
高度な仕組みを作れることと、それが本当に必要かどうかは別問題。
これは実装してみたからこそ得られた学びでした。
4. 一枚のイラストだった『紅璃ロゼ』が動き始めた
2026年後半に最も力を入れたのが、自作AITuber『紅璃ロゼ』の開発です。
ロゼの開発を始めてから約3年。
ずっと目指してきたのは、一枚のイラストだったキャラクターを、実際に会話し、声を出し、自然に動く存在へ近づけることでした。
今年は、その目標に向けて大きく前進できたと思います。
オフィシャルサイトと会話サイトを公開
まず、ロゼのオフィシャルサイトを公開しました。URLは note 記事の方をご覧ください。
さらに、ろてじん氏が開発した「ぷるぷるPNGTuber」を活用し、ロゼと会話できるWebサイトも公開しました。
これによって、ロゼを実際に触ってもらえる環境が少しずつ整ってきました。
Blenderを使えない私が3Dモデルを作った
個人的に大きな出来事だったのが、ロゼの3Dモデル制作です。
私はBlenderを使えません。
当然、3Dモデリングの専門知識もほとんどありません。
それでも、「きゃらくる」というツールと生成AIを組み合わせることで、ロゼのVRMモデルを作ることができました。
もちろん、最初からうまくいったわけではありません。
衣装と体が干渉したり、形が崩れたり、思ったように修正できなかったり……。
何度も試行錯誤しました。
特に印象的だったのは、同じ修正指示でも、使用するAIモデルによって結果が大きく異なったことです。
GPT-6.1 Solでは解消できなかった3Dモデルの干渉問題が、Gemini 4 Argonでは一度の修正で解消できました。
AIモデルによって得意分野が異なることを、実際の制作を通して体感しました。
完成したVRMモデルを踊らせることもできました。
Blenderを使えない自分が3Dキャラクターを動かしている。
3年前には想像もしていなかった体験です。
ロゼに声をつける
音声制作では、Irodori-TTS-v4.1-Animeを使ってロゼのサンプルボイスを作成しました。
まだ最終的な声の仕様は固まっていませんが、アニメらしい音声を生成できたことは大きな進歩でした。
音声合成については、今後も軽量なローカル実行環境などを検証していきたいと考えています。
動画やアニメーションにも挑戦
動画制作にもかなり手を出しました。
Codexを使ってAVG風の動画演出システムを作ったり、MiniMax H3でロゼのショートMVを制作したりしました。
MiniMax H3では、一度に生成できる動画の長さに制限があったため、短い動画を複数生成し、ComfyUIのノードを使ってつなぎ合わせています。
また、Remotionを使い、絵コンテから動画の動きを事前確認するワークフローも試しました。
さらに、GPT Image 2.5によるスプライトシート制作や、Viggle JST-2を使った3D空間生成にも挑戦しています。
以前なら、こうした制作には映像編集、アニメーション、3Dモデリングなど、それぞれの専門スキルが必要でした。
もちろん、今でも高品質な作品を作るには専門的な知識や技術が重要です。
それでも、生成AIによって、専門外の人間でも試作品を作り、表現を検証できるようになったのは大きな変化だと思います。
次の課題は自然な配信システム
現在は、ロゼが自然に存在しているように見える配信プラットフォームの開発も検討しています。
特に難しいのがリップシンクです。
アニメキャラクターの口の動きを音声と自然に同期させるのは、まだ簡単ではありません。
リアルタイムで自然な表情や動きを生成できれば、目指しているAITuberにさらに近づけるはずです。
まだ課題は多いですが、引き続き取り組んでいきたいと思います。
5. AIモデルの中身も知りたくなった
アプリやキャラクターを作っているうちに、AIモデルそのものにも興味が湧いてきました。
単にAIを利用するだけでなく、
「どうすれば性能が上がるのか?」
「なぜ期待した結果が出ないのか?」
「モデルの学習や評価はどう行うのか?」
といった部分です。
そこで、2026年はモデルのファインチューニングやデータサイエンスの実験にも挑戦しました。
ツンデレAIをファインチューニング
上半期には、gemma3-270m-itを使って、ツンデレ口調の小型LLMを作りました。
学習はSFT、SimPO、GRPOの3段階で実施しています。
最終的にはONNX形式へ変換し、WebGPUを使ってブラウザ内で動かせるようにしました。
ただし、肝心の会話精度は十分ではありませんでした。
もともとはロゼ用に作ったのですが、最終的にお蔵入りになっています。
とはいえ、学習工程を一通り経験できたことは非常に勉強になりました。
題材がツンデレAIだったので、楽しみながら最後まで取り組めたのも良かったところです。
日本語NERモデルの追加学習
下半期には、日本語の埋め込みモデル「ruri-v3-310m」をベースに、NER(固有表現抽出)モデルを追加学習しました。
人名、地名、法人名などを文章から抽出するモデルです。
既存モデルをそのまま使うのではなく、目的に合わせて追加学習することで、独自のドメインに対応できる可能性があります。
実務で特定の業界や文書を扱う場合にも応用できそうです。
AIエージェントの探索アルゴリズムを検証
Sakana AIが公開したAB-MCTSも実装してみました。
これは、LLMによる試行錯誤を効率化する探索手法です。
実際に試してみると、探索の幅を広げたいのに似たような回答ばかり出たり、重要な部分を十分に深掘りできなかったりする問題に直面しました。
単にLLMへ何度も考えさせれば良いわけではありません。
探索する範囲や評価方法を適切に設計することが重要だと感じました。
少ない教師データで高精度な分類はできるのか?
Rを使ったデータサイエンスの実験にも挑戦しました。
テーマは、少量の正解データを使って、大量の文章を効率的に分類できるかというものです。
600件のダミー文書を使い、能動学習と半教師ありEMを組み合わせた分類実験を実施しました。
最終的に、88件の正解データを使用した条件では、ランダム抽出と半教師ありEMの組み合わせが正解率96.7%、F1スコア0.942を記録しました。
興味深かったのは、能動学習が常に最良の結果を出すわけではなかったことです。
少ない正解データの段階では有利でも、データが増えるとランダム抽出に逆転されるケースがありました。
今回は人工的なデータでの実験なので、そのまま実務へ一般化できるものではありません。
それでも、実際に比較実験を行ったことで、データの性質と学習方法の相性について考える良い機会になりました。
合成データの多様性も評価
さらに、合成データセットの多様性を評価する「DCScore」も実装しました。
生成AIによって大量の学習データを作れるようになりましたが、似たようなデータばかり生成されていては意味がありません。
DCScoreは、そうしたデータの多様性を定量的に評価するための指標です。
実装することで、データセットの偏りを客観的に確認できるようになりました。
今後、独自モデルを学習させる際にも活用していきたいと思っています。
6. AIを実際に運用するための仕組みも作った
AIモデルやアプリが増えてくると、次に気になってくるのが運用面です。
それぞれのアプリからLLMを直接呼び出していると、モデルの切り替えやログ管理が煩雑になります。
そこで、Agent RouterとOpikを組み合わせたローカルLLMゲートウェイも構築しました。
複数のAIアプリからのリクエストを一元的にルーティングし、処理の状況を観測できる仕組みです。
さらに、cc-switchを使い、Codexから利用するモデルを簡単に切り替えられるようにもしました。
これによって、CodexをローカルLLMと組み合わせて使いやすくなりました。
モデルを単体で動かすところから、複数のモデルやアプリを管理する環境へ。
少しずつですが、自宅のAI環境も整ってきたように感じます。
7. もちろん、失敗したものもたくさんある
ここまで成功した取り組みを中心に紹介してきましたが、実際にはうまくいかなかったプロジェクトもかなりあります。
自作のミニAIエージェント
Hermes Agentを使っているうちに、自分でも軽量なAIエージェントを作ってみたくなりました。
そこで、nanobotを参考にミニエージェントを実装しました。
Qwen3.6-27B-MTPを使って動作させるところまではできたのですが、使い勝手や処理速度ではHermes Agentに及びませんでした。
結果として、日常利用では既存のHermes AgentやCodexで十分という結論になりました。
作れることと、毎日使いたくなることは違う。
これは大きな学びでした。
日本語Decisionモデルの開発
Jevのような判断モデルをローカルで実現するため、ModernBERT-Ja-30MやLightGBMを使った実験も行いました。
しかし、データの品質を改善しても性能が頭打ちになり、モデルを大きくしても期待する汎化性能は得られませんでした。
さらに、正解率だけでは性能を正しく評価できない問題にも直面しました。
ほとんどの質問に否定的な回答を返すだけで、見かけ上の正解率が高くなるケースがあったのです。
結局、この自作プロジェクトは期待した成果を得られませんでした。
その後、d3-miniという別のモデルを試したところ、良好な結果が得られたため、そちらを利用することにしました。
自分で作ることにこだわりすぎず、適切な技術を選ぶことも大切だと思いました。
3D制作でも遠回りした
ロゼの3Dモデル制作でも、最初から「きゃらくる」を使っていたわけではありません。
KritaやInochi CreatorをAIに操作させ、キャラクターを制作する基盤も試していました。
しかし、期待する見た目にはなかなか近づきませんでした。
その後、きゃらくるが登場したため、このプロジェクトは凍結しました。
新しい技術が登場すると、それまで苦労していた問題が簡単に解決することもあります。
AIの進化が速い分、何を自作し、何を既存ツールに任せるかという判断も重要になってきたと感じます。
8. 2026年に学んだこと
今年の活動を振り返ると、特に印象に残っていることが3つあります。
① AIを使えば、専門外のことにも挑戦できる
私はAIエンジニアでもなければ、3Dモデラーでもありません。
それでも、AIエージェントやRAGシステムを構築し、モデルをファインチューニングし、3Dキャラクターや動画まで制作できました。
もちろん、専門家と同じ品質のものが作れるという意味ではありません。
実際、内部の仕組みを十分に理解できていない部分もたくさんあります。
しかし、以前なら最初から諦めていたようなことでも、AIと相談しながら試作品を作れるようになりました。
専門知識がないから作れない、という壁は確実に低くなっていると思います。
② AIモデルにも得意・不得意がある
今年は多くのモデルを試しました。
ローカルLLMの推論、3Dモデルの修正、音声生成、動画制作、分類モデルの学習など、用途はさまざまです。
その過程で感じたのは、万能なAIモデルはないということです。
あるモデルでは何度試しても解決できなかった問題が、別のモデルでは簡単に解決することがあります。
逆に、モデルを大きくしても期待する性能が得られないこともあります。
重要なのは、話題のモデルを使うことではなく、目的に合ったモデルを選ぶことなのだと思います。
③ 失敗した開発も無駄にはならない
今年は途中で断念したプロジェクトもありました。
ツンデレAI、ミニエージェント、自作Decisionモデル、3D制作基盤……。
成果物として残らなかったものもあります。
ただ、その過程で得られた知識は、別の開発に役立っています。
モデルの限界を知ることも、性能評価の難しさを理解することも、実際に試してみなければわからなかったことです。
AIがコードを書いてくれる時代になっても、何を作るのか、何を評価するのか、どこで見切りをつけるのかは、自分で考える必要があります。
むしろ、簡単に作れるようになったからこそ、その判断が重要になってきたのかもしれません。
9. 生成AIは、ものづくりを民主化したのか?
note の記事でも書きましたが、この問いに対する私の答えは「イエス」です。
2026年の活動を振り返ると、その思いはさらに強くなりました。
これまで私は、プログラミングや3Dモデリングの専門知識がないことを、ものづくりの大きな壁だと感じていました。
しかし今では、AIに相談しながらアプリを構築し、モデルを学習させ、3Dキャラクターを作り、動画まで制作しています。
もちろん、生成AIがすべてを解決してくれるわけではありません。
AIが生成したコードが動かないこともありますし、間違った結果を出すこともあります。
修正を繰り返しても解決できず、プロジェクトを断念することだってあります。
ただ、以前は「できない」と思っていたことが、今では「とりあえず試してみよう」に変わりました。
この変化は、私にとって非常に大きなものです。
生成AIの本当の価値は、単に作業を効率化することだけではないと思っています。
これまで専門家でなければ挑戦しにくかった領域に、普通の人でも足を踏み入れられるようになったこと。
そこに、生成AIがもたらした大きな変化があるのではないでしょうか。
そして、その可能性はまだまだ広がっているように感じます。
10. 2027年も、作りたいものを作り続けたい
2026年を振り返って、改めて感じたことがあります。
それは、作ること自体が本当に楽しいということです。
AIエージェントをローカルで動かしたり、検索システムを作ったり、モデルを学習させたり。
ロゼに声をつけ、3Dモデルを作り、動画の中で動かしてみたり。
どれも最初から明確な計画があったわけではありません。
新しい技術を見つけては試し、うまくいかなければ別の方法を探す。
そんなことを繰り返しているうちに、気づけばこれだけのものを作っていました。
もちろん、開発速度は決して速くありません。
遠回りも多いですし、技術的に理解できていないことも山ほどあります。
それでも、AITuberの開発を始めて約3年。
2026年は、これまでで最も大きな進捗を感じられた年になりました。
特に紅璃ロゼは、一枚のイラストから、会話できて、声を出し、3D空間で動けるキャラクターへと少しずつ進化しています。
まだ理想の姿にはほど遠いですが、着実に前進できていると思います。
2027年も、引き続きロゼの開発を進めながら、ローカルLLMやAIエージェント、新しいAI技術をいろいろ試していきたいと思います。
そして、来年の今頃には、また自分でも驚くようなものが作れていたら嬉しいですね。
AIエンジニアじゃなくても、作りたいものは作れる。
2026年は、そのことを自分自身で実感できた1年でした。
これからも、自分のペースで、楽しく、泥臭く、ワクワクするようなものづくりを続けていきたいと思います!
参考記事
今回の記事は、以下の2本をまとめた総集編です。個々のシステムの構成や検証内容については、元記事で詳しく紹介しています。
2026年1月~6月までの振り返り ~ 非エンジニアのローカルAI開発 奮闘記
2026年7月~12月までの振り返り ~ 非エンジニアのローカルAI開発 奮闘記
最後まで読んでいただき、ありがとうございました!