こんにちは！
現在取り組んでいるプロジェクトの一部、特にデータを受け取り、基盤となるアーキテクチャに渡す前の前処理フェーズである 「インジェスト（Ingest）」 についてお話しします。
現在直面している課題：
現在のアーキテクチャでは、Router と Transformer の間にギャップがあることに気づきました。特に、データフローと重みの分散処理において、動作が意図したコンテキストから外れることがあります。このため、中間層の設計を再検討する必要が生じています。
これまでに達成したこと：
データを受け取り、柔軟な「知能レイヤー（マトリックス構造）」に整理できる Ingest システム を構築しました。
小規模なサンプルでテストし、データ処理と分散において有望な結果を確認しました。
複数回のテストを経て、システムの安定性を確認しました。
残された課題：
Router と Transformer 間の連携設計の再検討
大容量ファイルにも対応可能な重み分散メカニズムの最適化（現状ではCPU負荷が大きい）
大規模データでのテスト（現時点では利用可能なデバイスでは実行できません）
理論研究について：
O-MoE（Optimized Mixture of Experts） というタイトルの理論研究を Zenodo で公開しています。この研究では、防御的なエキスパート分散と重み調整の枠組みを提案していますが、実際に重み拡張を実装したものは既に別途行っており、現在の研究開発の一環として公開は控えています。
ご興味があれば、ぜひ Zenodo の研究もご覧ください：
https://doi.org/10.5281/zenodo.21853563
