プロジェクトの目的
このプロジェクトでは、データ前処理プログラムの開発・運用プラットフォームStreamCatを開発しています。データ分析の経験はあるけどプログラム開発の経験が乏しいユーザが、簡単に開発・運用できることを目指しています。
データ前処理とは、収集された生データに対して、分析手法を適用するまでに行う処理です。
StreamCat
StreamCatを使えば、以下のような手順でデータ前処理プログラムを開発してこれを運用できます。
1. プロジェクトを立ち上げる
プロジェクトは、複数のメンバで協調して開発作業を進めて行くために必要なプログラム、データ、資料などを入れておく共有フォルダです
2. 前処理プログラムを作成する
コマンドと呼ぶ単機能の処理を繋げて前処理プログラムを作ります
3. 運用する
スケジュールに基づいて定期的に実行したり、実行状況を監視します
開発環境
- システム形態
- Webアプリケーション
- 開発言語
- Python
- TypeScript
- Rust(予定)
- 使用フレームワーク
- Flask（将来的にFastAPIに変更したい）
- SQLAlchemy
- React
メンバー構成
- プロジェクトリーダ：1人
- 開発者：1人
- オブザーバ：1人
これまでの活動
- 2018年ごろ：株式会社KSKアナリティクスの自社製品として開発をスタート
- 2021年09月：開発中止
- 2021年10月：会社から成果物を譲り受ける。元開発メンバーの中から有志が集い、オープンソースとして開発を継続することを決意
これからの予定
- 開発者の増強
- 前処理開発機能の刷新
- 運用機能の構築