CSVデータにSELECTクエリをかけられるので、前処理としての必要データ抽出がめちゃくちゃ楽になります。
個人的に感動しました。
今回はKNIMEで以下に挑戦してます。
・CDATA JDBC CSVDriverとKNIME連携
・KNIMEで株価データCSV参照
・参照したCSVファイルの前処理として、データへSELECT発行
・SELECT結果をグラフ化
CDATA JDBC CSVDriverとKNIME連携
CDATA JDBC評価版のダウンロード手順は前回参照。
KNIMEでのJDBCドライバ設定は公式チュートリアル参照して進めます。
KNIME(すでに古めの3.3.2)を起動
File→Install KNIME Extensions
KNIME→Databases→ここでダウンロードしたCSVドライバを指定します。
KNIMEで株価データCSV参照
ワークフローへDatabase Reader を追加→右クリック→Configure
・Database Driver→追加したCSVドライバを指定
・Database URL→jdbc:csv:DataSource=CSVファイルのフォルダパス;
右下のDatabase Browser→Fetch Metadataクリック→読み込みたいCSVファイルをダブルクリック
SQL Statementへ反映されます。
ここでの注意点として、テーブル名から「.csv」を削除します。
FROM bb.csv
↓正しくは
FROM bb
参照したCSVファイルの前処理として、データへSELECT発行
「.csv」に注意しながらSQL文を作成します。
今回は単純にすでにある項目を選んでいます。
ここで条件指定やGROUP BYして必要な前処理ができてしまいます。
これがCSVファイルにできるのは、かなり便利です。
SELECT結果をグラフ化
Line Chartを追加し、折れ線グラフで表示します。
さいごに
・KNIMEでも元々エクセルファイルを読み込むことだけできる
・ただし、SELECT抽出するにはDBへ取り込む必要があり、その手間が面倒
↓
CSVをサクサクと集め、それらを結合して抽出した結果をKNIME(だけに限らないのですが)で分析！
ここが感動したポイントです。
次回以降やること
以下のいずれかを進めていきます。
1.ニュースサイトのRSSを収集
CDATAにはRSSドライバもあるようなので、その評価版も使ってみます。
PythonでRSS取得してDBへ書き込むプログラムは既に作っていますが、せっかくドライバがあるので試してみます。
2.RSS収集データを形態素解析して株価の値動きと紐付け
そのままですね。
2000年初頭、学生時代の研究テーマが「強化学習により株式売買で儲ける」だったので、自然と発想が株にいってしまいます。
ただし、強化学習は使いません。
3.ArduinoでMIDI連携し、ホコリをかぶった電子楽器を操作
ArduinoとMidiパーツは購入済み。
LED点滅まで試したので、やりたいことをやります。
4.Arduinoと赤外線センサーを連携し、MIDIドラムの音を鳴らす
打ち込みだとテンポを変えられないため、足でMIDIを操作して一人でグルーヴをいかに出すか。
MIDI信号実行の遅延により、リズムがヨレヨレになることが考えられます。
2020年から始まるプログラミング教育を念頭にしたチャレンジです。
プログラミング授業×音楽の授業×ダンスの授業×図画工作の授業 的な。
5.エンジニアとしてSDGsを考える
プログラミングではないですが、『エネルギー、水、温暖化』関連の書籍を読んでいるので、そのまとめです。
女川町で釣りをしながら考える。