- AIでデータ分析-データ前処理(55)-形態素解析：トークン化・単語分割
- 用いるデータの紹介
- Pythonで実装
- AIの活用：geminiを活用
- まとめ
AIでデータ分析-データ前処理AIでデータ分析-データ前処理(55)-形態素解析：トークン化・単語分割
今回はデータの前処理でよく行われるチェックリスト(55)-形態素解析：トークン化・単語分割 をAIを用いて行ってみたいと思います。
AIを用いることでいかに効率化できるのか、体験していただければと思います。
所要時間は20分ほどとなっています。
それでは、さっそく始めていきましょう！
データの紹介
今回用いる前処理練習用のcsvデータです。
サンプルデータはこちらから、チェックリストはこちらからダウンロードできます。
1行が1訪問を表すデータになっています。
Pythonで実装
まずはPythonで実行します。
所要時間30分でした。
AIの活用：geminiを活用
今度は同じことがAIでもできるか下記のようにgeminiに依頼します。
結果を確認します。
同じ結果を得られることが確認できました。
所要時間2分でした。
まとめ
今回は前処理練習用のデータに対し、前処理チェックリスト(55)-形態素解析：トークン化・単語分割 をAIを用いてできるか試しました。
結果はAIで代替できることを確認することができました。
AIでできることとできないことを把握し、うまく活用することで、データ分析もかなり効率化できそうですね！
AIでデータ分析-データの前処理(55)-形態素解析：トークン化・単語分割 は以上となります！