ChatGPTに日本語の分かち書きをやらせてみる

やる意味あるかは置いておき、ちょっと興味があったのでChatGPTに日本語の分かち書きをさせてみました

分かち書きについて

昔から、や、今でもNLPのためにMeCabなどで形態素解析させていたり、最近では分かち書きせずにMLの入力を処理する CANINE なんてのもあるようですが、とにかく日本語を機械に処理させるには一工夫が必要のようです

早速試してみる

咄嗟に日本語の文を考えろと言われてもちょっと困るので、今朝(2023/02/17)のニュースの一部をちょっとやってもらった。
(ChatGPTなら生成してくれるか？)

形態素解析ではなく、文節に区切った方が個人的に使い勝手がよいのでそうしましたが、如何様にもできそうです。

感想

ChatGPTがどのような入力処理をしているのかは伺い知れませんが、仮名への変換精度といい、もうこの用途でのMeCabの出番はなくなりそうです。そもそもNLPでの入力処理ならもうMeCabは使わなくなってるのかもしれませんが、もうちょいローテクな用途(内緒)ではまだ分かち書きしたいところがあるもんで

最後に

面白いおもちゃ(ChatGPT)をありがとう