Help us understand the problem. What is going on with this article?

sudachiclone-rs作った

先達の記事

Rustによる自然言語処理ツールの実装: 形態素解析器「sudachi.rs」

成果物

https://github.com/Yasu-umi/sudachiclone-rs
https://crates.io/crates/sudachiclone

やったこと

  • SudachiPyの中身を読んでRustで再実装した。
  • sudachi.rsとのdiffは再現度。テスト含めSudachiPyにある機能は大体実装済み。

まだやってないこと

  • いくつかの機能の実装。数字のnormalizeのためのpluginとか。
  • パフォーマンス改善。辞書読み込みがpythonより遅いとかどうなっているんだ。

そもそもやりたかったこと

  • wasm使ってブラウザでtokenizerを動かす。

雑感

Rustを書くこと自体が久々だったので構文を結構忘れていた。しかしやはりこんなに親切なコンパイラは他にないのではなかろうかというくらいには優しいコンパイラだ、とにかくコードを書くのが楽しい。
pythonからの素朴な移植をやったのでRc<RefCell<T>>を使わざるを得なかったのがつらい。しかしこれは内部の構造を大幅に変更しないとなくせないだろう。
以前100本ノックをやっていた時にも感じたが、RustでNLPする上での(python比較での)一番のハードルはやはり文字列の扱いで、Stringに良い感じにutf8でsliceする機能がstdで欲しくなった。(unicode_segmentationの存在にはたった今気付いたのでこれを使うコードに書き直そう)

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした