16
Help us understand the problem. What are the problem?

More than 5 years have passed since last update.

posted at

updated at

全裸改善:形態素解析器 kagome に go-bindata を使ったらビルド時間とバイナリのサイズが劇的に改善,『全裸で形態素解析スクリプト』もビルドでこけなくなるはず!

概要

形態素解析器に辞書を同梱するために,辞書構造を go のソースコードに変換して埋め込んでいたのですが,ビルド時間が15〜30分,バイナリサイズも105MBとちょっと問題がありました.そこで,辞書データを一度ファイルに落として,go-bindata を利用してコードに埋め込むことで,ビルド時間も数秒,バイナリサイズも16MBと劇的に改善されました.

変更点

  • gob を利用して辞書データをファイルに出力
  • go-bindata で出力された辞書をソースコード化
  • 初期化時に辞書データをinit関数でロード

修正差分:https://github.com/ikawaha/kagome/pull/2/files

ソース&インストール

% go get github.com/ikawaha/kagome/...

うれしいこと

gob についてのメモ

gob は go のデータをシリアライズしたりするのに利用できる package です.特に何も考えることなく任意のデータをバイト列に落とし込めるのですが,構造体に private なメンバーがあるとちょっと面倒です.今回は面倒だったので,private なメンバーを public にして対応してしまいました.この辺のやりかたを近いうちにまとめておきたい.忘れないうちに・・・.

関連

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Sign upLogin
16
Help us understand the problem. What are the problem?