LoginSignup
18
16

More than 5 years have passed since last update.

全裸改善:形態素解析器 kagome に go-bindata を使ったらビルド時間とバイナリのサイズが劇的に改善,『全裸で形態素解析スクリプト』もビルドでこけなくなるはず!

Last updated at Posted at 2014-07-12

概要

形態素解析器に辞書を同梱するために,辞書構造を go のソースコードに変換して埋め込んでいたのですが,ビルド時間が15〜30分,バイナリサイズも105MBとちょっと問題がありました.そこで,辞書データを一度ファイルに落として,go-bindata を利用してコードに埋め込むことで,ビルド時間も数秒,バイナリサイズも16MBと劇的に改善されました.

変更点

  • gob を利用して辞書データをファイルに出力
  • go-bindata で出力された辞書をソースコード化
  • 初期化時に辞書データをinit関数でロード

修正差分:https://github.com/ikawaha/kagome/pull/2/files

ソース&インストール

% go get github.com/ikawaha/kagome/...

うれしいこと

gob についてのメモ

gob は go のデータをシリアライズしたりするのに利用できる package です.特に何も考えることなく任意のデータをバイト列に落とし込めるのですが,構造体に private なメンバーがあるとちょっと面倒です.今回は面倒だったので,private なメンバーを public にして対応してしまいました.この辺のやりかたを近いうちにまとめておきたい.忘れないうちに・・・.

関連

18
16
7

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
18
16