Help us understand the problem. What is going on with this article?

全裸改善:形態素解析器 kagome に go-bindata を使ったらビルド時間とバイナリのサイズが劇的に改善,『全裸で形態素解析スクリプト』もビルドでこけなくなるはず!

More than 5 years have passed since last update.

概要

形態素解析器に辞書を同梱するために,辞書構造を go のソースコードに変換して埋め込んでいたのですが,ビルド時間が15〜30分,バイナリサイズも105MBとちょっと問題がありました.そこで,辞書データを一度ファイルに落として,go-bindata を利用してコードに埋め込むことで,ビルド時間も数秒,バイナリサイズも16MBと劇的に改善されました.

変更点

  • gob を利用して辞書データをファイルに出力
  • go-bindata で出力された辞書をソースコード化
  • 初期化時に辞書データをinit関数でロード

修正差分:https://github.com/ikawaha/kagome/pull/2/files

ソース&インストール

https://github.com/ikawaha/kagome/

% go get github.com/ikawaha/kagome/...

うれしいこと

gob についてのメモ

gob は go のデータをシリアライズしたりするのに利用できる package です.特に何も考えることなく任意のデータをバイト列に落とし込めるのですが,構造体に private なメンバーがあるとちょっと面倒です.今回は面倒だったので,private なメンバーを public にして対応してしまいました.この辺のやりかたを近いうちにまとめておきたい.忘れないうちに・・・.

関連

Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away