GAE/Goで形態素解析してみた

GAE/Goで形態素解析

Goの形態素解析ライブラリで最もメジャーなのはkagomeであるが、辞書ファイルが1ファイルの容量制限（32MB）を超えてしまい、デプロイできない。
そこで、他にもGoで書かれた形態素解析のコードはないものかと探し回ったら、SenKoというのが存在したので、試してみました。

SenKo

MeCab形式の辞書ファイル（csv）を採用。
32MBを超えるcsvファイルは存在しないが、辞書ファイルが多いい。

試してみるコード

辞書の読み込み

var dec *senko.Decoder
func loadDictionary() {
	mat := senko.LoadMatrix("data/matrix.def")
	dict := senko.NewDictionary()
	dict.LoadDictionaries("data")
	dec = senko.NewDecoder(dict, mat)
}

APIの作成

リクエスト：形態素解析したい文章
レスポンス：形態素解析結果（単語・品詞）

func registerAnalysis() {
	http.HandleFunc("/api/analysis", handleAnalysis)
}

func handleAnalysis(w http.ResponseWriter, r *http.Request) {
	c := appengine.NewContext(r)
	sentence := r.FormValue("sentence")
	log.Infof(c, "形態素解析対象文字列 = %s\n", sentence)
	var vocabularies []Vocabulary
	for _, s := range dec.Search(sentence) {
		str := strings.Split(s.Repr(), ",")
		if str[0] == "EOS" {
			break
		}
		vocabulary := Vocabulary{
			Word: str[0],
			Pos:  str[4],
		}
		vocabularies = append(vocabularies, vocabulary)
		log.Infof(c, "単語 = %s, 品詞 = %s", vocabulary.Word, vocabulary.Pos)
	}
	json, err := json.Marshal(&vocabularies)
	if err != nil {
		http.Error(w, err.Error(), http.StatusInternalServerError)
	}
	w.Header().Set("Content-Type", "application/json;charset=utf-8")
	w.Write(json)
}

デプロイしてみる

動いた。
kagomeに比べ、csvファイルを読み込む処理が入るのでTokenizerの生成に時間はかかるが、一度読み込んでしまえば、形態素解析の処理自体は速いです。
文章の中に未知語が含まれていると、結果を返してくれなかったり、kagomeよりも精度は劣ると感じるものの、自分がやりたいことに対しては十分でした。
辞書ファイルがcsvなので、必要に応じて楽に単語を追加できる点でもありだとは思います。

最後の「もも」がうまくいっていませんね（涙）