17
Help us understand the problem. What are the problem?

More than 5 years have passed since last update.

posted at

updated at

新型の形態素解析エンジン JUMAN++をRubyから使う

今一番熱い形態素解析エンジンといえば、やっぱりJUMAN++ですよね!

(参考1)JUMAN++ - 黒橋・河原研究室 - 京都大学

(参考2)新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話

少しだけ使ってみましたが、状況次第ではmecab + NEologdを凌駕する精度が出そうだと感じました。

JUMAN++にはpythonラッパーが提供されていますが、今回はrubyから利用する方法を試してみました。

[17年1月24日追記]Gemとして公開してみました。

GitHub:EastResident/jumanpp_ruby

RubyGem:jumanpp_ruby

環境

OS: Mac OS X EI Capitan
Ruby: 2.3.1

前提

前提として、当然ではありますがJUMAN++が入っている環境である必要があります。Macならhomebrewで一発なので、それが一番簡単かと思います。

brew install jumanpp

jumanppコマンドが実行できる環境なら問題ありません。

ラッパーモジュールの定義

方法は色々あるかと思いますが、今回はごくシンプルな方法で実装しました。

# coding: utf-8
require 'open3'

module Jumanpp

  def parse(sentents)
    o, = Open3.capture2("echo \"#{sentents}\" \| jumanpp --force-single-path")
    sep_words = o.split("\n").map { |r| r.delete("\\").delete("\"")}
    if block_given?
      sep_words.each do |word|
        yield word.split
      end
    else
      sep_words.map { |word| word.split.first }
    end
  end

  module_function :parse
end

使用例

Jumanpp.parseメソッドは、引数に与えた文字列を形態素に分解し、表層形のみを一次元配列の形で返します。ざっくり言うと、分かち書きして配列で返すだけです。

p Jumanpp.parse('モビルスーツの性能の違いが、戦力の決定的差でないということを教えてやる')

出力結果

["モビルスーツ", "の", "性能", "の", "違い", "が", "、", "戦力", "の", "決定", "的", "差", "で", "ない", "と", "いう", "こと", "を", "教えて", "やる", "EOS"]

さらに、Jumanpp.parseメソッドにブロックを与えることで、構文解析結果を形態素ごとにイテレートして処理することも可能です。

Jumanpp.parse('ララァ…私を導いてくれ!') do |word|
  p word
end

出力結果

["ララァ", "ララァ", "ララァ", "名詞", "6", "普通名詞", "1", "*", "0", "*", "0", "自動獲得:Wikipedia", "Wikipediaリダイレクト:ララァ・スン"]
["…", "…", "…", "特殊", "1", "記号", "5", "*", "0", "*", "0", "NIL"]
["私", "わたし", "私", "名詞", "6", "普通名詞", "1", "*", "0", "*", "0", "代表表記:私/わたし", "漢字読み:訓", "カテゴリ:人"]
["を", "を", "を", "助詞", "9", "格助詞", "1", "*", "0", "*", "0", "NIL"]
["導いて", "みちびいて", "導く", "動詞", "2", "*", "0", "子音動詞カ行", "2", "タ系連用テ形", "14", "代表表記:導く/みちびく"]
["くれ", "くれ", "くれる", "接尾辞", "14", "動詞性接尾辞", "7", "母音動詞", "1", "基本連用形", "8", "代表表記:くれる/くれる"]
["!", "!", "!", "特殊", "1", "記号", "5", "*", "0", "*", "0", "NIL"]
["EOS"]

ひらがなだけの文章でも試してみました。

# 認めたくないものだな、自分自身の若さ故の過ちというものを
Jumanpp.parse('みとめたくないものだな、じぶんじしんのわかさゆえのあやまちというものを') do |word|
  p word
end

出力結果

["みとめ", "みとめ", "みとめる", "動詞", "2", "*", "0", "母音動詞", "1", "基本連用形", "8", "代表表記:認める/みとめる", "補文ト"]
["たく", "たく", "たい", "接尾辞", "14", "形容詞性述語接尾辞", "5", "イ形容詞アウオ段", "18", "基本連用形", "7", "代表表記:たい/たい"]
["ない", "ない", "ない", "接尾辞", "14", "形容詞性述語接尾辞", "5", "イ形容詞アウオ段", "18", "基本形", "2", "代表表記:ない/ない"]
["もの", "もの", "もの", "名詞", "6", "形式名詞", "8", "*", "0", "*", "0", "NIL"]
["だ", "だ", "だ", "判定詞", "4", "*", "0", "判定詞", "25", "基本形", "2", "NIL"]
["な", "な", "な", "助詞", "9", "終助詞", "4", "*", "0", "*", "0", "NIL"]
["、", "、", "、", "特殊", "1", "読点", "2", "*", "0", "*", "0", "NIL"]
["じぶん", "じぶん", "じぶん", "名詞", "6", "時相名詞", "10", "*", "0", "*", "0", "代表表記:時分/じぶん", "カテゴリ:時間"]
["じしん", "じしん", "じしん", "名詞", "6", "普通名詞", "1", "*", "0", "*", "0", "代表表記:自身/じしん", "カテゴリ:人"]
["の", "の", "の", "助詞", "9", "接続助詞", "3", "*", "0", "*", "0", "NIL"]
["わか", "わか", "わかい", "形容詞", "3", "*", "0", "イ形容詞アウオ段", "18", "語幹", "1", "代表表記:若い/わかい"]
["さ", "さ", "さ", "接尾辞", "14", "名詞性述語接尾辞", "1", "*", "0", "*", "0", "代表表記:さ/さ", "準内容語", "カテゴリ:抽象物;数量"]
["ゆえ", "ゆえ", "ゆえ", "名詞", "6", "副詞的名詞", "9", "*", "0", "*", "0", "代表表記:故/ゆえ"]
["の", "の", "の", "助詞", "9", "接続助詞", "3", "*", "0", "*", "0", "NIL"]
["あやまち", "あやまち", "あやまち", "名詞", "6", "普通名詞", "1", "*", "0", "*", "0", "代表表記:過ち/あやまちv", "連用形名詞化:形態素解析"]
["と", "と", "と", "助詞", "9", "格助詞", "1", "*", "0", "*", "0", "NIL"]
["いう", "いう", "いう", "動詞", "2", "*", "0", "子音動詞ワ行", "12", "基本形", "2", "代表表記:言う/いう", "補文ト"]
["もの", "もの", "もの", "名詞", "6", "形式名詞", "8", "*", "0", "*", "0", "NIL"]
["を", "を", "を", "助詞", "9", "格助詞", "1", "*", "0", "*", "0", "NIL"]
["EOS"]

最後に

とりあえずRubyから処理できるようにしてみました。mecabと性能比較して、自分の目的に合うようなら本格的に使ってみたいですねー。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Sign upLogin
17
Help us understand the problem. What are the problem?