wp2txtでハマった話

何をしたかったか

　去年あたりから有名な、Word2Vecを触ることになった。

　Word2Vecはどんなものかというと、単語の意味を文脈（単語の前後にある一連の単語）から判断し、100~200次元くらいの空間に射影するのだとか。単語がベクトルを持ち、このベクトルの向きがその単語の意味に相当するので、意味の足し引きなどができるようになるそう。Word2Vecについて詳しくは↓
米googleの研究者が開発したWord2Vecで自然言語処理(独自データ)

　Word2Vecは文脈から判断するために、分かち書きされた大量の文書データを必要とするそうだ。

　日本語のデータを分かち書きするには、MeCabというアプリケーションが使われる。MeCabは辞書を元に確率的に解析して、文書の中で分けるのに最適な部分を見つけてくるのだとか。辞書にない言葉は認識できないので、分かち書きしたい文書のジャンルによっては、そのジャンルの辞書が必要だ。

　そこで試しにWikipediaのダンプデータから辞書を作ったり、コーパスを作ったりしたい。

　まずwp2txtというrubyのgemを使って、wikiのダンプをパースするのだが、このwp2txtでハマった。以下はその時のメモ代わり。

環境

　Windows 8.1上で vagrant + VirtualBox を使って仮想OS Ubuntu14.04 を導入してある。また、UbuntuはPythonが2系なのが気に入らないので、3系の環境をAnacondaで構築。さらにRubyも一応入れてあるところからスタート。
そのときの努力はここ。

wp2txtのワナ

　本家(githubレポジトリ)には一行でインストールできると書いてある。

$ gem install wp2txt

しかしエラー。。。

root@ubuntu-1404:/home/vagrant# gem install wp2txt
Building native extensions.  This could take a while...
ERROR:  Error installing wp2txt:
        ERROR: Failed to build gem native extension.

    current directory: /var/lib/gems/2.3.0/gems/nokogiri-1.6.7.2/ext/nokogiri
/usr/bin/ruby2.3 -r ./siteconf20160503-3778-1cu9phe.rb extconf.rb
mkmf.rb can't find header files for ruby at /usr/lib/ruby/include/ruby.h

extconf failed, exit code 1

Gem files will remain installed in /var/lib/gems/2.3.0/gems/nokogiri-1.6.7.2 for inspection.
Results logged to /var/lib/gems/2.3.0/extensions/x86_64-linux/2.3.0/nokogiri-1.6.7.2/gem_make.out

ちゃんと読むと、nokogiriとやらで詰まっていること、mkmfがヘッダを見つけられなかったことが分かる。

bundleで入れようとしたり(1, 2)、なぜかrailsを入れようとしてみたり（wp2txtと同様、nokogiriで全く同じエラーを吐く）したがまあダメ。
mkmfが無い場合はruby-devをインストールが惜しかったがこれもダメだった。

• 解決

結局Stack Overflow（本家の）を読んで解決した。

Error while installing json gem 'mkmf.rb can't find header files for ruby'

rubyのバージョンを確認すると次の通りだった。

root@ubuntu-1404:/# ruby -v
ruby 2.3.0p0 (2015-12-25 revision 53290) [x86_64-linux-gnu]

よって

root@ubuntu-1404:/home/vagrant# sudo apt-get install ruby2.3-dev

とすると、

root@ubuntu-1404:/# gem install wp2txt
Fetching: wp2txt-0.8.0.gem (100%)
Successfully installed wp2txt-0.8.0
Parsing documentation for wp2txt-0.8.0
Installing ri documentation for wp2txt-0.8.0
Done installing documentation for wp2txt after 0 seconds
1 gem installed

となって解決。
ちなみに、原因はいろいろあるよう。

その他参考にしたページ

やりたいことが全く同じ
http://eyepodtouch.net/?p=77

wp2txtをこれで知った
http://saiyu.cocolog-nifty.com/zug/2014/02/word2vec-1867.html

青空文庫で試してる例
http://tjo.hatenablog.com/entry/2014/06/19/233949

nokogiriをビルドできない
http://qiita.com/chobi9999/items/7b66677b3bf3da8acc14