AWS EC2上にNExTをインストールするメモ。
Named Entity Extraction Tool(以下NExT)は、固有表現抽出ツールである。詳しくは、参考URLからオリジナルのサイトを参照のこと。
NExT Ruby版は、RubyとChasenを使うので、一緒にインストールする必要がある。
0. instance立ち上げ
EC2上にinstanceを立ち上げる。
とりあえず、お試しならt1.microでも良いかも。
AWS t1.micro
OS: Aamzon Linux
ツール、データはS3上に上げておくと、外部からダウンロードするより少し早いし、お財布にも少し優しい。
1. yum update
$ sudo yum update
2. swap設定
EC2instanceがt1.microのときswap領域を設定する
$ sudo dd if=/dev/zero of=/swap.img bs=1M count=2048
$ sudo chmod 600 /swap.img
$ sudo mkswap /swap.img
$ sudo vi /etc/fstab
以下を追加
/swap.img swap swap defaults 0 0
swapを有効にする
$ sudo swapon -a
3. 日本時間に設定
$ sudo vi /etc/sysconfig/clock
ZONE="Asia/Tokyo"
に書き換える。
$ sudo ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime
$ sudo reboot
4 . epelリポジトリの有効化
Amazon Linux AMIでEPELの設定だけはすでに行われている。
EPELを使いたいパッケージのところでyum --enablerepo=epel install -y xxxxと実行する。
というのを確認したら、次のステップへ。
5. S3ツールのインストール (S3を利用しない場合は、不要)
$ sudo yum install gem
$ sudo yum install rubygem-aws-sdk
$ sudo yum -y --enablerepo epel install s3cmd
$ s3cmd --configure
Access KeyとSecret Keyを設定する
httpsを使うにyes
s3cmdで日本語を正しく扱うための設定
$ sudo vi /usr/lib/python2.6/site-packages/sitecustomize.py
/usr/lib/python2.6/site-packages/sitecustomize.py
import sys
sys.setdefaultencoding('utf-8')
6. 開発環境インストール
$ sudo yum -y install gcc*
$ sudo yum -y install make
$ sudo yum -y install ruby-devel
7. Dartsインストール
$ wget http://chasen.org/~taku/software/darts/src/darts-0.32.tar.gz
$ gtar xvzf darts-0.32.tar.gz
$ cd darts-0.32
$ ./configure
$ make
$ make check
$ sudo make install
8. ChaSenインストール
$ wget http://iij.dl.sourceforge.jp/chasen-legacy/56305/chasen-2.4.5.tar.gz
$ tar xzf chasen-2.4.5.tar.gz
$ cd chasen-2.4.5
$ sudo ./configure
$ sudo make
$ sudo make install
$ sudo vi /etc/ld.so.conf.d/usr-local.conf
$ cat usr-local.conf
/usr/local/lib
$ sudo ldconfig
9. ipadic をインストール
$ wget http://jaist.dl.sourceforge.jp/ipadic/24435/ipadic-2.7.0.tar.gz
$ tar zxf ipadic-2.7.0.tar.gz
$ cd ipadic-2.7.0
$ ./configure
辞書ファイルをUTF-8に変換
$ vi convert.sh
convert.sh
#!/bin/sh
for file in *.dic *.cha
do
if [ -f $file ]; then
echo $file
iconv -f euc-jp -t utf-8 $file > tmpfile
mv tmpfile $file
fi
done
exit
$ sh ./convert.sh
$ `chasen-config --mkchadic`/makemat -i w
$ `chasen-config --mkchadic`/makeda -i w chadic *.dic
$ sudo make install
10. chasenrcもUTF-8に変換
$ cd /usr/local/etc
$ sudo cp -p chasenrc chasenrc.orig
$ iconv -f euc-jp -t utf-8 chasenrc > /tmp/chasenrc.tmp
$ sudo mv /tmp/chasenrc.tmp chasenrc
$ sudo chown root:root chasenrc
11. テスト
$ chasen -iw
今日の天気は雨です。
今日 キョウ 今日 名詞-副詞可能
の ノ の 助詞-連体化
天気 テンキ 天気 名詞-一般
は ハ は 助詞-係助詞
雨 アメ 雨 名詞-一般
です デス です 助動詞 特殊・デス 基本形
。 。 。 記号-句点
EOS
12. Ruby
- Install Git
$ sudo yum install -y git
- Install RBEnv and the ruby-build plugin for it
$ git clone git://github.com/sstephenson/rbenv.git .rbenv
$ echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(rbenv init -)"' >> ~/.bash_profile
$ mkdir -p ~/.rbenv/plugins
$ cd ~/.rbenv/plugins
$ git clone git://github.com/sstephenson/ruby-build.git
$ source ~/.bash_profile
- rbenv installと同時にインストールするgemパッケージ
$ git clone https://github.com/sstephenson/rbenv-default-gems.git ~/.rbenv/plugins/rbenv-default-gems
~/.rbenv/default-gems に以下のような内容を書く
~/.rbenv/default-gems
rubygems-update
aws-sdk
pit
ec2ssh
parallel
elastic-mapreduce
- libxml2 と libxslt のヘッダファイル (nokogiri用)
$ sudo yum install libxml2-devel
$ sudo yum install libxslt-devel
- Install Ruby
2.0.0をインストールする
$ sudo yum install -y gcc make zlib zlib-devel openssl openssl-devel
$ rbenv install 2.0.0-p0
$ rbenv rehash
$ rbenv global 2.0.0-p0
$ gem update
2.0.0でうまく動かないようなら、1.8.7をインストールする。
$ rbenv install 1.8.7-p374
$ rbenv rehash
$ rbenv global 1.8.7-p374
$ gem update
13. ruby-chasenインストール
$ wget https://sites.google.com/a/ixenon.net/ruby-chasen/home/chasen1.7.tar.gz?attredirects=0&d=1
$ mv chasen1.7.tar.gz\?attredirects\=0 chasen1.7.tar.gz
$ tar zxvf chasen1.7.tar.gz
$ mv chasen1.7 ruby-chasen-1.7
$ cd ruby-chasen-1.7
$ ruby extconf.rb
$ make
$ make instal
13. nkfのインストール
$ wget http://mirror.centos.org/centos/6/os/x86_64/Packages/nkf-2.0.8b-6.2.el6.x86_64.rpm
$ sudo rpm -ivh nkf-2.0.8b-6.2.el6.x86_64.rpm
14. NExTインストール
EUC-JPからUTF-8対応に変更してインストール
$ cd $HOME
$ wget http://www.ai.info.mie-u.ac.jp/~next/versions/nextr-0.1.tar.gz
$ tar zxvf nextr-0.1.tar.gz
$ cd nextr-0.1
EUCをUTF-8に変換
find . -type f | xargs -n 10 nkf -w —overwrite
chasenにUTF-8のオプションを追加
$ cd $HOME/nextr-0.1/data/nextr
$ cp -p pre-setup.rb pre-setup.rb.orig
$ vi pre-setup.rb
$ diff pre-setup.rb.orig pre-setup.rb
1c1
< unless system("chasen -c suffix_s.org > suffix.dic") and system("chasen -c mid_s.org > mid.dic") and system("chasen -c match_s.org > match.dic")
---
> unless system("chasen -iw -c suffix_s.org > suffix.dic") and system("chasen -iw -c mid_s.org > mid.dic") and system("chasen -iw -c match_s.org > match.dic”)
$ cd $HOME/nextr-0.1/lib/nextr
$ cp -p dic.rb dic.rb.orig
$ vi dic.rb
$ diff dic.rb.orig dic.rb
64c64
< text.scan(/.*?EOS\n/me) do |t|
---
> text.scan(/.*?EOS\n/mu) do |t|
$ cp -p tagger.rb tagger.rb.orig
$ vi tagger.rb
$ diff tagger.rb.orig tagger.rb
59c59
< Chasen.getopt('-c')
---
> Chasen.getopt(‘-iw’, '-c’)
$ cp -p conf.rb conf.rb.orig
$ vi conf.rb
$ diff conf.rb.orig conf.rb
23c23
< text.scan(/^\s*([^#\n]+?)[\s\t]+\(([^#\n]+)\)\s*$/){ @groups[$1] = /\A(#{$2})\Z/e }
---
> text.scan(/^\s*([^#\n]+?)[\s\t]+\(([^#\n]+)\)\s*$/){ @groups[$1] = /\A(#{$2})\Z/u }
$ cd $HOME/nextr-0.1
$ ruby setup.rb config --prefix=$HOME
$ ruby setup.rb setup
$ ruby setup.rb install
テスト
$ chasen -iw -cj $HOME/nextr-0.1/README | nextr PERSON
$ vi test.rb
test.rb
require 'nextr/tagger'
require 'chasen'
tagger1 = NExTR::Tagger.new('/home/ec2-user/etc/nextrc')
tagger2 = NExTR::Tagger.new('/home/ec2-user/etc/nextrc', 'PERSON')
Chasen.getopt('-iw', '-c')
puts tagger1.tag(Chasen.sparse('先日の青木教授の授業は楽しかった'))
#=> <DATE>先日</DATE>の<PERSON>青木</PERSON>教授の授業は楽しかった。
puts tagger2.tag(Chasen.sparse('先日の青木教授の授業は楽しかった'))
#=> 先日の<PERSON>青木</PERSON>教授の授業は楽しかった。
$ ruby test.rb