半年以上前に書いた記事がずっと「下書き」に入った状態だったので、投稿。
備忘録。
目的:ubuntu 16.04への自然言語処理環境の構築。
1.miniconda インストール
(参考)https://qiita.com/icoxfog417/items/e8f97a6acad07903b5b0
●ここからダウンロード
https://conda.io/miniconda.html
●「ダウンロード」フォルダに次のファイルをダウンロード
・Miniconda3-latest-Linux-x86_64.sh
$ cd ダウンロード
$ bash Miniconda3-latest-Linux-x86_64.sh
・Enterやyesを押して終了。
●パスを通す
・geditで開く。
$ gedit ~/.bashrc
・以下を追記して保存。
export PATH="/home/ユーザ名/miniconda3/bin:$PATH"
・変更をシステムに反映。
$ source ~/.bashrc
・パス完了。
2.仮想環境構築
2-1. condaで仮想環境を構築する場合
(参考)https://qiita.com/icoxfog417/items/02a80b93b5f1e95f2795
# 仮想環境に追加でインストール(バージョンを指定する場合conda install scipy=0.12.0など)
conda install scikit-learn
# condaで取得できないものについて、pipでインストール(仮想環境にpipを入れて対応)
conda install pip
pip install Flask
# condaでインストールしたライブラリを書き出し
conda list --export > conda_requirements.txt
# インストールしたパッケージのアップデート(conda自身はconda update conda)
conda update numpy
# 仮想環境無効化
deactivate # Windows
source deactivate # Max/Linux
# ファイルから仮想環境を作成
conda create -n my_new_env --file conda_requirements.txt
# 最近はconda env exportを使い方が良いよう
conda env export > environment.yml
conda env create -f environment.yml
●「my_env」として生成と同時に、アクティブ化して、「numpy scipy scikit-learn matplotlib jupyter」をインストール。
$ conda create -n my_env numpy scipy scikit-learn matplotlib jupyter
activate my_env
●もし、「my_ebv」という仮想環境だけ作成するなら。
$ conda create -n my_env
●構築した仮想環境の確認
$ conda info -e
●アクティブ化
(参考)https://conda.io/docs/user-guide/tasks/manage-environments.html
$ source activate my_env
●非アクティブ化
$ source deactivate my_env
●削除
・「my_ebv」という仮想環境を削除する場合。
$ conda remove --name my_emv --all
2-2.virtualenvで仮想環境を構築する場合。
●まず、virtualenvのインストール
pip install virtualenv
# プロジェクトのフォルダを作成
mkdir myproject
cd myproject
# 1.仮想環境の作成 venvはフォルダ名でここにプロジェクト用の環境が用意される
virtualenv venv
# 2.仮想環境を有効化し、pipで必要なモジュールをインストール
# Windowsの場合、venv/Scripts/activate.bat なお、Gitのシェルを利用すると同じようにsourceでできる
# 仮想環境のactivateを行わないと、グローバルにインストールされるので注意 なお、無効化はdeactivate
source venv/bin/activate
pip install xxxx
# pip freezeで作成した一覧(requirements.txt)からインストールする場合は以下
pip install -r requirements.txt
# 3.実行する
python xxx.py
3.ライブラリのインストール(mecab, gensim, pandas)
●mecabインストール
$ sudo apt install mecab libmecab-dev mecab-ipadic-utf8
●mecabのPython用バインダをインストール
$ pip install mecab-python3
●mecab-pythonの動作確認
$ mecab
すもももももももものうち
すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
●パッケージ(gensim)の検索(見つからないパッケージは、my-env内でpipインストール)
$ conda search "gensim"
●パッケージ(gensim)のインストール
$ conda install gensim
●パッケージ(pandas)のインストール
$ conda install pandas
●インストール済みパッケージの確認
$ conda list