初めに

cwlを色々と勉強する為に、まずはcwlの環境を整備…しようとしたのですが、地味に結構手間取ったので、参考としてログに残しておきます。

概要

cwltool をインストールして、実際にCWLを実行してみる
の通りに実行してcwlをインストールする

目標

雑に始める CWL！の記事をなぞる形で雑に始めるところまで行きたい

#という訳で、作業記録
##初期状態
windows10+virtualbox 6上にインストールしたUbuntu18.04LTSです。さっき構築したばかりなので、ほぼ初期状態。anaconda等も入れていません。sudo apt upgradeやapt updateはやりました。dockerも公式記載のやりかたでインストールしました。

##作業開始

せっかくなので上の記事にある通りにvenvでやってみます。

python -m venv cwltoolenv

Command 'python' not found, but can be installed with:

sudo apt install python3       
sudo apt install python        
sudo apt install python-minimal

You also have python3 installed, you can run 'python3' instead.

そもそも初期状態だとpythonじゃ叩けないんですね…。

python3で叩いてみます。

python3 -m venv cwltoolenv

The virtual environment was not created successfully because ensurepip is not
available.  On Debian/Ubuntu systems, you need to install the python3-venv
package using the following command.

    apt-get install python3-venv

You may need to use sudo with that command.  After installing the python3-venv
package, recreate your virtual environment.

Failing command: ['/home/home-dir/cwltoolenv/bin/python3', '-Im', 'ensurepip', '--upgrade', '--default-pip']

venvも入れなきゃいけない模様。

sudo apt-get install python3-venv

パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています                
状態情報を読み取っています... 完了
以下の追加パッケージがインストールされます:
  python-pip-whl python3-distutils python3-lib2to3 python3.6-venv
以下のパッケージが新たにインストールされます:
  python-pip-whl python3-distutils python3-lib2to3 python3-venv python3.6-venv

(後略)

とりあえず何か入った模様。

cwltoolenv/bin/activate
bash: cwltoolenv/bin/activate: 許可がありません

sudo cwltoolenv/bin/activate
sudo: cwltoolenv/bin/activate: コマンドが見つかりません

あ、実行場所指定という意味でカレント"."とか指定しないといけないんですね…。コピペから抜けてました。

. cwltoolenv/bin/activate
(cwltoolenv) $

venv環境にはいると、こんなかんじに、(cwltoolenv) というのが、プロンプトの手前につくようになると思います。

なるほど。

activateした直後に、モジュールのリストを確認すると、
すると、こんなかんじに、ほぼからっぽだとおもいます。

pip list
DEPRECATION: The default format will switch to columns in the future. You can use --format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] section) to disable this warning.
pip (9.0.1)
pkg-resources (0.0.0)
setuptools (39.0.1)

なるほどなるほど。

という訳で本題。

cwltoolのインストール

pip install cwltool

Collecting cwltool
  Downloading https://files.pythonhosted.org/packages/e4/d3/4e827adab29ff95b0ce9b97fa69db3db13e6f89847903c380ea6a8c6745f/cwltool-1.0.20190815141648-py2.py3-none-any.whl (717kB)
    100% |████████████████████████████████| 727kB 1.0MB/s 

(中略)
    ----------------------------------------
Command "/home/home-dir/cwltoolenv/bin/python3 -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-5dtv24zz/psutil/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-ibn1fkj1-record/install-record.txt --single-version-externally-managed --compile --install-headers /home/home-dir/cwltoolenv/include/site/python3.6/psutil" failed with error code 1 in /tmp/pip-build-5dtv24zz/psutil/

何だか怪しい表示が…。

Python2.7　pip install jupyter　でエラーになる

error: invalid command 'bdist_wheel'
このエラーは、
pip install wheel
でwheelをインストールすればよさそうです。

なるほど。

pip install wheel
Collecting wheel
  Downloading https://files.pythonhosted.org/packages/00/83/b4a77d044e78ad1a45610eb88f745be2fd2c6d658f9798a15e384b7d57c9/wheel-0.33.6-py2.py3-none-any.whl
Installing collected packages: wheel
Successfully installed wheel-0.33.6

無事インストールできた模様。


pip install cwltool

（中略）

    ----------------------------------------
Command "/home/home-dir/cwltoolenv/bin/python3 -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-aq5z0v3f/psutil/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-ize975ss-record/install-record.txt --single-version-externally-managed --compile --install-headers /home/home-dir/cwltoolenv/include/site/python3.6/psutil" failed with error code 1 in /tmp/pip-build-aq5z0v3f/psutil/

先ほどとメッセージが変化。psutilが原因？

setuptoolsのアップグレードが必要な場合もあるらしいのでやっておく。

pip install --upgrade pip setuptools

これだけではうまくいかない。だが、
pip install psutil が失敗したので対処した
によれば関連ライブラリを入れれば何とかなりそう。

とりあえずそれっぽいキーワードでぐぐってみる。

python – コマンド ‘x86_64-linux-gnu-gcc’が終了ステータス1で失敗しました

私は同じ問題を抱えていました。
これは私を助けました：
sudo apt-get install build-essential libssl-dev libffi-dev python-dev
hpython3を使用している場合は、python-devをpython3-devに置き換えてみてください。

なるほど。

python3-devに書き換えて実行してみます。

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

その上で、

pip install psutil

無事通りました。
その上で再トライ。

pip install cwltool

無事通りました…！

元記事にならってバージョンも見ておきます。

cwltool --version

cwltoolenv/bin/cwltool 1.0.20190815141648

同様にpip listも見ておきます。

pip list

Package           Version           
----------------- ------------------
bagit             1.7.0             
CacheControl      0.11.7            
certifi           2019.6.16         
chardet           3.0.4             
coloredlogs       10.0              
cwltool           1.0.20190815141648
decorator         4.4.0             
future            0.17.1            
humanfriendly     4.18              
idna              2.8               
isodate           0.6.0             
lockfile          0.12.2            
lxml              4.4.1             
mistune           0.8.4             
mypy-extensions   0.4.1             
networkx          2.3               
pathlib2          2.3.4             
pip               19.2.3            
pkg-resources     0.0.0             
prov              1.5.1             
psutil            5.6.3             
pyparsing         2.4.2             
python-dateutil   2.8.0             
rdflib            4.2.2             
rdflib-jsonld     0.4.0             
requests          2.22.0            
ruamel.yaml       0.15.97           
scandir           1.10.0            
schema-salad      4.5.20190815125611
setuptools        41.2.0            
shellescape       3.4.1             
six               1.12.0            
typing-extensions 3.7.4             
urllib3           1.25.3            
wheel             0.33.6

これで元参考記事にある、cwltool --validate等の実行テスト関連コマンドも通ることを確認しました。

これでやっと雑に始められます…！