はじめに

と常日頃考えている私が、同じような志を持つ初心者の為に、１０年前のLinux初心者だった私へ伝えたいと思う７つのコトをまとめてみました。

前提など

もっといろんな工夫はあると思いますが、今回はとりあえずパッと思い付いた７つだけを紹介します。

基本中の基本ですが、データを逐次的に処理する場合であれば、全データをメモリ上に載せる必要はありません。

たとえば、以下のようなことは安易にやってはいけません。


fi = open('x00.csv', encoding='utf-8').readlines()
for line in fi:
  print('\t'.join(line.strip().split(',')))

Pythonで上記のように書くと、データx00.csvをメモリ上にすべて展開してしまいます。
数GBオーバーのデータを扱おうとした場合、明らかに問題です。

無論、データ全体をメモリ上に載せる必要がある場合もありますが、基本的にはfor文などで逐次的に処理していくことがほとんどです。

色々と回避する手段はありますが、標準入力（Pythonではsys.stdin）を使うのが汎用性が高くおすすめです。

# シェル
cat x00.csv | python test.py

# python
import sys

for line in sys.stdin:
  print(line.strip().split(','))

さて、処理したデータをどのように保存するのが良いでしょうか？

通常は標準出力を使って以下のように保存することが多いでしょう。


cat x00.csv | python test.py > y00.tsv

しかし、ディスク容量を少しでもケチるのであれば、標準出力されたデータを圧縮しながら保存しましょう。


cat x00.csv | python test.py | gzip -c > y00.tsv.gz

ファイル圧縮のコマンドには、gzip、bzip2、xzなどがあり、この３つのコマンドであれば-cオプションをつけることで、パイプラインでデータを受け取り、圧縮結果を標準出力として書き出すことができます。

よく使用されるのはgzipであり、ほとんどのシステムで圧縮・解凍ができるため、安定性があります。
gzipは上記の3つ中では最も圧縮率が低いですが、それでもかなりファイルサイズを圧縮できます（圧縮率がデフォルトで、おおよそ半分くらい）。

基本的には圧縮率が高いほど圧縮や展開に時間がかかるため、必要に応じてオプションやコマンドを変更しましょう。

なお参考に、オプションを与えず圧縮した場合、容量は以下のようになりました。

ls -lh
338M x00.csv
142M x00.csv.gz
97M x00.csv.bz2
92M xcsv.xz

上記でデータを圧縮しましたが、使用するために以下のように展開していては、まったくの無駄です。


gzip -d y00.csv.gz

そこで、展開しながら中身を標準出力で吐き出すzcatなどのコマンドを活用しましょう。
たとえば、以下のように処理をすることで、常に圧縮した状態でデータを扱うことができます。


zcat y00.csv.gz | python hoge.py | gzip -c > z00.txt.gz

なお、.bz2に対応するコマンドはbzcat、.xzに対応するコマンドはxzactになります。

1つのファイルのサイズが大きくなると、様々な不都合が生じます。

たとえば、数10GBのファイルを処理しているときに、アクシデントやエラーによって途中で中断してしまった場合、また最初から処理をやり直さなければならない状況になりえます。
特に、処理時間が長くなりがちな低スペマシンでは致命的ともいえるでしょう。

また進行状況も把握しにくく、精神衛生上もよくありません。
本当に精神衛生上よくありません。

そこで、大きすぎるファイルは以下のように分割して扱います。


mkdir x_dir; cd x_dir
split -l 10000 ../x00.csv -d

上記コマンドでは、x00.csvを10000行ずつのファイルに分割して保存します（データサイズでの分割も可能です）。

なお、圧縮後のファイルでも問題なく分割できます。

さて上記のように分割すると、特定のディレクトリに複数のファイルが存在することになりますが、このディレクトリ全体を圧縮したい場合が出てきます。

そのような場合tarコマンドを使用します。パッケージをダウンロードすると、よく.tar.gzなどの拡張子がついていますが、要するにあの形式に落とし込みます。

tarでは.gz、.bz2、xzなどで圧縮することができます。


tar -zcvf x_dir.tar.gz x_dir
tar -jcvf x_dir.tar.bz2 x_dir
tar -Jcvf x_dir.tar.xz x_dir

なお、以下の方法で解凍することができます。


tar -zxvf x_dir.tar.gz
tar -jxvf x_dir.tar.bz2
tar -Jxvf x_dir.tar.xz

AWSなどの多くのクラウドのレンタルサーバーでは、データの転送量に課金が発生します。

そこで転送量を抑えるために、サーバー間のデータ転送にscpではなく、より高機能なrsyncを利用します。

rsync -az --progress x_dir.tar.gz aws:~/

-z オプションを指定してやることで、圧縮しながら転送してくれます。

また、帯域を制限したり、更新のあったファイルのみアップロードしたりするなど、便利な機能が多数存在します。

なお豆知識ですが、同サーバー内のコピーでもrsyncを使用できます。

安易にcpコマンドを使わないようにしましょう。

まったく同じデータを複数作ってもほぼ無駄ですし、コピーしすぎると元が何のデータであったかわからなくなるデメリットも生じます。

ファイルの場所を参照するln -sを使用して、実態を減らしましょう。

ln -s original_path symble_path

なお、rsyncで-aオプション(正確には-l。-aには-lが含まれている)をつけていれば、シンボリックリンクをシンボリックリンクとしてコピーできます（scpだと、実ファイルがコピーされる）。

この記事では初心者の人にぜひ知っておいてほしい、ディスク＆メモリ節約の７つ道具について紹介しました。
今からでもすぐにできることばかりだと思いますので、早速実践してみてはいかがでしょうか？