概要

NLP 遊び用にファイルを取得する。

1. github から青空文庫のソースコードを丸ごと `git clone`

いつからか github で管理し始めたらしい。

Clone or download からリポジトリのアドレスをコピーして

クローンする。15 GB あるので注意。

$ cd $適当なディレクトリ
$ git clone git@github.com:aozorabunko/aozorabunko.git

WEB ページから好きな作家の作品のページにどうにかしてたどり着く。
URL の「〜cards」の直後に作家を示す ID が入ってるのでコピー。
画像でいうと 000879

ID 把握したら以下のディレクトリに移動。

cd $適当なディレクトリ/aozorabunko/cards/$作家を示すID/files/

解凍する。
解凍できたら unar でなくてもよいです。

$ mkdir $解凍ファイル用ディレクトリ
$ brew install unar
$ find . -name '*.zip' -exec unar {} -o $解凍ファイル用ディレクトリ \;

なんか com.apple.FinderInfo っていう属性がついてる。
気持ち悪いので削除。

$ # なかったらインストール
$ brew xattr
$ # まとめて削除
$ for f in `ls -1 $解凍先ディレクトリ`;
$ do
$     xattr -d com.apple.FinderInfo ${f};
$ done

これで準備万端！
ってあああああああああ！！！！！！！

文字コード直す

$ cd $解凍先ディレクトリ
$ mkdir ../$UTF8用ディレクトリ
$ for f in `ls -1`;
$ do
$     nkf -u $f > ../$UTF8用ディレクトリ/$f;
$ done

直った

あとはお好みで前処理。