Wikipediaでコーパス作る時、catコマンドを使って何百ものの文字ファイルをまとめた。

cat jawiki-latest-pages-articles.xml-* > corpus.txt

そしたらcorpus.txtが文字化けでmecabできなくなった。
たぶん犯人は文字コードかと思われる。

こういうときは

Get-ChildItem ".\" -Recurse -File -Filter "jawiki-latest-pages-articles.xml-*.txt" | Get-Content -Encoding UTF8 | Add-Content -Encoding default "corpus.txt"

で解決できる。

メモリ不足でエラー出た。
矢張り大人しくcmdでcopyコマンド使おう。

copy /b .\jawiki-latest-pages-articles.xml-*.txt corpus.txt

秒で終わります。（一分程度）

結局エンコード問題でEmeditorで文字コードをShiftJISに変換した。