巨大csvの整形を高速に行う便利パッケージ: NYSOL(MCMD)
# 大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万行を超えるデータは扱えないため、スクリプト言語で適当なコードを書いてましたが、適当に書いたのでちょっとしたデータ整形をするだけでも死ぬほど時間がかかって辛いです。 処理の一部をsedやawkで置き換えて高速化を図るなど、涙ぐましい努力をしていましたが、NYSOL(MCMD)という…
# 大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万行を超えるデータは扱えないため、スクリプト言語で適当なコードを書いてましたが、適当に書いたのでちょっとしたデータ整形をするだけでも死ぬほど時間がかかって辛いです。 処理の一部をsedやawkで置き換えて高速化を図るなど、涙ぐましい努力をしていましたが、NYSOL(MCMD)という…
*この記事の抜粋したコードの完全版は[GitHub](https://github.com/mpppk/colaboratory/blob/master/sutaba.ipynb)でご覧いただけます。* *また、この記事で作成したモデルは[Twitterのスタバ警察bot](https://twitter.com/sutaba_police)で実際に試せるので、ご興味があれば適当な画像を「スタバ…
みなさんポケットモンスター ソード&シールドやってますか?私は開会式に参加したところで中断しており、まだバッジ0個です。 さて、ポケモンを愛する皆さんであれば、一度はポケモン名でいろは歌を作りたいと思ったことがあるはずです。つまりどういうことかというと、ア〜ンまでのカタカナ45音を重複なく一度ずつ利用したポケモン名の列挙をしたいということです。例えば、以下の12体のポケモンの組み合わせは上記条…