はじめに

言語処理100本ノック 2015という素敵教材をド素人が挑戦していく記事です。

道のり
〜言語処理100本ノック No.00-04〜
〜言語処理100本ノック No.05-09〜
〜言語処理100本ノック No.10-14〜

環境

Mac OS X 10.14.5
Python 3.7.1

準備

「hightemp.txt」というテキストがサイトに用意してあるので、ローカルに配置します。

15. 末尾のN行を出力

自然数Nをコマンドライン引数などの手段で受け取り，入力のうち末尾のN行だけを表示せよ．確認にはtailコマンドを用いよ．

Pythonで実行

15.py

# python 15.py hightemp.txt 3

import sys
# ファイルの読み込み
f = open(sys.argv[1], 'r').readlines()

# 末尾何行を出力するのかの引数格納
line_num = 0
line_num = int(sys.argv[2])

# 末尾N行出力
for line in (f[len(f) - line_num:len(f)]):
    print(line,end="")

確認(Linuxコマンド)

$ tail -n 3 hightemp.txt 
山梨県  大月    39.9    1990-07-19
山形県  鶴岡    39.9    1978-08-03
愛知県  名古屋  39.9    1942-08-02

16. ファイルをN分割する

自然数Nをコマンドライン引数などの手段で受け取り，入力のファイルを行単位でN分割せよ．同様の処理をsplitコマンドで実現せよ．

Pythonで実行

16.py

# python 16.py hightemp.txt 7

import sys
# ファイルの読み込み
f = open(sys.argv[1], 'r').readlines()
#　ファイルの行数の確認
text_linesize = len(f)

# 何行ずつに区切るのか引数の格納
line_num = 0
line_num = int(sys.argv[2])
file_num = 1
# 末尾N行出力
for i in range(0,len(f),line_num):
    file_name = 'output/chap_2_16_python_'+str(file_num)
    fnew = open (file_name, 'w')
    for x in f[i:i+line_num]:
        fnew.write(str(x))
    fnew.close()
    file_num += 1

# ls output/chap_2_16_python_*
# output/chap_2_16_python_1  output/chap_2_16_python_2  output/chap_2_16_python_3  output/chap_2_16_python_4

確認(Linuxコマンド)

# -l で何行ずつ区切るか
# ファイル名のあとに指定した名前でファイルが作成される(末尾にa,bとついていく)。
# ファイル名は変更できる
$ split -l 7 hightemp.txt chap_2_16_linux_
$ ls -l chap_2_16_linux_a*
-rw-r--r--  1 itnewcomer  staff  244  6 27 23:20 chap_2_16_linux_aa
-rw-r--r--  1 itnewcomer  staff  237  6 27 23:20 chap_2_16_linux_ab
-rw-r--r--  1 itnewcomer  staff  230  6 27 23:20 chap_2_16_linux_ac
-rw-r--r--  1 itnewcomer  staff  102  6 27 23:20 chap_2_16_linux_ad
$ cat chap_2_16_linux_aa 
高知県  江川崎  41      2013-08-12
埼玉県  熊谷    40.9    2007-08-16
岐阜県  多治見  40.9    2007-08-16
山形県  山形    40.8    1933-07-25
山梨県  甲府    40.7    2013-08-10
和歌山県        かつらぎ        40.6    1994-08-08
静岡県  天竜    40.6    1994-08-04
$ cat chap_2_16_linux_ad
山梨県  大月    39.9    1990-07-19
山形県  鶴岡    39.9    1978-08-03
愛知県  名古屋  39.9    1942-08-02

17. １列目の文字列の異なり

1列目の文字列の種類（異なる文字列の集合）を求めよ．確認にはsort, uniqコマンドを用いよ．

Pythonで実行

17.py

# python 17.py hightemp.txt

import sys

print("17. １列目の文字列の異なり")

# ファイルの読み込み
f = open(sys.argv[1], 'r').readlines()

# リストの初期化
word_list = list()

# 1列目のみをリスト化
for line in f:
    word_list.append(line.split()[0])

# 集合にする
word_list = set(word_list)

# 表示
print(word_list)

確認(Linuxコマンド)

# -f　何列目か
# -d 区切り文字の指定
$ cut -f 1 -d "$(printf "\t")" hightemp.txt | sort |uniq 
千葉県
埼玉県
大阪府
山形県
山梨県
岐阜県
愛媛県
愛知県
群馬県
静岡県
高知県
和歌山県

18. 各行を3コラム目の数値の降順にソート

各行を3コラム目の数値の逆順で整列せよ（注意: 各行の内容は変更せずに並び替えよ）．
確認にはsortコマンドを用いよ（この問題はコマンドで実行した時の結果と合わなくてもよい）．

Pythonで実行

18.py

# python 18.py hightemp.txt

import sys
from operator import itemgetter

# ファイルの読み込み
f = open(sys.argv[1], 'r').readlines()

# 多次元配列の作成
my_list = list()
for line in f:
    my_list.append(line.split())

# operatorモジュールを使用
# keyにソートしたい要素を指定

print(sorted(my_list, key=itemgetter(2),reverse=True))

# [
# ['高知県', '江川崎', '41', '2013-08-12'],
# ['埼玉県', '熊谷', '40.9', '2007-08-16'],
# ['岐阜県', '多治見', '40.9', '2007-08-16'],
# ['山形県', '山形', '40.8', '1933-07-25'],
# ['山梨県', '甲府', '40.7', '2013-08-10'],
# ['和歌山県', 'かつらぎ', '40.6', '1994-08-08'],
# ['静岡県', '天竜', '40.6', '1994-08-04'],
# ['山梨県', '勝沼', '40.5', '2013-08-10'],
# ['埼玉県', '越谷', '40.4', '2007-08-16'],
# ['群馬県', '館林', '40.3', '2007-08-16'],
# ['群馬県', '上里見', '40.3', '1998-07-04'],
# ['愛知県', '愛西', '40.3', '1994-08-05'],
# ['千葉県', '牛久', '40.2', '2004-07-20'],
# ['静岡県', '佐久間', '40.2', '2001-07-24'],
# ['愛媛県', '宇和島', '40.2', '1927-07-22'],
# ['山形県', '酒田', '40.1', '1978-08-03'],
# ['岐阜県', '美濃', '40', '2007-08-16'],
# ['群馬県', '前橋', '40', '2001-07-24'],
# ['千葉県', '茂原', '39.9', '2013-08-11'],
# ['埼玉県', '鳩山', '39.9', '1997-07-05'],
# ['大阪府', '豊中', '39.9', '1994-08-08'],
# ['山梨県', '大月', '39.9', '1990-07-19'],
# ['山形県', '鶴岡', '39.9', '1978-08-03'],
# ['愛知県', '名古屋', '39.9', '1942-08-02']
# ]

確認(Linuxコマンド)

# -k keyとなる列
# -t 区切り文字
# -r reverse
$ sort -k 3 -t "$(printf "\t")" -r hightemp.tx
高知県  江川崎  41      2013-08-12
岐阜県  多治見  40.9    2007-08-16
埼玉県  熊谷    40.9    2007-08-16
山形県  山形    40.8    1933-07-25
山梨県  甲府    40.7    2013-08-10
和歌山県        かつらぎ        40.6    1994-08-08
静岡県  天竜    40.6    1994-08-04
山梨県  勝沼    40.5    2013-08-10
埼玉県  越谷    40.4    2007-08-16
群馬県  館林    40.3    2007-08-16
群馬県  上里見  40.3    1998-07-04
愛知県  愛西    40.3    1994-08-05
千葉県  牛久    40.2    2004-07-20
静岡県  佐久間  40.2    2001-07-24
愛媛県  宇和島  40.2    1927-07-22
山形県  酒田    40.1    1978-08-03
岐阜県  美濃    40      2007-08-16
群馬県  前橋    40      2001-07-24
千葉県  茂原    39.9    2013-08-11
埼玉県  鳩山    39.9    1997-07-05
大阪府  豊中    39.9    1994-08-08
山梨県  大月    39.9    1990-07-19
山形県  鶴岡    39.9    1978-08-03
愛知県  名古屋  39.9    1942-08-02

19. 各行の1コラム目の文字列の出現頻度を求め，出現頻度の高い順に並べる

各行の1列目の文字列の出現頻度を求め，その高い順に並べて表示せよ．確認にはcut, uniq, sortコマンドを用いよ．

Pythonで実行

19.py

# python 19.py hightemp.txt 

import collections
import sys

# ファイルの読み込み
f = open(sys.argv[1], 'r').readlines()

# リストの初期化
word_list = list()

# 1列目のみをリスト化
for line in f:
    word_list.append(line.split()[0])

# Python標準ライブラリcollectionsにCounterクラスを利用
c = collections.Counter(word_list)
print(c)

# Counter({'埼玉県': 3, '山形県': 3, '山梨県': 3, '群馬県': 3, '岐阜県': 2, '静岡県': 2, '愛知県': 2, '千葉県': 2, '高知県': 1, '和歌山県': 1, '愛媛県': 1, '大阪府': 1})

確認(Linuxコマンド)

# -f 切り出す列番指定
# -d 区切り文字の指定
# uniq -c で各要素が何個あるか出せる
# sort -n 数値として並び替える
# sort -r 降順
$ cut -f 1 -d "$(printf "\t")" hightemp.txt | sort |uniq -c |sort -nr
  3 群馬県
  3 山梨県
  3 山形県
  3 埼玉県
  2 静岡県
  2 愛知県
  2 岐阜県
  2 千葉県
  1 和歌山県
  1 高知県
  1 愛媛県
  1 大阪府

最後に

今回は結構時間かかりました。
Linuxは普段文字列操作系はあまり使わないので、色々調べて楽しかったのです。
なにかお気づきの点あればコメントいただけると幸いです。