参考文献
はじめての機械学習
著者 小高 知宏
発売日 2011/04/22
準備
自分のパソコンの環境で実行します。
[Python 3.10.0]を使用します。
プログラム
n_gram1.py
import sys
N = 32
def set_last_ch(n, ch, last_ch):
for i in range(n-2, -1, -1):
last_ch[i+1] = last_ch[i]
last_ch[0] = ch
def print_ngram(n, last_ch):
for i in range(n-1, -1, -1):
print(last_ch[i], end='')
print()
def main():
if len(sys.argv) != 2:
print("使い方: python ngram.py (Nの値) < (入力ファイル名）> (出力ファイル名)", file=sys.stderr)
sys.exit(1)
n = int(sys.argv[1])
if n < 1 or n >= N:
print("Nの値が不適切です", file=sys.stderr)
sys.exit(1)
last_ch = [' '] * N
while True:
ch = sys.stdin.read(1)
if not ch:
break
if ch != '\n':
set_last_ch(n, ch, last_ch)
print_ngram(n, last_ch)
if __name__ == "__main__":
main()
解析対象文献
「Alice’s Adventures in Wonderland」
「by Lewis Carroll」
この著書をテキストファイル化したものを解析対象としました。
また、テキストファイル名を「Alice’s_Adventures_in_Wonderland.txt」としました。
解析は５-gramとし、出力後のファイル名を「alice5gram.txt」としました。
実行結果
console
> $ python n_gram1.py 5 <Alice’s_Adventures_in_Wonderland.txt> alice5gram.txt
> $ cat alice5gram.txt
*
**
***
***
*** S
** ST
* STA
STAR
START
TART
ART O
RT OF
T OF
OF T
OF TH
F THE
THE
THE P
HE PR
E PRO
PROJ
PROJE
ROJEC
OJECT
JECT
ECT G
CT GU
T GUT
GUTE
GUTEN
UTENB
TENBE
ENBER
NBERG
BERG
ERG E
RG EB
G EBO
EBOO
EBOOK
BOOK
OOK A
OK AL
K ALI
ALIC
ALICE
LICE'
ICE'S
CE'S
E'S A
'S AD
S ADV
ADVE
ADVEN
DVENT
VENTU
ENTUR
NTURE
TURES
URES
RES I
ES IN
S IN
IN W
IN WO
N WON
WOND
WONDE
ONDER
NDERL
DERLA
ERLAN
RLAND
LAND
AND *
ND **
D ***
***c
***co
**cov
*cove
cover
overA
verAl
erAli
rAlic
Alice
lice’
ice’s
ce’s
e’s A
’s Ad
s Adv
Adve
Adven
dvent
ventu
entur
nture
tures
ures
res i
es in
s in
in W
in Wo
n Won
Wond
Wonde
onder
nderl
derla
erlan
rland
landb
andby
ndby
dby L
by Le
y Lew
Lewi
Lewis
ewis
wis C
is Ca
s Car
Carr
Carro
arrol
rroll
rollT
ollTH
llTHE
lTHE
THE M
HE MI
E MIL
MILL
MILLE
ILLEN
LLENN
LENNI
ENNIU
NNIUM
NIUM
IUM F
UM FU
M FUL
FULC
FULCR
ULCRU
LCRUM
CRUM
RUM E
UM ED
M EDI
EDIT
EDITI
DITIO
ITION
TION
ION 3
ON 3.
N 3.0
3.0C
3.0Co
.0Con
0Cont
Conte
onten
ntent
tents
entsC
ntsCH
tsCHA
sCHAP
CHAPT
HAPTE
APTER
PTER
TER I
ER I.
R I.
I. D
I. Do
. Dow
Down
Down
own t
wn th
n the
the
the R
he Ra
e Rab
Rabb
Rabbi
abbit
bbit-
bit-H
it-Ho
t-Hol
-Hole
HoleC
oleCH
leCHA
eCHAP
CHAPT
HAPTE
APTER
PTER
TER I
ER II
R II.
II.
II. T
I. Th
. The
The
The P
he Po
e Poo
Pool
Pool
ool o
ol of
l of
of T
of Te
f Tea
Tear
Tears
earsC
arsCH
rsCHA
sCHAP
CHAPT
HAPTE
APTER
PTER
TER I
ER II
R III
III.
III.
II. A
I. A
. A C
A Ca
A Cau
Cauc
Caucu
aucus
ucus-
cus-R
...................................
...................................
...................................
...................................
...................................