Steve Jobs のスピーチ

まず、スタンフォード大学のページからスピーチの文字情報を取得し、段落分けをしないテクストファイルを作成します。
https://news.stanford.edu/2005/06/14/jobs-061505/


f= open("stevejobs.txt","r")

contents =f.read()

以下のようにすると、「（ほぼ）単語のリスト（と言えるもの）」list_word を作ることができます。


list_word = contents.split(" ")

これをつかって、特定の単語、例えばtheが何回出てくるかを数えることができます。


count = 0
for w in list_word:
    if (w == "the"):
        count = count + 1

print(count)
# 91

なお、上で「単語のリスト」と言い切らなかったのは、このやり方では、文末の単語に「.」などがくっついてしまうからです。例を見てみます。


for w in list_word:
    if ('.' in w ):
        print(w)
        print('----')

# 
"""
world.
----
college.
----
graduation.
----
life.
----
以下、たくさん続きます。
"""

以下のようにすると、「文のリスト（のようなもの）」list_sentence を作ることができます。


list_sentence = contents.split(". ")

「文のリスト」と言い切れないのは、このやり方では、末尾が「.」ではなく、「!」「?」「:」のようなものは文の句切れと認識されないためです。例を見てみます。


for l in list_sentence:
    if ("!" in l):
        print(l)
        print('----')

# 何も表示されないので、「!」が含まれる文はない模様。

for l in list_sentence:
     if ("?" in l):
         print(l)
         print('----')

# 実行結果は以下のようになる。 
"""
So why did I drop out? It started before I was born
----
So my parents, who were on a waiting list, got a call in the middle of the night asking: “We have an unexpected baby boy; do you want him?” They said: “Of course.” My biological mother later found out that my mother had never graduated from college and that my father had never graduated from high school
----
How can you get fired from a company you started? Well, as Apple grew we hired someone who I thought was very talented to run the company with me, and for the first year or so things went well
----
When I was 17, I read a quote that went something like: “If you live each day as if it was your last, someday you’ll most certainly be right.” It made an impression on me, and since then, for the past 33 years, I have looked in the mirror every morning and asked myself: “If today were the last day of my life, would I want to do what I am about to do today?” And whenever the answer has been “No” for too many days in a row, I know I need to change something
----
"""

文字の頻度

最後に、文字の頻度を見て見ましょう。

まず、すべての文字を小文字にします。


contents_lower = contents.lower()

def count_char(char_target):
    count = 0
    for i in range(len(contents_lower)):
        s = contents_lower[i]
        if (s==char_target):
            count = count+1
    
    return count

abc = "a b c d e f g h i j k l m n o p q r s t u v w x y z"

list_abc = abc.split()
# list_abc = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z']

import numpy
list_count_letter = numpy.zeros(26) 

for i in range(26):
    letter = list_abc[i]
    N = count_char(letter)
    list_count_letter[i] = N
    print(letter, N)

# 
"""
a 772
b 132
c 219
d 417
e 1077
f 206
g 207
h 440
i 642
j 9
k 65
l 402
m 216
n 595
o 772
p 183
q 4
r 499
s 510
t 926
u 283
v 115
w 245
x 16
y 257
z 4
"""

見やすくするために、sortをしてみると、以下のようになります。

(1位) "e"
(2位) "t"
(3位) "a"
(4位) "o"
(5位) "i"
(6-10位) "nsrhd"
(11-15位) "luywc"
(16-20位) "mgfpb"
(21-26位) "vkxjqz"

のようになっていて、意外にも"u"は12位なのですね。


index_sort = numpy.argsort(list_count_letter)

for i in range(26):
    k = index_sort[i]
    letter = list_abc[k]
    N = list_count_letter[k]
    print(letter, N)

"""
z 4.0
q 4.0
j 9.0
x 16.0
k 65.0
v 115.0
b 132.0
p 183.0
f 206.0
g 207.0
m 216.0
c 219.0
w 245.0
y 257.0
u 283.0
l 402.0
d 417.0
h 440.0
r 499.0
s 510.0
n 595.0
i 642.0
o 772.0
a 772.0
t 926.0
e 1077.0
"""