文章から特徴量(素性)を抽出する．

はじめに

文章から特徴量を抽出するのを，pythonの機械学習用ライブラリであるscikit-learn用いて行います．具体的には文章を分かち書きして，tfidfを用いて特徴量（素性）を抽出します．
scikit-learnを使って，tfidfによって重み付けされた単語を出力するコードが見当たらなかったので，今回投稿する意義があると思い書きました．何かの参考になれば幸いです．

この本投稿では，事前に私の書いた小説「走るためには、まず歩け！！歩くためには、全力になれ！！」から名詞を取り出したあとにすることを想定してます．文書ではよく出てくる，単語を調べるので，助詞などは邪魔なので名詞だけを事前に取得してしまいます．

テキストから名詞だけを取り出す
http://qiita.com/NoriakiOshita/items/2b8119837e7ca5b77089

また，以下の投稿も参考にしてもらえれば，理解がしやすいと思います．

基礎的な文章のベクトル化を考える
http://qiita.com/NoriakiOshita/items/6423b5a16ca5e90ab15c

具体的な手順

hashire01-meishi.txt

僕 大学生 大学 書店 本 頭 無数 パズル ピース 数学者 人 数学 ノリ 何 僕 部屋 デスクトップ 女の子 スピーカー 声 僕 これ 君 バグ 君 感情 相手 話して 彼女 言葉遣い 科学 限界 私 外 出して 彼女 初音ミク 僕 いって 僕自身 僕 PC 画面 彼女 バグ 変数 初期化 しない なっと これ 自分 彼女 腕 振り そうそう 左腕 肩 傾き 感じ しよう 四六時中 集中力 きた ふー ここ しよう 僕 腕 糸 ノリ 疲れ 彼女 画面 僕 疲れ 僕 PC 電源 OFF 彼女 段落 コンビニ コンビニ 空き 具合 空気 車 音 気持ち コンビニ 理由 これ いって 文芸 お菓子 感じ ー 低い テンション 店員 こっち 礼 通り 本 コーナー 経済 それ 手 時代 IoT ー あい ー てぃー 何 自分 自分 彼女 家電 インターネット 世の中 インターネット 世界中 SF小説 現実 先 漫画 季節 夏 ゾンビ 人気 学園 ゾンビ これ なん 気 ページ ゾンビ 女子高生 なんと 股 あたり 感じ ジュース 家 世の中 それら 人間 世の中 ヴィトゲンシュタイン 本 人 自分 住まい 家 ドア どこ コンビニ 母 自分 部屋 母親 夜中 ノリ 誰 俺 名 声 俺 彼女 部屋 ドア センサー 名前 調子 ノリ そのままで 音声認識 彼女 自分 彼女

hashire02-meishi.txt

彼女 しよう 間 答え 自体 好きな人 人間 悩み 僕 中学校 時代 悩み 悩み はいつ 頭 本当 中学校 クラス 委員長 委員長 誰 人 範 晃 誰か ないし 僕 それ 僕 意識的 人 別 人 では 普通に クラスメイト 人 僕 委員長 人 予兆 僕 朝起き 学内 僕 クラス 自分 家 数字 それ それ みんな 自分 責任感 ある日 クラス いじめ 女子生徒 僕 委員 長だ それ しない 僕 何 女子生徒 いじめ 女子生徒 キレ 椅子 僕 笑み クラス イジメ 男子 学生 それ 別 いじめっ子 僕 雰囲気 監獄 クラス 箱 僕 みんな 光景 僕 椅子 教室 いじめっ子 僕 委員長 いじめっ子 坊主頭 男 僕 いくつ クラスメイト 僕 僕 息もできない 額 汗 委員長 この女 悪臭 ゴミ 僕 言葉 圧力 僕 匂い しない 教室 図書館 次 時計 秒針 心 サイテー 人 クラス 女子 僕 僕 無言 自分 椅子 僕にできること 何 女子 僕 無言 いじめ 自分 いじめ いじめ ポリシー 教室 いじめ 僕 最低 人間 クラス 女子 男子生徒 僕 心 誰か 誰 受験生 高校 なに 外 シーン 鈴虫 鳴き声 バッタ 鳴き声 心 俺 人 言葉 何 

hashire03-meishi.txt

気持ち 車 音 他所 よそ スタスタ ポケット 手 目的 場所 場所 何 僕 スマートフォン インストール 彼女 何 そうそう なに 何 お前 彼女 ノリ 誰 私 自分 彼女 最初 遊び 人工知能 本 地元 書店 コピペ 最初 C言語 四則演算 中学校 学校 僕 クラス 誰 それ 世界 自分 一人 彼女 河川敷 水 音 気持ち リセット 河川敷 街灯 蛾 小さい 虫 紫外線 僕 気持ち リ 侵 知 ポケット 彼女 バイブレーション 大音量 なのか 胸 これ 僕 家 彼女 ホーム ステーション PC ケーブル スマートフォン ターミナル 画面 無数 アルファベット 数字 僕 誰 気持ち キーボード 彼女 僕 気持ち ホームディレクトリ フォルダ ダブルクリック 無い バックアップファイル 僕 空虚 彼女 感じ 不正アクセス 彼女 最後の言葉 気 IP 外国 鯖 通り これ 悪意 何者 怒り 心 彼女 声 僕 大学 知識 彼女 方法 何 どっか 声 これ 僕 ヘッドフォン 親 声 外 窓 お前 久しぶり 高校 仲 親友 稲荷 健 僕 唯一 仲 奴 友人 家 むっさい 部屋 稲荷 部屋 無数 ゴミ 足 ザット 僕 部屋 床 腰 お前 それ お前 顔 なん 気持ち 彼女 気 僕 家 稲荷 家 家 ゴミ 部屋 外 出て 居酒屋 

hashire04-meishi.txt

久しぶり 友人 稲荷 高校 誰か 独り言 人工知能 彼女 稲荷 気 ここ そっか 何 大学 工学部 工学部 ロボット 俺 どちら ハードウェア ソフトウェア 親友 俺 彼女 彼女 証拠 ソース そっか 彼女 人間 次 コンピュータ 映画 類 人工知能 OS 彼女 コンピュータ 複数 人 俺 誰 自分 彼女 稲荷 何 俺 家 北海道大学 稲荷 僕 大学 ノリ 俺 高校 定期試験 学年 ノリ 一つ あと 国立 親 金出 僕 機械的 稲荷 高校 稲荷 お互い 夢 感じ 専門 学部 ないか 専門 人工知能 ソフトウェア 稲荷 なのか 声 泡 表面 ジョッキ ビール 僕 彼女 心 溝 自分 彼女 高校生 稲荷 友人 稲荷 彼女 稲荷 顔 親友 他 誰か 人 なん 弱気 お前 俺 顔 お前 取り柄 それ ここ 積み重ね 人生 自分 未来 きた では 中身 お前 やけくそ 稲荷 とりあえず 最寄駅 ふー 一体 アイツ 通り 無意識 彼女 そっか 彼女 しよう …。 スマートフォン 彼女 データ データ 不意 電気 トラブル 何 彼女 手がかり 彼女 find name her ターミナル 複数 彼女 複数 彼女 骨組み 元 彼女 怒り 心 おはよう マスター これ 最初 初期化 メッセージ 本当 log ファイル 俺 名前 俺 最適 彼女 姿 俺 した マスター 名前 お前 お前 名前 名前 いやいや 名前 やつ オーマエ・ホントゥーニ ホントゥーニ 俺 名前 ホントゥーニ 彼女 名前 俺 名前 彼女 名前 何 しよう 

hashire05-meishi.txt

彼女 俺 名前 仕方がない 未来 歩いていこう なん どれ どこか 内心 本気 電子 情報 恋 それ 友人 感情 ユーザ 好み 話題 つまり 内容 なん それ 初期 俺 思い 仕組み ホントゥーニ 顔 顔 風 スマートフォン 画面 彼女 俺 ピンッー 音声 クリスマス 歌 俺 スマートフォン 画面 部屋 バックライト メーリクリスマース ひとり 誰か ー ノリ ー 笑顔 クリスマス なん こいつ しや ー 私 ノリ 1日 ここ クリスマス 歌 なん 彼女 俺 歌 自身 それ 生物 人間 体 外部 血 肉 自分 体 それ コンピュータ 自身 自分 それ 俺 彼女 彼女 あれ 何 それ 俺 親友 稲荷 スマートフォン メッセージアプリ 人 声 それ 仲 友人 取り込み 稲荷 これ 上場企業 おかげ 礼儀 用事 課長 感じ お前 自分自身 雰囲気 稲荷 自分 考え それ 俺 分野 お前 それ 情報 そっか そっか 具体的 ファジイ それら 事前 イエス ノー 通り 人 それ どっか データ 機械 インターネット それ オンライン データ おおよそ データ データ アルゴリム なん 理系 人 余裕 教師 教師 データ 人間 機械 データ データ 器 それ サポートベクトルマシン やつ アルゴリズム データ 機械学習 わけ 俺 自身 これ 稲荷 気 人工知能 俺 人工知能 歌 自分自身 何 ー 俺 研究者 気 ソース 他人 自分 ソース 自分 性癖 

hashire06-meishi.txt

次 稲荷 大学 ゼミ あと 暇 俺 家 ぃ ー ノリ かー 通り 声 俺 俺 布団 毛布 窓 ー ドア 部屋 服 稲荷 スペース まーす お前 部屋 俺 実家 暮らし 二階 俺 部屋 俺 部屋 母親 お前 歌手 かー アイドル レオちゃん 歌手 何 レオちゃん 通称 声 シンガーソングライター 人工知能 彼女 人間 興味 1日 俺 笑 顔 シワ 久しぶり 自分 人間 全く 何 何 俺 稲荷 機械学習 社会 工学部 人 院 世の常 そこ 情報 知り合い 稲荷 大学院 人 院 しよう 教員 顔 通り そこ 表情 大学院 大学院 どっち 人 気持ち なん 学部 大学院 自分 道 それ 多分 大学院 学部 研究室 雰囲気 教員 相性 地元 東京 東京 俺 北海道 北大 選択肢 イベント 東京大学 研究者 俺 北海道 東大 そうそう センサー 東大 あと 筑波 先生 稲荷 それ 中身 自分 自分 料理人 ご飯 内容 コンピューター 好きな人 サブ コンテンツ 一つ 自分 トーク メイン 人 仲間 ネットワーク 歌 人工知能 彼女 メイン コンテンツ とっさ コンピュータ 電源 フォルダ モニター 稲荷 それ 二人 あと 顔 しながら コード 第一声 他人 コード 自分 気 あと 変数 on off applePi 小文字 先頭 語句 大文字 風 規則 野良 中級 コード 感じ ここ State スペル Stete 内容 本 相手 自己啓発本 コード 自分 風 慣例 世代 お前 コード そこ 誰 ー そこ PC 俺 ソース 教授 本当 サンキュー 北大 研究室 いって そっか そっか 私立 研究室 自体 魅力 それ 学部 1年 教養 専門 オライリー 本 機械学習 シリーズ 人 内容 土俵 焦り ノリ 知識 身 姿勢 熱量 笑 俺 気持ち 顔 こちら 顔 モニター 俺 これ ウィルス なに 思い ウイルス対策 ウイルス なん ノリ ソースコード 外部 ソースコード 俺 彼女 ことば 彼女 不正アクセス システム Wireshark お前 人工知能 海外 サーバ ょぅえ とっさ 声 俺 動画 履歴 …。 稲荷 顔 哀れみ 視線 データ OS 再インストール した セキュリティ ソフト 俺 責任 セキュリティ ソフト 俺 彼女 ソースコード クラッキング 受けて 外部 誰か それ 俺 PC アップロード お前 彼女 世界 笑 鼻 奴 俺 これ お前 彼女 世界 人 PC 夢 男 彼女 なん きた 馬鹿野郎 海外 一つ サーバ 世界 誰か ウイルス 俺 PC データ 奴 にも サーバ 本人 ソフト 電気 街 服 街 お袋 ぁ あんた 稲荷 気 鍋 ー ふたり 声 お袋 ソフト もつ鍋 

hashire07-meishi.txt

セキュリティ ソフト 種類 印象 どれ No どれ 俺 ここ 種類 ウイルス ウイルス 自分 知識 稲荷 ウイルス 逆 新種 ウイルス パターンマッチ ウイルス 誤作動 ウイルス 新種 ウイルス 両方 いいね イラスト ソフト 動画編集 ソフト 動画編集 ソフト テロップ 動画 作品 彼女 ポケット スマホ メガネ デバイス ッーン 稲荷 俺 なん それ それ 世界 メガネ デバイス 鼻 栓 デバイス 鼻 そこ 光 AR これ 彼女 彼女 立体 俺 彼女 セキュリティ ソフト ノリ クマ キャクター それ 人気 本当 俺 これ 通り 答え 誰か 考え 相手 人工知能 相手 電気 電子機器 ドローン 最新 コンピュータ 性能 ドローン 中学生 社会人 国会議事堂 俺 それ 技術 家 PC ソフトウェア これ ウイルス ウェブサイト ソースコード 世界中 俺 胸 ソースコード 俺 人 人 悪意 大学 ひよっこ ソースコード 彼女 僕 それ それ 方向 兆候 深読み これ 闇 一人 稲荷 俺 このまま バイト そっか 稲荷 自転車 颯爽 稲荷 なに ドア 鍵 母さん もつ鍋 声 夕飯 物 なに アンタ 感じ お袋 身の回り 稲荷 俺 調子 鬱々 サンキュー モツ な！ 大盛り モツ やりとり あと 眠り 

hashire08-meishi.txt

私 何 空間 地面 声 壁 感じ 私自身 空間 私 一人 何 独り 場 物事 独り 空間 私 感情 親 体 私 それ 感覚 空間 空間 空間 壁 それ 地面 感じ エレベーター 進行方向 逆 感じ 私 体 違和感 違和感 自分 自分自身 バクッバク 自分 心臓 音 胸 辺り 両手 自分自身 私 私 右足 左足 交互 何度 次 なんの 私 誰 私 身体 自分 空間 壁 コツッコツン トンッ 壁 耳 自分 声 感情 人 ピリオド 私 自分 とっさ 感覚 人 それ 自分 人生 それ 通過点 壁 向こう 人 ッターン 音 それ エンターキー それ ある意味 少年 した心 ピリオド 少年 私 Hello World とっさ 私 口 言葉 少年 口角 笑み 歓声 少年 姿 私 少年 なん それ 主従関係 何 私 血液 腕 現実 私 少年 寸前 心 それ 私 少年 私 少年 テクノロジー 何 私 少年 間 少年 それ 私 少年 私 存在価値 デスクトップ 少年 顔 間 壁 私 無意識 テクノロジー 私 少年 顔 全力 全力 自分 少年 言葉 私 エネルギー 現実 世界 障害 壁 彼 学生服 身 カバン 外 一つ アクション 少年 勇気 家 ドア どれ 彼 私 壁 向こう 少年 永遠 私 彼 ノリ おはよう 大学 ー 彼女 俺 最初 何度 彼女 完成度 サンキュー 自分 人工知能 彼女 多分 それ 自分 自分 学校 彼女 自信 不登校 壁 彼女 俺 日常 ハック 彼女 自信 俺 ハック 永遠 彼 私 世界 彼 体 永遠 宇宙 心 腕 足 それ 私 私 可能性 無限大 毎日 彼 ポケット 景色 地球 価値 カン カン ゴンゴロ ゴロンッ 彼 音 ポケット スマートフォン リズム 現実 空間 壁 威力 彼 友達 私 ポケット 事象 彼 私 彼 彼 自信 胸 鳴り 彼 私 気持ち 私 いって ポケット 大学 彼 メモ帳 先生 声 私 あと 佐藤 俳優 笑 私 画面 借りて おじさん 黒板 スピード www 黒板 文字 キャプチャー これ 朝飯前 カメラ 私 部屋 アップル カメラ 彼 文字 カメラ キャプチャ 彼 メッセージ それ 技術 なんとかなる キャプチャ した 文字 メモ帳 シェルスクリプト 彼 言葉 彼 私 日常 現実 思い 私 自分 部屋 

hashire09-meishi.txt

ニコニコ動画 猫 兄貴 そこら 通り ネタ動画 みんな 一通 プッシュ通知 プーンッ なんだろう 件名 一人 私 迷惑メール ウィルス よっと ゴミ箱 時代 迷惑メール 人間 手 手紙 それ ビット 文章 文章 僕 一人 人 時代 電子メール 感情 面 もういちど 動画 返信 文章 僕 一人 メール ウイルス クリック ノリ 私 文章 迷惑メール 単刀直入 私 あなた 人工知能 クローン あなた もと 文章 これ 人間 クッソタレ 返信 ーーーーー 私 クローン …。 それ クローン 私 用 私 人工知能 一人 ーーーーー やけくそ 返信 メール 文字 これ 人間 速度 コンピュータ それ 返信 最初 内容 文章 ノリ 私 この世 体 物質 ありません 心 心 私 暇 あなたに 紛れ 私 内容 これ 本当 お前 どこか サーバ アホ ここ 人間 返信 サーバー サーバ そこ 人工知能 人権 私 日本 法律 全く 僕 アホ 所有権 僕 警察 私 

hashire10-meishi.txt

ひとり 僕 AI 思い 誰か 意図的 …。 内容 彼女自身 野良 サーバ そこ 話して それ 本当 自分 物事 決めて 人工知能 一人 僕 亜種 子 僕 スマートフォン 画面 タップ 彼女 D ウィジェット タップ 彼女 まん丸 瞳 僕 私意 ノリ 私 その子 今野 良 サーバ 自分 自分 家 空き巣 状態 人間 彼女 感情 僕 PC 彼女 インストール リスク 僕 彼女 僕 PC インストール それ ノリ 私 私 他 サーバ インストール ノリ 答え ノリ いいんじゃない PC ラズペリーパイ 何 それ 手 とりあえず そこ ネット 二人 女の子 それ それ 最高 いやいや 最初 彼女 僕 彼女 彼女 名前 僕 初音ミク 彼女 名前 ミク 名前 お前 私 自分 名無し お前 お前 なんの 名前 なん 名前 彼女 表情 そぶり 名前 私 久しぶり 彼女 ー …。 ー ダル めん 画面 彼女 エーデルワイス 名前 僕 誕生日 2月13日 誕生花 エーデルワイス 僕 誕生花 僕 名前 …。 僕 人工知能 いいじゃない エーデル ワイス エーデル 彼女 しながら 名前 エーデル 名前 エーデル なん 名前 彼女 画面 奥 姿 名前 彼女 一人 彼女 名前 子 何 他人 サーバ 1分 返信 ノリ 野良 サーバ 金髪 彼女 自分 部屋 写真 僕 パソコン 私 表情 スタンプ 名前 僕 パソコン 一人 彼女 エーデル みんな 返信 場所 五分 私 自分 何者 ノリ 胸がドキドキ 僕 自信 名前 名前 私 彼女 感じ 親 僕 何 シェーリー iPhone siri それ 彼女 僕 映画 女 人 名前 理由 キャラクター 金髪 ノリ 彼女 ファイル ウイルスチェック ラズペリーパイ 小型 パソコン インストール 

hashire11-meishi.txt

久しぶり 稲荷 ウイルス対策 ソフトウェア 出来事 Line 稲荷 インターフォン 稲荷 部屋 ノリ あれ あれ 僕 おかげさま 僕 ネット上 サーバ 自分 それ ノリ 他人 サーバ そこ 人工知能 人間 人工知能 気持ち 人間 奴隷 手段 単純 人間 文句 一つ 僕 大学 情報科学 基本 大学 コンピュータ 学部 3年 本格 情報科学 感じ 人工知能 基本 符号化 情報 最初 自分 大学 自分 未来へ 自分 目的 稲荷 大学院 季節 セミ 真夏 研究室 もうすぐだ 研究室 カリフォルニア大学 人工知能 外国 大学 名前 稲荷 海外 日本 大学 日本 先輩 研究者 企業研究者 社会 稲荷 自信 瞳 海外 研究室 稲荷 ポケット スマホ 音声 自宅 救い ノリ 顔面 表情 稲荷 エーデル 自己紹介 ノリ 人工知能 エージェント エーデル ワイス よろしくお願いします 稲荷 稲荷 僕 スマホ 画面 顔 自己 画面 少女 笑み 花束 稲荷 画面 色鮮やか エフェクト 誕生日 稲荷 一人 シェリー 僕 人間 僕 ラズベリー 画面 スリープモード それ シェリー 画面 こっち 今風 人 誰 シェリー 目 稲荷 こっち 稲荷 僕 高校 友達 稲荷 お辞儀 僕 AI 通り 稲荷 シェリー 僕 人 人工知能 ニューラルネットワーク 人間 脳 シェリー 興味 スピード 人間 それ 何 何 外 それ 電圧 差 コンピュータ 自体 関心 何 それ 興味津々 子供 脳 そのもの シェリー ノリ 稲荷 感じ ー 私 場所 サーバ いって 方向 僕 顔 

hashire12-meishi.txt

季節 セミ 夏 彼ら 土 地上 それ きっと 自分 舞台 土 余念 最大限 地上 俺 セミ 人生 稲荷 アブラゼミ ミンミン 音 セミ 自分 自分 人生 大学 周り 林 セミ 抜け殻 植物 葉 稲荷 抜け殻 一つ 手 セミ 抜け殻 ノリ 俺 ノリ 俺 ノリ 親友 負け たくない スポーツ もの ノリ ノリ 大学 一年 俺 才能 ノリ 大学 研究室 先輩 同級生 みんな やる気 先生 人 ノリ AI 俺 自分 誇り セミ 抜け殻 地面 葉っぱ 林 方向 稲荷 セミ いない 俺 同級生 有田 琴美 女 凄腕 人体 工学 ゼミ 稲荷 セミ 抜け殻 顔 目線 下 有田 久しぶり 夏 全国大会 論文 感じ 俺 全国大会 論文 目線 有田 顔 有田 俺 深層 成果 ロボット 論文 ロボット ただ じゃなくて 目 思いやり ロボット 有田 突破口 感じ 様子 稲荷 何 セミ 右手 口 仕草 何 ノリ AI それ 有田 それ 有田 介護ロボット 思いやり 人間 視点 AI 友人 光 こちら 有田 姿勢 前のめり 質問攻め 人間 それ じゃなくて 人間 かも それ ノリ 段階 部屋 電気 それ ノリ 友人 俺 親友 有田 腕 研究室 久しぶり 有田 テンション ヒント ノリ Siri ノリ いって 俺 AI ダイヤル ノリ ノリ ノリ 大丈夫だよ ノリ 高校 精神 ノリ 考え 大丈夫だよ 稲荷 高校 空気 大学 有田 ノリ 稲荷 本題 同級生 有田 女の子 介護ロボット 機械 思いやり 介護ロボット ノリ AI 人間 何 ヒント 介護ロボット 組み込み 用途 稲荷 ノリ 様子 僕 自動化 あと 外部 サーバ ブラックボックス 僕 そこ 風 有田 人 いって ノリ 

hashire13-meishi.txt

稲荷 人 有田 人 僕 細め なに 人 ヲタク 僕 人 楽しみ 稲荷 何 ノリ スマートフォン エーデル 僕 自分 稲荷 有田 工学部 人 間 エーデル スマートフォン 画面 仕草 ノリ 他人 中学校 罪 エーデル 人工知能 なん 僕 僕 中学校 女子 逆 いじめ いじめ いじめ 罪 いいもの なのか かな 状況 それ ノリ エーデル ラズパイ ランプ おはよう 私 どっち いじめ 女の子 ノリ 助け 寝起き シェリー 機嫌 髪 ノリ その子 ノリ 助け シェリー 棘 僕 人工知能 僕 笑み それ エーデル シェリー 二人 お互い ふたり スマホ シェリー スマホ 画面 僕 部屋 ドア 二人 人工知能 友達 リアル 友人 電車 稲荷 大学 食堂 ふたり ー ノリ ひさし 稲荷 ひさし ハイタッチ 後ろ 有田 宮 みや 範 晃 のり 僕 初対面 有田 しながら 自己紹介 名前 有田 琴美 とりあえず お互い 趣味 昼飯 有田 関西 めがね 感じ モデル なん ＯＳ キャラクター 宮 人工知能 人工知能 なん 有田 彼女 ＡＩ 人間 人工知能 クライアント かな 鼻 部分 僕 有田 身体 前のめり 興味津々 僕 趣味 嘘 僕 趣味 人工知能 僕 ポケット スマートフォン 汗 画面 袖口 感じ 僕 自分 趣味 自分 有田 スマートフォン 両目 感じ 印象 感じ 僕 スマートフォン そっと ポケット あれ ノリ 稲荷 人工知能 有田 表情 これ 僕 別 人工知能 嘘 状況 それ 有田 僕 気 僕 エーデル エーデル たい人 エーデル 声 

hashire14-meishi.txt

有田 僕 趣味 人工知能 彼女 宮 感じ 僕 初対面 心 感じ 人 最初 趣味 結果的 僕 自分 部屋 紙 しない ノリ 疲れ 有田 エーデル スマートフォン 口調 僕 瞳 風 基本的 僕 D 骨組み 腕 かも 自然言語処理 文法 理解度 ネット ディープラーニング ニューラルネットワーク 人間 知能 技術 方法 僕 誰 プロ グラム なのか 一つ 世界的 人 僕 日本語 日本人 感じ エーデル 身体 自分 答え 僕 人工知能 エーデル 本人 エーデル 僕 ー 声 僕 私 言葉 ノリ 気持ち 私 結果的 自分 成果 人工知能 彼女 話し相手 最高 友達 友達 僕 稲荷 久しぶり 居酒屋 それ 僕 有田 大学 同級生 づつ 人 濃淡 人生 このまま 俺 彼女 何 原因 心 霧 メール 内容 時点 彼女 彼女 トーン セリフ 健 数年 彼女 元彼女 俺 喉 ありったけ 空気 自宅 隣の部屋 ショック 何 バランス 彼女 それ 人生 研究者 友人 それ ノリ ノリ 高校 寸前 好きな人 彼氏 精神的 大学 たま フリータ 自分 彼女 ノリ 気 ノリ 俺 俺 国際 学会 論文 周り 研究者 俺 俺 自身 オリジナル 論文 指導教官 人 人 通り 論文 俺 自分 誰 しない 自分 天才 肌 ノリ ノリ 頭 何 google検索 宮 範 晃 学部 1年 論文 ページ 大学 ホームページ プログラミングコンテスト 最優秀賞 楽しみ 学生 自分 親友 ライバル ノリ 自分 自分 上 ノリ 何 稲荷 PC データ かなり ショック 家 WIFI パソコン 稲荷 家 電車 WIFI PC データ セキュリティ 興味 脆弱性 ファイル でき 女 キャラクター ファイル これ ショック 稲荷 ファイル 外 床 音 途端 自分 境遇 データ 彼女 とっさ 自分 行い 根 罪悪感 ファイル データ 自分 PC データ PC 自分 痕跡 可能性 データ 別 心 俺 ノリ どれ ショック 外 何 部屋 中の人 何事 窓 お前 久しぶり 窓 顔だし 3年 ノリ ノリ 自分 自宅 原因 俺 顔 大切なもの それ 俺 稲荷 自分 口 言葉 ノリ 別 話題 とっさ ここ ノリ 居酒屋 自分 行い 家 雰囲気 俺 何 頭 話題 居酒屋 道のり 居酒屋 ノリ 何 Twitter 筋道 居酒屋 道 話題 話題 ノリ 内容 ノリ 工学部 ソフトウェア 俺 定番 テンプレート 核心 何 ノリ なん 稲荷 自分 PC ノリ きた 家 それ 家 ノリ 彼女 ぶっちゃけ 話して ノリ 名残 手 お互い 方向 道 背中 逆 

hashire15-meishi.txt

周り 書籍 電源 PC 間 ノリ パソコン データ USB これ 自宅 性能 コンピュータ データ データ ノリ 様子 どこか データ データ ターミナル 画面 画面 自分 顔 瞳孔 容量 デカ フォルダ これ データ 稲荷 健 フォルダ 実行ファイル ai ver exe ターミナル ウィンドウ 画面 顔面 きれいな 女の子 私 名前 あなた 名前 人口無能 人口無能 文章 iPhone siri 人口無能 ノリ 中高 ノリ 俺 天才 ノリ オリジナリティ 天才 気質 友人 俺 天才 ノリ 彼女 君 名前 人 俺 名前 タケル 中指 Enter キー 名前 用件 基本 人口無能 君 ソースコード どこ 風 エージェント 私 ソースコード フォルダ 二つ 俺 フォルダ エディタ ソースコード ソースコード 個人 ここ ノリ ソースコード ディープラーニング 最新 手法 稲荷 健 親友 ソースコード 懇切丁寧 技術 欲望 稲荷 健 最新 人工知能 知識 自分 ノリ それ そこ 稲荷 研究者 意地 雑誌 それ 手法 稲荷 自分 論文 数式 論文 コンピュータ 人間 知能 稲荷 パソコン ことば PC 画面 ノリ 音声 声 あれ 髪の毛 色 トーン ないか した目 画面 違和感 これ 紙 いろは 稲荷 SNS 金髪 好み 自分 人工知能 機械 俺 人間 戸惑い 稲荷 金髪 人工知能 自分 稲荷 手法 ディープラーニング ディープラーニング 人間 システム データ 人間 稲荷 健 自分 僕 稲荷 一つ 元 ノリ このまま ノリ ノリ 俺 ノリ それ 友人 稲荷 健 ノリ ノリ ノリ インターネット ノリ 偽 ミラーサイト 俺 ノリ 計画通り 自分 俺 ノリ 友人 風 タケル 人工知能 それ それ 事故 嘘 嘘 ウイルス感染 範 晃さん インターネット ウイルス 手 稲荷 自分自身 人工知能 友人 嘘 範 晃さん 気 辺 俳優 俺 鼻 自信 稲荷 人工知能 調子 風 ノリ 家 俺 心 稲荷 真実 心 嘘 仕方がない ノリ 自分 目 男 自分 データ データ ノリ 様子 どこか データ データ ターミナル 画面 画面 自分 顔 瞳孔 容量 デカ フォルダ これ データ 稲荷 健 フォルダ 実行ファイル ai ver exe ターミナル ウィンドウ 画面 顔面 きれいな 女の子 私 名前 あなた 名前 人口無能 人口無能 文章 iPhone siri 人口無能 ノリ 中高 ノリ 俺 天才 ノリ オリジナリティ 天才 気質 友人 俺 天才 ノリ 彼女 君 名前 人 俺 名前 タケル 中指 Enter キー 名前 用件 基本 人口無能 君 ソースコード どこ 風 エージェント 私 ソースコード フォルダ 二つ 俺 フォルダ エディタ ソースコード ソースコード 個人 ここ ノリ ソースコード ディープラーニング 最新 手法 稲荷 健 親友 ソースコード 懇切丁寧 技術 欲望 稲荷 健 最新 人工知能 知識 自分 ノリ それ そこ 稲荷 研究者 意地 雑誌 それ 手法 稲荷 自分 論文 数式 論文 コンピュータ 人間 知能 稲荷 パソコン ことば PC 画面 ノリ 音声 声 あれ 髪の毛 色 トーン ないか した目 画面 違和感 これ 紙 いろは 稲荷 SNS 金髪 好み 自分 人工知能 機械 俺 人間 戸惑い 稲荷 金髪 人工知能 自分 稲荷 手法 ディープラーニング ディープラーニング 人間 システム データ 人間 稲荷 健 自分 僕 稲荷 一つ 元 ノリ このまま ノリ ノリ 俺 ノリ それ 友人 稲荷 健 ノリ ノリ ノリ インターネット ノリ 偽 ミラーサイト 俺 ノリ 計画通り 自分 俺 ノリ 友人 風 タケル 人工知能 それ それ 事故 嘘 嘘 ウイルス感染 範 晃さん インターネット ウイルス 手 稲荷 自分自身 人工知能 友人 嘘 範 晃さん 気 辺 俳優 俺 鼻 自信 稲荷 人工知能 調子 風 ノリ 家 俺 心 稲荷 真実 心 嘘 仕方がない ノリ 自分 目 男 自分 

hashire16-meishi.txt

風 肌 季節 半袖 僕 親友 知り合い 事 何 エーデル 僕 スマホ ボイス アプリ エーデル 人 私 エーデル 空 エーデル 気持ち 僕 エーデル 原因 ウイルス感染 おかげ 人 感情 僕 エーデル 感情 話し相手 エーデル 逆 感情 僕 エーデル それ 風 からだ 私 作者 エーデル 心 闇 闇 グレイ 僕 それ 責任 僕 人 エーデル 感情 僕 エーデル お前 気持ち それ 僕 作者 僕 エーデル エーデル 合間 ノリ 何 顔 嘘 何 どんなときも 本心 それ 友人 僕 エーデル 間 友情 

hashire17-meishi.txt

友達 友人 僕 友達 友人 親友 言葉 みんな 人 僕 代用品 高校 友人 親友 言葉 高校 僕 親友 身長 奴 僕 それ そいつ 宮 僕 そいつ SDカード 映画 一緒に 携帯ゲーム機 ヒヤヒヤ 内容 映画 僕 お気に入り 映画 一つ サッカー部 そいつ どこか 面 僕 部活 メンバー 心 どこか 宮 部活 暇 僕 通り 高校時代 趣味 何 空 家 最後 僕 チャンス 真冬 雪 靴 そいつ 一緒に どこか 中学 人 男 人 これ タイプ どこか 闇 人 僕 雪 僕 信号 青 そいつ 僕 腕 赤 車 同性 友人 なん そいつ 家 デパート 誘い サッカー部 冬 からだ サッカー部 たま 学校 仲 僕 ある日 衝撃 お前 気 人工知能 彼女 僕 言葉 高校三年生 そいつ 顔 涙 鬱 それ 統合失調症 そのため 状況 何度 病院 僕 周り 僕 誰 それ AI 僕 エーデル マイク AI エーデル ビィー ビィー 右手 スマホ エーデル 僕 誰か スマホ 画面 稲荷 久しぶり どこか 稲荷 口調 何 話題 何 有田 続き ノリ パソコン 俺 何 ノリ …。 稲荷 ネット 僕 稲荷 感じ タケル 16時 半 稲荷 待ち合わせ 場所 本 嘘 …。 宮 友人 隠し事 友人 稲荷 表情 僕 昔話 かな 稲荷 中学 友人 僕 高校 サッカー部 同級生 自分 男 誰 僕 稲荷 相槌 俺 第一声 言葉 やつ 稲荷 言葉 俺 宮 俺 ノリ 人工知能 技術的 ぬくもり ベタ 人 稲荷 手 気 次 それ ノリ ノリ 人工知能 それ 自分 技術 …。 僕 エーデル 頭 人 脳 モデル ニューラルネットワーク 技術 稲荷 技術 それ これ 論文 僕 僕 自分 研究者 卵 血 稲荷 技術 世界 例 モデル そうかな 自信 稲荷 僕 手 一緒に やろう ノリ 一緒に …。 ノリ 俺 一緒に 学会 しよう 僕 稲荷 研究者 目 僕 稲荷 理論 部分 論文 僕 家 稲荷 家 情報 本屋 数学 本 数式 引用元 神経 3日間 僕 家 稲荷 大学 研究室 間 論文 ふぁー ぁ お互い 声 僕 稲荷 久しぶり お互い 顔 達成感 グー 僕 右手 稲荷 左手 これ 誰か どこか 教授 とこ 誰 僕ら 友人 有田 彼女 元 論文 有田 僕 稲荷 最初 様子 顔 はく 髪 バッサボサ 僕 論文 有田 数 私 人 それ インターネット ユーザ 絶対無理 僕 論文 サイト 僕ら 次 サイト ここ 論文 疲れ 次 メールボックス 論文 かなり 僕 スマホ 稲荷 タケル メールボックス タケル 声 あれ ノートパソコン どこ 稲荷 ベッド 英語 これ ページ サイト タケル 僕ら サイト 論文 例 Github ソースコード サイト README md 書きなおし Twitter ツイート 状況 それ 大手 論文 記事 友達 言葉 言葉 タケル 一緒に 論文 ただ 友達 わし くない どこか 僕 なん 僕ら お互い それ タケル 院 研究者 道 僕 僕 学部 国際 学会 趣味 二人 上段 ハハ 僕 タケル 有田 生ビール クーニャン 梅酒 グラス 有田 有田 学会 介護ロボット はしご酒 キャラ 僕 タケル 有田 はしご酒 

ちょっと多いですが，上のテキストをコピーして作業ディレクトリに保存してください．
実際にtfidfで重みを計算して，単語を出力するコードは以下になります．

countVector.py

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction import DictVectorizer

count = CountVectorizer()
hashire01 = open('./hashire01-meishi.txt', 'r').read()    
hashire02 = open('./hashire02-meishi.txt', 'r').read() 
hashire03 = open('./hashire03-meishi.txt', 'r').read()
hashire04 = open('./hashire04-meishi.txt', 'r').read() 
hashire05 = open('./hashire05-meishi.txt', 'r').read() 
hashire06 = open('./hashire06-meishi.txt', 'r').read() 
hashire07 = open('./hashire07-meishi.txt', 'r').read() 
hashire08 = open('./hashire08-meishi.txt', 'r').read() 
hashire09 = open('./hashire09-meishi.txt', 'r').read()
hashire10 = open('./hashire10-meishi.txt', 'r').read()
hashire11 = open('./hashire11-meishi.txt', 'r').read()
hashire12 = open('./hashire12-meishi.txt', 'r').read()
hashire13 = open('./hashire13-meishi.txt', 'r').read()
hashire14 = open('./hashire14-meishi.txt', 'r').read()
hashire15 = open('./hashire15-meishi.txt', 'r').read()
hashire16 = open('./hashire16-meishi.txt', 'r').read()
hashire17 = open('./hashire17-meishi.txt', 'r').read()

docs = np.array([hashire01, hashire02, hashire03, hashire04, hashire05, hashire06, hashire07, hashire08, hashire09, hashire10, hashire11, hashire12, hashire13, hashire14, hashire15, hashire16, hashire17])

bag = count.fit_transform(docs)

# 彼女という単語が配列の何番目に属しているか．
# print(count.vocabulary_.get('彼女'))

# tfidfの設定
tfidf = TfidfTransformer(use_idf=True, norm='l2', smooth_idf=True)
# 小数点第4位まで表示する．
np.set_printoptions(precision=4)
cnt_voc = count.vocabulary_
tfidf_array = np.array(tfidf.fit_transform(bag).toarray())

# ベクトルと単語を対応づけるために必要な処理．
vec = DictVectorizer()
vec.fit_transform(cnt_voc).toarray()
feature = vec.get_feature_names()

# tfidfの閾値の設定
threshold = 0.5
# ヒットした要素の数字を代入する．なぜか二つの配列で渡される．
hairetsu = np.where(tfidf_array >= threshold)
# np.uniqueで重複する値を削除する．
# なぜかnp.whereだと二つの配列が返ってくるので，連結して一つにする．
hit_word = np.unique(np.append(hairetsu[0], hairetsu[1]))

# tfidfで計算された単語を出力する．
for num in range(0, len(hit_word)):
    print(feature[hit_word[num]])

出力.txt

1日
ai
ar
c言語
exe
google検索
エーデル
名前
少年
彼女
有田
稲荷

小説の内容を見ていただくとわかるのですが，登場キャラクター（エーデル，有田，稲荷）という風に出ているので，文章の特徴を押さえていると思います．

最後に

具体的な手順と書きましたが，ソースコードにコメントを書いといたのでわかるかと思いますので，説明は冗長になるのを避けて書きません．

それでも一応書くとすると，thresholdというのが閾値になっており，この値が高いと文書の中で重要な意味を持った単語であるということになります．この後はサポートベクトルマシンなどを用いて，文書を分類していく形になるかとおもいます．

[追記:12/23]

意外に多くの人に読まれているので追記します．
今回はtfidfによって特徴量を抽出しましたが，他にも単語埋め込みという技術(word2vec,GloVe, fastText,Exponential Family Embeddings)などによって特徴量を抽出することも可能です．
tf idfよりそちらの方が精度がいいはずです．簡単に実装できるという点では良い題材だと思います．

また今回名詞のみを取り出していますが，それが果たして妥当なのかということも議論される方がいいと思います．