言語処理ノックに似たようなのがあって,spacｙ番は探してもなかったので。
単語の登録に苦労したけど、そちらは必要な調べてください。
import spacy
from spacy.language import Language
from spacy.matcher import PhraseMatcher
from spacy.tokens import Span
nlp = spacy.load("ja_core_news_sm")
#なんか解析したいテキストのファイル名
input_fn="/Users/satoshi/Downloads/[LINE] 引きこもり当事者と家族の会のトーク.txt"
with open(input_fn) as f:
lines = f.readlines()
#探したいワード
topics=["障害年金","生活保護"]
N=17000
text=" ".join(lines)
text=text.replace("\n","").replace("\t","")
def get_word_to_head(w):
chain=[]
while w!=w.head:
chain.append(w.text)
w=w.head
chain.append(w.text)
return chain
chains=[]
for i in range(20):
print(N*i,min(len(text),(i+1)*N))
doc=nlp(text[(N*i):min(len(text),(i+1)*N)])
for w in doc:
if w.text in topics:
chains.append(" ".join(get_word_to_head(w)))
chains=[]
for i in range(20):
print(N*i,min(len(text),(i+1)*N))
doc=nlp(text[(N*i):min(len(text),(i+1)*N)])
for w in doc:
if w.text in topics:
chains.append(" ".join(get_word_to_head(w)))
sorted(list(set(chains)))
['生活保護 15万 13万',
'生活保護 あり',
'生活保護 い',
'生活保護 さ 人 多い 減額 聞き きい こと',
'生活保護 しれ',
'生活保護 そう 思い',
'生活保護 なかっ 援助 感じ',
'生活保護 なる 思い 難しい こと 面 思い',
'生活保護 世帯 行く こと 思っ わかり 理解 考え 😊 52 突然 もやもや 投票 切ら いる 理解 頑張っ さ 思い しれ 許せ かけ 政党 呼び かける …',
'生活保護 人 来 申請 31 @ 閉じ ありがとう 勝手 ござい 願い さん 教え 料金 42 いる さん 中 守っ 仕事 辞め こと ？ 言わ 動い し どう 休ん ない 疲弊 決断 なり',
'生活保護 厳し 受け',
'生活保護 受け なっ まぎらわし さん はじめ すみ 願い smile 紹介 ござい わかり 拒否 詰ん',
'生活保護 受け 思い 分かっ 行っ 断ら 貰え 1人暮らし ござい',
'生活保護 宣伝 死ん なっ',
'生活保護 抜け なっ 行っ 出し こと ねぇ 申請',
'生活保護 持ち家 出 限ら ある 思い さ 人 多い 減額 聞き きい こと',
'生活保護 持っ 通り',
'生活保護 料金 42 いる さん 中 守っ 仕事 辞め こと ？ 言わ 動い し どう 休ん ない 疲弊 決断 なり',
'生活保護 減額 聞き きい こと',
'生活保護 相談 行っ 断ら 貰え 1人暮らし ござい',
'生活保護 貰い なる もらう 08 ござい 無知 恥ずかしい ある 控除 考え ない 割引 聞い みこ',
'生活保護 貰え さん すい 疑問 暮らし 聞い ござい m 子供',
'生活保護 貰え 思っ い 歳 八十 やっ 若い ユル やっ 変 すごい 思い 相続 疎い わかり おら なる 思い 難しい こと 面 思い',
'生活保護 貰え 現状 感じ 状況 いる よぎり さん 声 願い 申請 手伝っ 多かっ そう',
'生活保護 貰え 限り 多い 思い 宣伝 死ん なっ',
'障害年金 36111',
'障害年金 つい き',
'障害年金 なさ 聞き あり いい 思い 受け 感じ',
'障害年金 もらい 働け 良い 解体 あり 古い し ない 行か 相談 持っ てらっしゃる',
'障害年金 もらい 社会 なる いい 思い',
'障害年金 もらう 難しい',
'障害年金 ハードル 高い 状態 分かり 助かり 年金 かけ 受給 知り 年金 年金 違い 手伝っ し 働か 事 調べ 来 欲しい 書い 疾患 ？ 書き 状態 さ',
'障害年金 制度 入れ なる 教え',
'障害年金 受け 方 い',
'障害年金 受給',
'障害年金 受給 それ 暮らし 方 いい かかり ない 無理 たか 継続 無理 ネット 大した こと 売る どう し いい 思い 共有 方 いい みんみん',
'障害年金 大事',
'障害年金 手伝っ でき',
'障害年金 手帳 審査 もらっ 受け 方 い',
'障害年金 生活保護 あり',
'障害年金 申請 納め 受給',
'障害年金 貰える 疾患 あり いい 思い 受け 感じ',
'障害年金 賄え 厳しい ない 無理 とる いる 実感 高い 難しい 古家 更地 思い 使え やっ 調べ 分かっ し 分かり なら 支え キッカケ 教え 意見 なり praying なっ 生活保護 そう 思い']
某オープンチャットでこの辺のワードで公金をもらってる人に対して怒ってる人がいたので解析してみましたｗ