概要
(2020/08/18 22:53 追記.まだ少しですがSexualだけじゃなく、差別的/攻撃的表現も集め始めました)
SNSしかり何でも良いのですが、Wikipediaとかニュースみたいな書き言葉ではなく、話し言葉ベースのデータベースを扱う場合、不適切な単語が混ざってくる可能性が非常に高くなります。
これらの単語が出力結果に混ざってしまったりすると、ちょっと発表しにくい…みたいなことは多々あると思います。
わたしもそうなったのですが、意外とこの手の不適切表現辞書みたいなのが見つからなかったので、軽く集めてみました。
現在は所謂エロ系の単語しかありませんが、MeCabなり何なりで分かち書きして、これらの単語が入ってるか入ってないか判定するだけでもかなりマシになります。
収集の際に気をつけたのは、健全な意味と不適切な意味両方を含む単語は入れないようにしたことです。
要は、偽陽性エロ単語を減らすようにしました。(例えばローションという単語はHな意味もありますが、ボディローションなど美容系では普通に使われているので、含まれていません)
このため一部医療系単語と被るものなどは入っておりませんがご了承ください。
その代わりと言ってはなんですが、若者の持つエロサイト知識を動員して 結構いろんなところから収集したので、割と最近のエロ用語にも対応していると思います。
公開場所
※一応MITライセンスついてますが、ライセンスついてないと逆に使いにくいかなと思って付けてある程度です。
追記
utf-16対応して一部伏せ字になってるタイプのNGワードを含んだ別ファイルをさく
おわりに
このエロ単語入っとらんやんけ！というのがあったら教えて下さい。
グロ版とか暴力/薬物版は今は必要ないので作ってないですが、必要にかられたら作ります。