概要

固有表現抽出データセットに必要な、文頭表現に、カンマや並列な表現を追加します。

ポートフォリオとして、自作のデータセットでファインチューニングした言語モデルを使ったアプリを公開しました。

この記事を読むだけでも、この記事の内容をある程度理解できるとは思いますが、データセット作成の導入記事や、前段階の記事を読んでいる前提で書かれています。

固有表現抽出データセット

この記事で作成されるもの

カンマや、並列表現が追加された文頭表現のデータフレーム

補足情報

開発はGoogle Colaboratoryで行われ、このノートブックで作成しました。
このノートブックを含むリポジトリの構造は、実際の開発環境と同一です。
fromで参照されている自作モジュールは、このディレクトリにあるものです。
その他のコード内で参照しているパスやディレクトリから/content/drive/MyDriveを省くと、そのパスやディレクトリの中身をリポジトリから確認することができます。

方針

一部の文頭表現にカンマを追加したり、一部の固有表現を並列な表現に変更します。
「固有表現を並列な表現に変更する」とは、「東京都の料理」という文章なら、「東京都か、大阪府の料理」や、「東京都あるいは大阪府の料理」のように、同種の固有表現を追加する処理のことです。

大まかな手順

似た文頭表現の追加で作成したデータフレームの読み込み

　
１行ずつ参照し、ランダムにカンマを追加したり、しなかったり、並列な表現に変更したり、しなかったり

コード

import

import

from google.colab import drive
drive.mount('/content/drive')

from typing import List
import random
from __future__ import annotations
import pandas as pd

import sys
sys.path.append('/content/drive/MyDrive/local_cuisine_search_app/modules')

from utility import search_strs
from pandas_utility import save_csv_df

関数とクラスの定義

関数とクラスの定義

def create_and_save(
        read_path: str, file_name: str, save_dir: str
) -> pd.DataFrame:
    """
    データフレームの作成と保存

    Parameters
    ----------
    read_path : str
        データフレームが保存されているパス
    file_name : str
        保存するデータフレームのファイル名
    save_dir : str
        データフレームの保存先ディレクトリ

    Returns
    -------
    pd.DataFrame
        カンマと並列表現が追加されたデータフレーム
    """
    df = pd.read_csv(read_path)

    expr_col = df.columns[0]
    random.seed(42)
    df[expr_col] = df[expr_col].apply(DataframeEditor.edit)

    save_csv_df(df, file_name, save_dir)

    return df


class DataframeEditor:
    """
    データフレームにカンマと並列表現を追加するクラス

    Attributes
    ----------
    _special_tokens : List[str]
        固有表現の特殊トークン
    _not_para_token : str
        固有表現じゃない特殊トークン
        並列化の対象にならない
    _add_comma_tokens : List[str]
        カンマ追加対象の特殊トークン
    """
    _special_tokens = ['[AREA]', '[TYPE]', '[SZN]', '[INGR]']
    _not_para_token = '[PRON]'

    _add_comma_tokens = _special_tokens + [_not_para_token]

    @staticmethod
    def edit(expr: str) -> str:
        """
        文頭表現へのカンマと並列表現の追加

        Parameters
        ----------
        expr : str
            文頭表現

        Returns
        -------
        str
            カンマと並列表現が追加された文頭表現
        """
        include_tokens = search_strs(expr, DataframeEditor._add_comma_tokens)

        if len(include_tokens) > 1:
            expr = DataframeEditor._add_comma(expr, include_tokens[1:])  # ※１

        if DataframeEditor._not_para_token in include_tokens:
            include_tokens.remove(DataframeEditor._not_para_token)

        expr = Parallelizer.parallelize(expr, include_tokens)

        return expr

    @staticmethod
    def _add_comma(expr: str, include_tokens: List[str]) -> str:
        """
        カンマの追加

        Parameters
        ----------
        expr : str
            文頭表現
        include_tokens : List[str]
            文頭表現に含まれている特殊トークン
            先頭のトークンはこのリストに含まない

        Returns
        -------
        str
            カンマが追加された文頭表現
        """
        for token in include_tokens:
            random_num = random.random()

            if random_num < 0.2:
                comma_added_expr = expr.replace(token, f'、{token}')

                return comma_added_expr  # ※２

        return expr


class Parallelizer:
    """
    並列表現を追加するクラス

    Attributes
    ----------
    _parallel_words : List(str)
        並列表現に使用する接続詞のリスト
    """
    _parallel_words = ['と', 'か', 'または', 'あるいは']

    @staticmethod
    def parallelize(expr: str, include_tokens: List[str]) -> str:
        """
        並列表現の追加

        Parameters
        ----------
        expr : str
            文頭表現
        include_tokens : List[str]
            文頭表現に含まれている特殊トークン
            固有表現じゃない特殊トークンはこのリストに含まない

        Returns
        -------
        str
            並列表現が追加された文頭表現
        """
        for token in include_tokens:
            random_num = random.random()

            if random_num < 0.25:
                para_word = random.choice(Parallelizer._parallel_words)
                para_word = ParallelWordMaker.add_comma(para_word)

                expr = expr.replace(token, f'{token}{para_word}{token}')

                return expr  # ※３

        return expr


class ParallelWordMaker:
    """
    接続詞にカンマを追加するクラス

    Attributes
    ----------
    _comma_positions_dic : Dict[str, int]
        カンマの位置と、その位置にする確率の辞書
    _comma_positions : List[str]
        カンマの位置のリスト
    _positions_weights : List[int]
        各カンマの位置を採用する確率のリスト
    """
    _comma_positions_dic = {
        'front': 10, 'back': 20, 'double': 15, 'none': 55
    }

    _comma_positions = list(_comma_positions_dic.keys())
    _positions_weights = list(_comma_positions_dic.values())

    @staticmethod
    def add_comma(para_word: str) -> str:
        """
        カンマの追加

        Parameters
        ----------
        para_word : str
            接続詞

        Returns
        -------
        str
            カンマが追加された接続詞
        """
        comma_position_lst = random.choices(
            ParallelWordMaker._comma_positions,
            ParallelWordMaker._positions_weights,
            k=1
        )
        comma_position = comma_position_lst[0]

        if comma_position == 'front':
            para_word = '、' + para_word

        elif comma_position == 'back':
            para_word = para_word + '、'

        elif comma_position == 'double':
            para_word = '、' + para_word + '、'

        return para_word

実行

実行

read_path = '/content/drive/MyDrive/local_cuisine_search_app/data/processed_data/04_encoded_dataset_dataframe/encoded_dataset_dataframe_dependencies/01_untokenized_dataset_list/untokenized_dataset_list_dependencies/01_dataset_template_list/dataset_template_list_dependencies/01_start_of_sentences_dataframe/start_of_sentences_dataframe_v3_added_similar_expressions.csv'
file_name = 'start_of_sentences_dataframe_v4_added_comma_and_parallelize'
save_dir = '/content/drive/MyDrive/local_cuisine_search_app/data/processed_data/04_encoded_dataset_dataframe/encoded_dataset_dataframe_dependencies/01_untokenized_dataset_list/untokenized_dataset_list_dependencies/01_dataset_template_list/dataset_template_list_dependencies/01_start_of_sentences_dataframe'

df = create_and_save(read_path, file_name, save_dir)

メモ

※１
カンマ追加処理は、ランダムに選択したトークンの”直前に”追加するようにしています。
先頭のトークンに対してカンマ追加処理がされると、文頭がカンマになってしまうため、include_tokens[1:]とすることで、先頭のトークンをカンマ追加対象から除外しました。

※２
今回のデータセットの文章の長さから、各文章に追加するカンマは一つまでが自然な表現に近そうだと思いました。

※３
文脈から並列表現であることを判別させるには、いくつかの文章に、一つの並列表現があれば十分ではないかと考えました。