はじめまして、記事を読んでいただいてありがとうございます。
この記事は『LITALICO Engineers Advent Calendar 2021』の4日目の記事です。
私は、2021年4月にLITALICOに入社をしまして、ドメイン知識が０の状態から、周りの方に助けていただいて、どうにかこうにかプロダクト開発に携わっています。
そんな私としまして、ドメイン知識について、効率的にinputを行いたいと常日頃考えております。
誤解がないように記載しておきますが、周囲からフォローがないという訳ではありません。むしろ、丁寧に教えてくださるのですが、誰かに教わるということは、その方の分のコストも使わせていただくわけで、自分一人で調べて、ちゃんと理解できるなら、コスト効率高いよねと考えた次第です。
（職場へのフォローを忘れない組織人の鏡）
他にも色々方法を考えたのですが、まずは、大量にあるドキュメントから、自分が必要としている情報を探すをゴールに、Google Drive上の索引を作成したいと思い至った次第です。
事前準備
- APIが有効になっているGoogleCloudPlatformプロジェクト
- 今回は、Google Drive APIと、Google Docs APIを使用するので、2つとも有効にしてください
- 設定の仕方は、ちょこちょこ、GoogleCloudPlatformのUI変わったりするので、公式のプロジェクトの設定の仕方を確認してくださいませ
- Google APIを利用する際の認証情報
- こちらも公式の認証情報の設定の仕方を参照してくださいませ
- また、この認証情報は他の方に教えてはいけません
- わかち書きエンジン
- この記事では、Mecabを使用しております
- プログラム言語の実行環境
- この記事では、Python 3系を使用しております
- 公式の実装サンプルからちょこちょこ変えてるだけなので、nodeでも、Javaでもお好きなものを
google-authを使用して OAuth 2.0 の認証を通す
import os.path
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request
from google.oauth2.credentials import Credentials
SCOPES = [
'https://www.googleapis.com/auth/drive.metadata.readonly',
'https://www.googleapis.com/auth/documents.readonly'
]
CLIENT_SECRETS_FILE = 'credentials.json'
TOKEN_JSON_FILE = 'token.json'
def get_credentials():
credentials = None
if os.path.exists(TOKEN_JSON_FILE):
credentials = Credentials.from_authorized_user_file(TOKEN_JSON_FILE, SCOPES)
if not credentials or not credentials.valid:
if credentials and credentials.expired and credentials.refresh_token:
credentials.refresh(Request())
else:
flow = InstalledAppFlow.from_client_secrets_file(
CLIENT_SECRETS_FILE, SCOPES)
credentials = flow.run_local_server(port=0)
with open(TOKEN_JSON_FILE, 'w') as token:
token.write(credentials.to_json())
return credentials
簡単な解説
SCOPES = [
'https://www.googleapis.com/auth/drive.metadata.readonly',
'https://www.googleapis.com/auth/documents.readonly'
]
使用するスコープのリストを定義しておきます。
事前準備で用意していただいた認証情報のスコープに、上記で定義したものを含めるようにしてくださいませ。
CLIENT_SECRETS_FILE = 'credentials.json'
TOKEN_JSON_FILE = 'token.json'
事前準備で用意していただいた認証情報は、CLIENT_SECRETS_FILEでパスを指定。
TOKEN_JSON_FILEは、2回目以降のために、認証トークンを保持します。
if os.path.exists(TOKEN_JSON_FILE):
credentials = Credentials.from_authorized_user_file(TOKEN_JSON_FILE, SCOPES)
TOKEN_JSON_FILEが存在する場合に、TOKEN_JSON_FILEから過去に通った認証を取得します
if not credentials or not credentials.valid:
過去に通った認証が有効ならば、そのまま、認証を返します。
以下、認証が無効な場合
if credentials and credentials.expired and credentials.refresh_token:
credentials.refresh(Request())
認証は無効だけど、有効期限切れ、かつ、リフレッシュトークンがある場合、認証をリフレッシュします
else:
flow = InstalledAppFlow.from_client_secrets_file(
CLIENT_SECRETS_FILE, SCOPES)
credentials = flow.run_local_server(port=0)
そもそも、認証通ってない場合、最初に認証通すとき、
認証情報を元に、承認フローのインスタンスを生成して、ローカルサーバから承認フローを実行します
一連の処理は、以下、importしているGoogleのライブラリーを見ると、処理がわかりやすいと思います。
https://github.com/googleapis/google-auth-library-python
https://github.com/googleapis/google-auth-library-python-oauthlib
with open(TOKEN_JSON_FILE, 'w') as token:
token.write(credentials.to_json())
再利用するために、有効な認証を、TOKEN_JSON_FILEに保存します。
Drive APIで、Docsファイルを取得する
import os.environ
import pymysql.cursors
from googleapiclient.discovery import build
DRIVE_API = { 'service_name': 'drive', 'version': 'v3' }
connection = pymysql.connect(host = os.environ['DB_HOST'],
user = os.environ['DB_USER'],
password = os.environ['DB_PASSWORD'],
db = os.environ['DB_NAME'],
charset = os.environ['DB_CHARSET'])
INSERT_SQL = "INSERT INTO test.docs (document_id, name) values (%s,%s)"
...
def get_docs():
creds = get_credentials()
drive_service = build(DRIVE_API.service_name, DRIVE_API.version, credentials=creds)
while True:
values = []
response = drive_service.files().list(q="mimeType='application/vnd.google-apps.document'",
spaces='drive',
fields='nextPageToken, files(id, name)',
pageToken=page_token).execute()
for file in response.get('files', []):
values.append([file.get('id'), file.get('name')])
cursor = connection.cursor()
cursor.executemany(INSERT_SQL, values)
page_token = response.get('nextPageToken', None)
if page_token is None:
break
簡単な解説
drive_service = build(DRIVE_API.service_name, DRIVE_API.version, credentials=creds)
認証を元に、APIと対話するためのResourceオブジェクトを作成します。
ここも、以下、importしているGoogleのライブラリーを見ると、処理がわかりやすいと思います。
https://github.com/googleapis/google-api-python-client
response = drive_service.files().list(q="mimeType='application/vnd.google-apps.document'",
spaces='drive',
fields='nextPageToken, files(id, name)',
pageToken=page_token).execute()
Drive APIを用いて、必要な情報を取得します。
今回は、Docsファイルだけ取得したいので、mimeTypeが、'application/vnd.google-apps.document'のファイルの一覧を取得。Spreadsheetの場合は、mimeTypeが、'application/vnd.google-apps.spreadsheet'。
公式だと、このページにGoogle特有のmimeTypeがまとめてあります。
page_token = response.get('nextPageToken', None)
if page_token is None:
break
nextPageTokenが存在する場合、一覧に次ページが存在するのでループして、次ページについて、処理。
nextPageTokenがNoneの場合、最後のページまで処理が終わったので、break。
Drive APIから取得したdocumentIDで、Docs APIでドキュメントの本文取得
DOCS_API = { 'service_name': 'docs', 'version': 'v1' }
...
def get_doc_content_lines(document_id):
creds = get_credentials()
doc_service = build(DOCS_API.service_name, DOCS_API.version, credentials=creds)
document = doc_service.documents().get(documentId=document_id).execute()
return document.get('body')
簡単な解説
doc_service = build(DOCS_API.service_name, DOCS_API.version, credentials=creds)
Drive APIと同じように、認証を元に、APIと対話するためのResourceオブジェクトを作成します
document = doc_service.documents().get(documentId=document_id).execute()
return document.get('body')
Docs APIでドキュメントのデータ取得。
現在のAPI仕様だと、page数などは取得できないので、本文のみ取得する
Mecabで、文章中の名詞のみ取得
import MeCab
tagger = MeCab.Tagger()
tagger.parse('')
...
def extract_nouns(lines, docs_id):
nouns = {}
insert_sql = "INSERT INTO test.nonus (docs_id, word, count) values (" + docs_id + ", %s, %d)"
for line in lines.splitlines():
for chunk in tagger.parse(line).splitlines()[:-1]:
(surface, feature) = chunk.split('\t')
if feature.startswith('名詞'):
nouns[surface] = nouns.get(surface, 0) + 1
cursor = connection.cursor()
cursor.executemany(insert_sql, nouns.items())
簡単な解説
用途にもよるのですが、今回は、索引なので、名詞だけ抽出しております。
pythonから辞書への追加ができないのが残念ですが、ドメインのワードを辞書追加すると、よりハッピーになれます。（pythonのライブラリにないだけで、頑張ればできそうな気もします。）
for chunk in tagger.parse(line).splitlines()[:-1]:
(surface, feature) = chunk.split('\t')
if feature.startswith('名詞'):
nouns[surface] = nouns.get(surface, 0) + 1
line = '私はLITALICO のシステムエンジニア です。' という文章に対して、mecab.parseの実行結果は、下記のようになります。
私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
LITALICO 名詞,固有名詞,組織,*,*,*,*
の 助詞,連体化,*,*,*,*,の,ノ,ノ
システムエンジニア 名詞,一般,*,*,*,*,システムエンジニア,システムエンジニア,システムエンジニア
です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
。 記号,句点,*,*,*,*,。,。,。
タブ区切りの後段に品詞の情報が出るので、それを元に、名詞か、それ以外か判定しております。
索引を作る際に、一般名詞は無視しても良い場合も多いのですが、辞書に存在しない語、辞書未登録語の場合、一般名詞として処理されます。そのため、一般名詞を除外すると、辞書未登録語を除外する可能性があるため、注意が必要です。
例） 私は、キャラメルフラペチーノが大好きです、キャラメルフラペチーノが辞書未登録語として、一般名詞となる
私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
キャラメルフラペチーノ 名詞,一般,*,*,*,*,*
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
大好き 名詞,形容動詞語幹,*,*,*,*,大好き,ダイスキ,ダイスキ
です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
キャラメルフラペチーノが一般的ではないという意味ではありません。固有名詞のはずなのに、Mecabの辞書に載っていないから、カテゴリー全体をさす単語ではないのに、一般名詞になるのはおかしいよねという意味です。キャラメルフラペチーノは人類史上最も偉大な発明の一つです。そのうち、一般名詞になるかもしれませんね。
終わりに
実は、Google Docsの検索機能は、かなり良くて、単に、キーワードが含まれている資料を探すだけだと、Google Docsの検索機能を使った方が早いです。それをわかっていながら、わざわざ、索引を作ろうとしたのは、ゆくゆく文章解析をして、この文章が仕様書であるとか、議事録であるとか、そういったこともやりたいと考えているのと、うまくユビキタス言語が拾えないかなと思ったからです。また、slackや、Backlogなど、他のツールも合わせて、索引をまとめることもできそうですよね。
予告
来年は、心理学とベイズ統計のネタか、対話型インターフェースのネタを書きたいです。