J-GLOBALの検索結果をダウンロードしたBibTeXファイルをPhythonでcsvファイルに変換

J-GlobalはJSTが運営する日本の科学技術に関する文献、特許、研究者などの情報検索サービスです。
J-Global
日本の研究開発動向を調査・分析するために、J-Globalでの検索を使い始めました。
J-Globalは検索結果をBibTeXファイルでダウンロードすることができます。

今回は、データサイエンスで扱い易いcsvファイルへ変換して保存するコードをPythonで作成しました。

Pythonのプログラミング環境

Google Colaboratory

Install

bibtex ファイルを解析する python ライブラリのBibtexParserをinstallします。
BibtexParser

install

!pip install --pre bibtexparser

Import

import

import bibtexparser
import pandas as pd

関数定義

def bib_to_df

def bib_to_df(bib_file):
  library = bibtexparser.parse_file(bib_file)

  title_l = []
  note_l = []
  author_l = []
  journal_l = []
  year_l = []
  volume_l = []
  DOI_l = []

  for entry in library.entries:
    title_l.append(entry['title'])
    note_l.append(entry['note'])
    author_l.append(entry['author'])
    journal_l.append(entry['journal'])
    year_l.append(entry['year'])
    volume_l.append(entry['volume'])
    DOI_l.append(entry['DOI'])
  
  df = pd.DataFrame({
      'title': title_l,
      'note': note_l,
      'author': author_l,
      'journal': journal_l,
      'year': year_l,
      'volume': volume_l,
      'DOI': DOI_l
  })

  return df

関数を実行してcsvファイルに保存

import

# file path
fname = 'ダウンロードしたファイル名を'　　
bib_file = 'input/' + fname + '.bib'
csv_file = 'output/' + fname + '.csv'

# 関数実行してデータフレームへ
df = bib_to_df(bib_file)
print(df.shape)
print(df.info())
display(df.head())

# csvファイルへ保存
df.to_csv(csv_file, index=False)

試しに、「大規模言語モデル」で検索した結果。