Posted at

ColaboratoryにJsonファイルをアップロードしてPandasで読み込む

More than 1 year has passed since last update.


やったこと


コード

from google.colab import files

import io
import pandas as pd

uploaded = files.upload()
df = pd.read_json(io.StringIO(uploaded['sample.json'].decode('utf-8')))

print(df.loc[:,['id', 'text']])


実行結果

                         id                              text

0 features Features
1 b_l4reliTdWOSn9SiCmbJQ 機能紹介
2 book-example Book example


本当にやりたかったこと


  • Beautiful SoupでHackMDへログイン状態でアクセス

  • Beautiful Soupで履歴データ(json形式)をエクスポート機能で取得

  • Googleスプレッドシートに内容を出力

HackMDはログインフォームが無いタイプ(GoogleやFacebookで外部認証する系)なのだが、Beautiful Soupを使ってスクレイピングする方法がちょっと調べた限りでは分からなかった。

ひとまず手動でjsonファイルをダウンロードしてさわりだけ試してみた。