Qiitaに投稿した記事情報（View数など）をHULFT SquareのREST接続でとったら簡単だった

Last updated at 2024-06-28Posted at 2024-06-28

はじめに

こんにちは、すぎもんです

Qiitaに記事投稿をしていると、やはり気になるのが「View数」です。
記事がどれだけの人に読んでいただけているのか、どういった記事がたくさん読まれるのか、日々試行錯誤する上でも、やはり記事のView数は把握しておきたいものです。

今回やること

Qiita管理画面からも「View数」の確認はすぐにできますが、複数の記事を１つ１つ確認するのは少々時間がかかります。そこで、今回はHULFT Squareから「Qiita API」を使って、記事情報を取得していきます。
HULFT Squareから公式APIドキュメントに記載された内容を設定していくことで簡単にAPI呼び出しができます。また。取得した情報をHULFT SquareのETL機能において閲覧しやすい形式に加工することもできます。
早速やってみましょう！

「今回やること」は以前に投稿したDataSpider版と同一になります。
Qiitaに投稿した記事情報（View数など）をDataSpiderのREST接続でとったら簡単だった

検証手順におけるQiitaの設定は上記記事と手順が同一のため、本記事では省略致します。
＜Qiitaの設定＞
①Qiita APIの確認
Qiita APIの公式ドキュメント](https://qiita.com/api/v2/docs)
使用するAPI：認証中のユーザーの記事の一覧を作成日時の降順で返してくれるAPI
　GET /api/v2/authenticated_user/items
②Qiitaでアクセストークンを取得する

検証手順

＜HULFT Squareの設定＞
1.ストレージの準備
2.コネクションの設定
3.プロジェクトの作成

HULFT Squareの設定

1.ストレージの準備

今回はHULFT Squareのストレージの所定ディレクトリーにView数の取得結果ファイルを保存していきます。
「ストレージ」から「新しいディレクトリー」をクリック。
指定のワークスペース/Qiita/Outputの階層のディレクトリーを作成します。

2.コネクションの設定

HULLFT SquareからQiita APIへの接続設定である「コネクション」を作成していきます。

「HULFT INTEGRATE」-「コネクション」から「新規追加」をクリック。

「コネクター」-「REST」、「種類」-「REST接続」を選択し「次へ」をクリック。

「名前」はQiita接続用とし「次へ」をクリック。

「URL」にhttps://qiita.com/api/v2/を設定し、「接続テスト」をクリック。
「接続テスト」の成功を確認後、「OK」をクリックし、「次」へをクリック。

Qiita APIに接続するためのURL（エンドポイント）となります。使用するAPIに応じて、ここで設定した「URL」の後に続く部分を設定し、最終的なWeb APIのエンドポイントを設定します。

「接続テスト」はHULFT Squareからの接続ができるかどうかを確認するため実施しましょう。

任意のプロファイルを選択し、「次」へをクリック。

プロファイルは実行環境を定義する設定です。「開発用」「本番用」等適切な実行環境に紐付けるプロファイルを選択する必要があります。

「完了」をクリックし、「コネクションの設定」を完了します。

3.プロジェクトの作成

QiitaのView数を取得するスクリプトを作成していきます。
まず、デプロイの単位であるプロジェクトを作成します。

「名前」に任意のプロジェクト名、今回はQiitaを設定
「スクリプトを作成」に✓
「スクリプト名」に今回はQiitaVIEW数取得を設定し「次」へをクリック。

「完了」をクリックするとデザイナ画面が起動されます。
以降はデザイナ画面でQiitaVIEW数取得スクリプトを作成していきます。

1.GET実行処理の設定

まずは、必須設定タブの設定をします。
先のセクションで作成したQiita接続用のコネクションであるQiita接続用を設定しましょう。「パス」には、使いたいAPIのエンドポイントの残りの部分である/atuthenticated_user/itemsを設定します。

＜クエリパラメータ＞
Qiita APIに記載がある通り、GET /api/v2/authenticated_user/items　では、パラメータ設定が可能です。pageとper_pageの概念理解で他の方の記事やらも確認しましたが、1pageに100要素（＝記事）を取得できるようで、私の設定だと1×100で、100記事分の情報が取得できそうです。
つまり最大設定値である100を両者に設定すると、100×100=10000記事取得できる、ということですね。
　　・page　　　：　1　　・per_page　：　100

次は、レスポンス設定タブを設定します。下記の通り入力します。
　　・データ出力先　　　　　　　　　　：　JSON
　　・XMLとして不正な文字を削除する　：　✓
　　・自動でリダイレクトする　　　　　：　✓

更に、「JSONファイルを指定して出力スキーマを設定」のリンクを押下して、レスポンスとして受け取るJSONファイル定義を指定します。

★レスポンス指定するJSONファイルの準備について★
下記2つのいずれかの方法で、私はJSONファイルを用意しています。
①使いたいAPI自体をCurlコマンドで事前に実行してみて、JSONファイルを作成。
②公式APIドキュメントに記載されたJSONファイルの例をコピーしてJSONファイルを手動作成。

今回は②で作成したファイルを指定しました。

QiitaView.json

[
  {
    "rendered_body": "<h1>Example</h1>",
    "body": "# Example",
    "coediting": false,
    "comments_count": 100,
    "created_at": "2000-01-01T00:00:00+00:00",
    "group": {
      "created_at": "2000-01-01T00:00:00+00:00",
      "description": "This group is for developers.",
      "name": "Dev",
      "private": false,
      "updated_at": "2000-01-01T00:00:00+00:00",
      "url_name": "dev"
    },
    "id": "c686397e4a0f4f11683d",
    "likes_count": 100,
    "private": false,
    "reactions_count": 100,
    "stocks_count": 100,
    "tags": [
      {
        "name": "Ruby",
        "versions": [
          "0.0.1"
        ]
      }
    ],
    "title": "Example title",
    "updated_at": "2000-01-01T00:00:00+00:00",
    "url": "https://qiita.com/Qiita/items/c686397e4a0f4f11683d",
    "user": {
      "description": "Hello, world.",
      "facebook_id": "qiita",
      "followees_count": 100,
      "followers_count": 200,
      "github_login_name": "qiitan",
      "id": "qiita",
      "items_count": 300,
      "linkedin_id": "qiita",
      "location": "Tokyo, Japan",
      "name": "Qiita キータ",
      "organization": "Qiita Inc.",
      "permanent_id": 1,
      "profile_image_url": "https://s3-ap-northeast-1.amazonaws.com/qiita-image-store/0/88/ccf90b557a406157dbb9d2d7e543dae384dbb561/large.png?1575443439",
      "team_only": false,
      "twitter_screen_name": "qiita",
      "website_url": "https://qiita.com"
    },
    "page_views_count": 100,
    "team_membership": {
      "name": "Qiita キータ"
    },
    "organization_url_name": "qiita-inc",
    "slide": false
  }
]

次に、ヘッダ設定タブの設定です。下記の通り、設定します。
　・名前　：　Content-Type　　・値　：　application/json
　・名前　：　Authorization　・値　：　Bearer XXX(Qiita管理画面から発行したアクセストークン)

以上で、GET実行の設定は完了です。

2.マッピングの設定（入力元の確認）

デザイナ画面右側にある「ツールパレット」から「変換」>「基本」>「マッピング」をデザイナ中央部分にドラッグ＆ドロップします。

処理アイコンをただ並べた状態だと下記のような状態です。
各処理アイコンを線でつなぎ、データと処理フローを作成しましょう。

「GET実行」アイコンをmappingアイコンにドラッグ＆ドロップすると、下記のポップアップが表示されます。

「プロセスフローとデータフローを引く」に✓してOKを押下すると、

処理アイコンがつながりました。mappingアイコンをダブルクリックしてみましょう。
「入力元」の赤枠部分にJSON定義が作成されていることがわかります。

JSONファイルとして取得した記事情報の中のそれぞれの項目については、Qiita APIドキュメントに記載があるので、ここから必要な情報を選択して、右側の「出力先」に渡す設定をしていきます。

3.CSVファイル書き込み処理の設定

APIで取得した記事情報の中から必要な項目を選択して、CSVファイルを作成します。

デザイナ画面右側のツールパレットから「ファイル」>「CSV」>「CSVファイル書き込み」アイコンをデザイナ中央にドラッグ＆ドロップします。マッピングアイコンからフローをつなぎます。

まずは、必須設定タブです。下記の通りに設定します。
　　・名前　　　　：　記事情報をCSVに出力
　　・入力データ　：　mapping
　　・ファイル　　：　/設定した出力先のディレクトリー/${集計年月}_Qiita記事_${記事件数}件.csv
＜列一覧＞
「追加」を押下して、「列名」に出力したい必要項目の定義をします。今回は下記の6項目を出力してみます。
　　・作成年月日　　・記事タイトル　　・View数　・いいね数　・ストックス　・タグ

ファイル名に、「集計年月」と「記事件数」を付与するために、「集計年月」と「記事件数」というスクリプト変数を作成しておきます。スクリプト変数への値の設定は、次のmapping設定（出力先の設定）の中でします。

スクリプト変数を使って、ファイル名に「処理日時」や「データ件数」などを付与できます。スクリプト変数は、あらかじめ必要なものを作成しておきます。

次に、書き込み設定タブです。
「上書き」と「1行目に列名を挿入」に✓を入れます。

以上で、CSV書き込みの設定は完了です。

4.マッピングの設定（出力先の設定）

今回のマッピング設定は下記の通りです。
（細かい！ように見えますが、基本的なアイコンなど簡単な設定のみです。）

まずは、取得した記事情報の分だけ、処理を読み取り書き込む繰り返しの処理を行う設定です。
ツールパレットの「繰り返し」>「基本」>「単純な繰り返し」アイコンを中央にドラッグ＆ドロップします。入力元の「element」と出力先の「row」を線でつなぎ、"入力データ件数分"書き込み処理を繰り返す設定をします。

次に、それぞれの出力先の項目への設定をみていきましょう。

■集計年月
月初1日にスクリプトを実行したいので「前月のデータとして集計情報を出力」します。
つまり、スクリプト変数「集計年月」に、現在日時の前月の値を設定したいと思います。

ツールパレットの「日付」>「基本」>「現在日時」アイコンと、「数値」>「基本」>「数値定数」アイコンに「-1」を設定したものを、「日付」>「演算」>「月を増減」アイコンにつなぎます。

次に、「文字列」「日付」「日時フォーマッティング」アイコンに繋げます。

日時フォーマッティングは、年月だけで良いので「yyyyMM」と指定します。

最後に、スクリプト変数「集計年月」に線をつないで完了です。

■作成年月日
記事を作成した日時情報「created_at」を出力先のスクリプト変数「作成年月日」につなげます。Qiita APIドキュメントの記載例に「Example: "2000-01-01T00:00:00+00:00"」と書いてあったので、「先頭10文字yyyy-MM-dd」を使います。ツールパレットから「文字列」>「関数」>「左文字列」で「10」を指定します。

入力元「created_at」→「左文字列」アイコン→出力先の項目「作成年月日」に線をつなぎます。

下記項目はそのまま入力元から出力先に情報を渡すよう、線をつなぎます。

入力元	出力先
title	記事タイトル
page_views_count	View数
likes_count	いいね数
stocks_count	ストック数
tags	タグ
items_count	スクリプト変数「記事件数」