Twitter Historical PowerTrack API を利用することで、これまでに蓄積された全てのツイートから、自分の指定する条件にマッチしたツイートだけを取得することができます。このページでは、Twitter Historical PowerTrackの仕組み、指定できる条件、返ってくるデータ形式について解説しています。

Twitter Historical PowerTrack API は、Twitterの法人プランを契約している開発者のみが利用できます。Twitter Historical PowerTrack APIを使ったお仕事のご依頼、ご相談については、@ts_3156 までお気軽にご連絡ください。

このページでは、Historical PowerTrack APIを紹介しています。PowerTrack APIについては PowerTrack API を使ってツイートを取得するをご参照ください。

Twitter Historical PowerTrack API とは

Twitter社が提供する、「最初のツイートまでさかのぼって、ルールにマッチしたツイートのみをフィルタリングしてダウンロードする機能」のことです。Historical PowerTrackは、リアルタイムPowerTrackと同じフィルタリング機能を使うことができます。

Historical PowerTrackは、バッチジョブ形式でのデータへのアクセスを提供しています。このバッチジョブの管理にもHistorical PowerTrack APIが利用できます。

※Twitter Historical PowerTrack APIは、Twitterの法人プランを契約している開発者のみが利用できます。

Historical PowerTrack ジョブの構成

Historical PowerTrack APIを使用してジョブを作成します。この時、APIはサンプリングされた期間から予想されるデータ量とジョブの実行時間の概算値を生成します。
ステップ1の推定値に基づいて、ジョブを実行するかどうかを決定します。予想されるデータ量や実行時間が予想の範囲外であった場合は、ジョブを拒否することができます。
ジョブが完了したら、データファイルをダウンロードするためのURLのリストを取得します。
ステップ3で取得したURLのリストを使用して、データファイルをダウンロードします。1つのファイルは10分間のセグメントを表しており、データはジョブが受理されてから15日間ダウンロードできます。

Historical PowerTrack API と Full-Archive Search API の違い

Historical PowerTrack APIと同じような機能には、Full-Archive Searchがあります。どちらを使った場合でも、2006年の最初のツイートを含む公開されている全てのツイートを取得することができます。

どちらを使ってもアクセスできるツイートは同じですが、内部の仕組みが大きく異なるため、データへアクセスする方法に違いが生じています。例えば、PowerTrackの演算子、ルール/フィルタの数、推定値の提供方法、データの配信方法が違います。

Historical PowerTrack

バッチジョブ形式で設計されており、大規模なツイートデータを取得するように構築されています。このため、ジョブごとにボリュームの推定、ジョブステータスの取得、何千ものデータファイルのダウンロードというフェーズがあります。リクエストの大きさによっては、ジョブの生成に数時間から数日かかることもあります。データファイルは10分ごとに作成されるため、30日間のデータセットは、マッチしたツイートの数に関わらず、約4,300個のファイルで構成されています。

Full-Archive Search

古典的なリクエスト/レスポンスパターンを使用して設計されており、Google検索のように、ある検索条件にマッチする結果を少しずつ取得する機能を提供しています。一度のレスポンスでは最大500件のツイートを提供することができ、ページング機能を使って、全てのデータの完全なセットを作成することになります。

取得するツイートの数が非常に大きい場合、例えば1000万ツイートを超えるような取得を行う場合は、Historical PowerTrackの方がFull-Archive Searchよりも適しています。どちらであってもアクセスできるツイートに違いはありませんが、このデータ量にアクセスするバッチ処理とページング処理では、バッチ処理の方が早くなります。

多くのユースケースでは、実際のツイートそのものよりも、クエリに関連するツイートの数が重要です。Full-Archive Searchでは、一致したツイートの数を時系列で返す「カウント」エンドポイントをサポートしています。このエンドポイントを使うと、1分ごと、1時間ごと、1日ごとの合計ツイート数を把握することができます。

Full-Archive Search APIとHistorical PowerTrack APIの両方が12ヶ月間のサブスクリプションで利用可能です。さらに、Historical PowerTrackは「一回限り」で利用可能です。そのため、1回限りのプロジェクトやその場限りのリサーチのためにツイートデータが必要な場合は、Historical PowerTrackの方が適しています。