Twitter、Facebook、YouTube、Instagramなどソーシャルメディアには、多数のユーザーの声が集まっています。ソーシャルメディアのデータを収集すれば、ユーザーの「リアルな声」を分析できるようになります。ソーシャルメディア上のビッグデータに基づいて、マーケティング施策の策定、海外の業務推進、国際情勢の調査、世論調査など、いろいろな面に役立ちます。
過去の数年間、Octoparseはお客様のそれぞれのニーズに応じて、強力なデータサポートを行いました。たとえば：
🔸Twitterをはじめとする国内外のSNS情報を収集し、ある大学の「ポストコロナ時代にSNS上の対中世論調査」研究にサポートしました。
🔸海外に進出する企業にブランド、商品と競合商品に関するSNS上の情報収集、及び世論調査を行っていました。
🔸コンサルティング会社からの委託で、ソーシャルメディアでのキーワードを収集し統計します。
🔸ある外交関連の組織の要望に応じて、国外のソーシャルメディアでのリアルタイムに更新されたデータを収集して、世論を洞察することで、政策の策定にサポートします。
この記事では、SNSデータを活用する企業や大学の事例から、各ソーシャルメディアに一般的にビッグデータの収集場面について説明します。
1、データ収集共通性：
Twitter、Facebook、YouTube、Instagramなどのソーシャルメディアは使い方と内容は異なりますが、その基本な機能と構成は多くの共通性があります。企業などの顧客が抽出希望のデータも共通性を持っています。よく希望するデータ抽出の場面は：
🔸指定したアカウントのツイート/画像/動画のデータをスクレイピング（抽出）する。
🔸キーワードを指定し、検索結果のデータをスクレイピング（抽出）する。
🔸ツイート/画像/動画のコメントをスクレイピング（抽出）する。
★これらの場面がよく客様側に依頼されますので、Octoparseはアプリケーションの中でテンプレートを用意しました。
これから、代表的なソーシャルメディアのWebスクレイピング事例を詳しく説明します。
何か質問がございましたら、Octoparseのヘルプセンターにお問い合わせください。
2、Facebookをスクレイピングする
Facebookは世界最大希望のソーシャルメディアです。月間アクティブ利用者は最大20億人、Facebookでの一日あたりの検索数は15億人、毎日Facebookを利用するユーザーは１２億人、毎日の動画視聴回数は８０億人に達します。
Facebookのアカウントを指定し、その投稿をスクレイピングするというような要望がたくさんあります。例えば、コロナの時にアメリカのJohns Hopkins Universityはリアルタイムで最も信頼できるコロナ感染人数のデータを更新しています。コロナに関する研究をする時に、Johns Hopkins UniversityのFacebook上の過去の投稿と最新の投稿をリアルタイムで収集し、研究の重要なデータソースとして扱えます。
スクレイピング要件の詳細:
🔸データ：アカウント、アカウントホームページのURL、アカウントを申込時間、投稿数、投稿テーマ、投稿コンテンツ、投稿でのURLや画像など。
🔸アカウントへの自動アクセスをサポートし、アカウント名またはアカウントのホームページのURLに従ってデータを収集します。数多くのアカウントからデータをスクレイピングする場合はOctoparseで自動的にアクセスし、データを抽出することができます。
🔸より多くのページのデータを表示および収集するために、Octoparseはページが自動的にスクロールすることができます。
🔸Octoparseはリアルタイムで投稿を収集することができます。または、スケジューリングをして、定期的にデータを抽出こともできます。
★上記のデータ需要があれば、Octoparseでのテンプレートを直接に利用することができます。
3 、Twitterをスクレイピングする
Twitterは今日最も人気のあるソーシャルメディアといっても過言ではありません。毎日1億人以上のアクティブユーザーと5億人以上のツイートがあります。
Twitterでお客様が指定したキーワードで検索し、そして検索されたツイートを収集するというスクレイピング要望がよくあります。たとえば、HuaweiやTikTokなどの中国の企業が海外に進出する際に、海外の社会世論の動向に非常な関心を払い、SNS上のデータ収集を求めています。 TwitterはSNSのなかで重要な世論形成の場所です。Twitter上のデータスクレイピングは主にブランド関連のキーワードをまとめて検索します。そして、検索されたツイーターを収集することで、多くの貴重な情報を得ます。
スクレイピング要件の詳細:
🔸データ：検索したキーワード、ツイートタイトル、ツイートコンテンツ、ツイートURL、およびページまたはソースコードに表示されるその他のフィールド。
🔸Octoparseは多くのキーワードを一括入力することができます。または、各キーワードに対応する検索結果リストを自動的に生成します。
🔸Octoparseはより多くのページのデータを表示および収集するために、ページを自動的にスクロールすることができます。
🔸ツイートの更新頻度によって、過去のツイートの収集と新しく追加された投稿データを定期的に収集することができます。
★上記の要件は、データスクレイピング用のテンプレートを用意されています。
4、YouTube動画のコメントをスクレイピングする
YouTubeは、世界最大の動画共有ソーシャルメディアおよび動画検索エンジンです。毎日、ユーザーはYouTubeで視聴した動画の時間を足せば、何十億の視聴時間があります。
YouTubeの場合は動画のコメントを収集するニーズがよくあります。たとえば、ある有名なドローンブランドは、欧米市場で70％の市場シェアを持っています。その速く成長する秘訣の1つとしては、ソーシャルメディアマーケティングをしているからです。その中で、KOLマーケティングを行うことは非常に重要な部分を占めています。この企業は、海外のYouTubeのKOLと積極的に協力し、KOLの影響力を通じて、自社の商品をより多くの人に伝播します。
KOLマーケティングをしてから、KOLが投稿した動画の効果を評価します。そして商品に対する価値をさらに掘り出すために、商品に関する動画のすべてのコメントを収集し、NLPテキスト分析を実行する必要があります。
スクレイピング要件の詳細：
🔸データ：動画のテーマ、動画のURL、ビデオリリース時間、コメント数、コメント投稿者、コメント、コメント時間など、ページまたはソースコードに表示されるフィールド。
🔸Octoparseは動画名と動画URLに従って、アカウントへの自動アクセスとデータ収集をすることができます。
🔸より多くのデータを収集するために、Octoparseではページを自動的にスクロールすることができます。
🔸コメントの更新頻度に応じて、履歴コメントの収集と新しいコメントの定期的に収集することができます。
★上記のデータ需要があれば、Octoparseでのテンプレートを直接に利用することができます。
5、終わりに：
上記では、Twitter、Facebook、YouTubeだけを例として取り上げました。
実際には、Octoparseはソーシャルメディアの他に、より多くのWebサイトのデータをスクレイピングすることができます。もし、データ収集に何に困っていることがございましたら、Octoparseに気軽くてお問い合わせください。
関連記事: