目的
銘柄コードによって、毎日の株価指数のデータを取得し、株式市場を分析します。
※収集したデータを不正に利用しないため、ご参考まで。
※サーバ過負荷にならないよう、アクセス間隔をある程度空けている。
スクレイピングツールの概要
ScrapeStormには人工知能に基づき、Webスクレイピングツールです。プログラミングが必要なく、ほとんどのWebサイトからデータをスクレイピングします。強い機能を持つ、使いやすいです。URLを入力するだけで、自動的にWebサイト内容と次のページボタンを識別できます。1-ClickでWebサイトからデータを自動的に抽出します。
抽出されたデータは下記のようにご覧ください。
1.タスクを新規作成する
今回はURLジェネレーター機能を利用して、各銘柄コードの詳細情報ページから株式情報を取得します。
(1)URLをコピーする
任意の銘柄コードを入力して、その検索結果ページのURLをコピーしてください。
(2)URLを生成する
URLジェネレーターでURLを入力して、パラメーターを追加画面にファイルから読み込むを選んでください。生成したURLはプレビュー画面でチェックしてください。
2.タスクを構成する
(1)事前操作機能
株主優待、売買単位などの情報の収得には、事前操作機能を利用してください。右上の緑色ボタンをクリックして、事前操作画面を開けます。
注意：株価指標画面を開くには、二つの「クリック」コンポーネントを追加してください。
(2)ページタイプ
今回生成したURLは全部詳細ページのURLですから、ページタイプを「詳細ページ」に変更します。また、ページングには「必要なし」に変更してください。
(3)フィールドの追加と編集
フィールドの追加をクリックして、株主優待を選択すると、情報がソフトウェアの表に追加します。また、必要に応じてフィールドの名前の変更または削除、結合できます。
抽出されたフィールドを配置する方法
3.タスクの設定と起動
(1)起動の設定
ソフトウェアは数多くの機能を提供します。タスクを毎日定時的に起動するために、スケジュール機能を利用してください。
スクレイピングタスクを配置する方法
(2)しばらくすると、実行画面にデータのスクレイピングが見えます。
4.抽出されたデータのエクスポートと表示
(1)エクスポートをクリックして、データをダウンロードします。
(2)必要に応じてエクスポートする形式を選択します。
ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。ライトプラン以上のユーザーは、WordPressに直接投稿することもできます。
抽出されたデータのエクスポート方法
