NodeでURLをループしてスクレイピングするツールを作成

モジュールはpuppeteerを使用

app.js

const puppeteer = require('puppeteer')
const URLS = require('./url.json')

!(async () => {
    try {
        // urlの数だけ。
        for (let i = 0; i < URLS.url.length; i++) {
            let browser = await puppeteer.launch()
            let page = await browser.newPage()

            let result = await getData(page, URLS.url[i])
            // ーーーーーgetデータ処理ーーーーーーー
            console.log(result)

            browser.close()
        }
    } catch (e) {
        console.error(e)
    }
})()

// データ取得ロジック
async function getData(page, url) {
    await page.goto(url) // ページへ移動
    let get_object = await page.evaluate(() => {
        // jsで取得データをリターン 欲しい要素をここで取る
        let data = document.getElementsByClassName('className')[0].innerHTML
        return data
    })
    return get_object
}

URLファイルのモジュールはこちら

url.json

{
    "url": [
        "https://qiita.com/",
        "https://qiita.com/timeline"
    ]
}

　参考