[Node.js]WebページのHTMLをダウンロードする方法

WebページのHTMLをダウンロードする方法

index.js

//モジュールのインポート
const https = require('https');
const fs = require('fs');

// ダウンロード先のURL
const url = 'https://github.com/';
// HTMLの保存先
const savepath = 'test.html';

https.get(url, (res) => {
  res.pipe(fs.createWriteStream(savepath))
  .on('error', (error) => console.error(error))
  .on('finish', () => console.log('ok'));
});

解説:
1. モジュールのインポート
インポートするモジュールはアクセスするページのプロトコルによって異なります。
"http://"にアクセスするならhttpモジュールをインポートしてください。
2. Webページにgetメソッドでアクセスする
https.getに与える引数は、URL,コールバック関数です。

スクリプトの実行

node ./index.js を実行すると、プロジェクトのディレクトリの直下にtest.htmlが出力されます。

おまけ

index.js

//モジュールのインポート
import fs from 'fs'
import request from 'request'

// ダウンロード先のURLを指定
var url = "https://github.com/";
// HTMLの保存先を指定
var savepath = "test.html";
var outfile = fs.createWriteStream(savepath);

request(url).pipe(outfile)

これでも同じことができます。