Save the Researchmap Project(事業) docker(151)

Researchmap が version 2になって、過去のURLが全部リンク切れになった。

過去の記事の標題で検索しても、新しいURLが出てこない。

現在の記事、あるいは現在のURLから、順に辿っていくと、URLは出てくる。

そこで、Github上に、過去の記事のURLを自動生成するプログラムを作成して、
標題で検索できるようにする。

どういう言語で、どのようなプログラムでやるといいのか。

github

Github上にRepositoryを作成した。

wget

wgetで、getする。

bash

$ docker run -it ubuntu /bin/bash

dockerで

bash

# apt update; apt -y upgrade; apt install -y wget vim
# cd /home
# mkdir researchmap
# cd researchmap
# wget https://researchmap.jp/kaizen
# ls -al kaizen
-rw-r--r-- 1 root root 191532 Sep  5 07:44 kaizen

最初のファイルしか取れてない。

bash

# wget -rx https://researchmap.jp/kaizen
# ls 
 kaizen   researchmap.jp 
# cd researchmap.jp
# ls
 auth   components   css  'favicon.ico?1548398148'   img   index.html   js   kaizen  'kaizen?lang=en'   new_accounts  'researchers?institution_code=E311000000'   robots.txt   theme

全部ダウンロードしてから処理するか、オンラインのまま処理するか。
ディスクの空きを考えるとオンライン処理したい。

オンライン処理

なにでプログラム組むか思案中。

python

javascript

PHP

Ruby

それ以外。

最後までおよみいただきありがとうございました。

いいね　💚、フォローをお願いします。

Thank you very much for reading to the last sentence.

Please press the like icon 💚　and follow me for your happy life.