Qiita初投稿です^^
WEBスクレイピングをやろうとして
折角なのでGoogle Bardに聞いてみました。
https://bard.google.com/
Bardへの質問と回答
「Visual Studio CodeでPythonを使用してWebスクレイピングを行う手順を教えてください」
import requests
from bs4 import BeautifulSoup
url = 'https://www.google.com/'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
title = soup.find('title').text
print(title)
Bardが書いてくれたpythonコードを貼り付け、ファイル保存（拡張子.py）
トラブル
不足手順があります。
VS Codeを新規インストールする手順ですが、ライブラリのインストールが行われていません。
# VS Code内のTerminalを開き、下記pipコマンドを実行
# HTTPリクエスト
pip install requests
# WEBスクレイピングを行うBeautiful Soup4
pip install bs4
上記を実行してもPROBLEMSペインにImport "requests" could not be resolved from sourceが表示され、解決しませんでした。
そこで予定を変更し、第１稿はトラブルシューティングがメイン課題となってしまいました！^^
VS Codeをインストールしたら、最初に設定すべきは下記だと思います。
VS Codeのターミナルを「選択でコピー」「右クリックで貼り付け」の設定に変更する
https://qiita.com/MtDeity/items/9382a992dbac0548b5a0
pip uninstall requestsを実行してから、再度installしました。
解決しませんでした。
ところがターミナル内で
python C:\***\WEB_scraping\01_bard_out_code.py
を入力して実行すると、実行できてしまうのです。
これはVS Codeが実行に使用するPythonとVS Codeのターミナルが使用するPythonが別物になっているに違いありません。
ターミナルで
python -c "import sys; print(sys.executable)"
を実行してみます。
C:¥***\anaconda3\python.exe
が使用されているようです。
.pyコードとして実行してみます。
面倒なので実行コードを'''で括ってコメントアウトし、そのままのファイルに
import sys; print(sys.executable)
を書き、実行ボタンを押します。
C:\***\AppData\Local\Microsoft\WindowsApps\PythonSoftwareFoundation.Python.3.10_***\python.exe
でした。
VS Codeのsettings.jsonで変更します。
{
"python.defaultInterpreterPath": "C:\\***\\anaconda3\\python.exe"
}
先程の.pyコードをそのまま実行して
C:¥***\anaconda3\python.exe
が表示されました。
この問題は私の環境設定でanaconda3フォルダにパスが通っているため発生しているので
動こうとしていたPythonSoftwareFoundationのフォルダにパスを通してpip installしてももちろん動くはずです。
VS Code的に、場所の見つけ方など正しい手順が他にありそうな気がしますが一旦放置します。
こういったトラブルシューティングも、検索ではなくChatGPTやBARDでやるようになるのでしょうね。
解決後
実行コードを元の内容に戻して実行し、「Google」が表示されることを確認します。
「VS Codeで」とした目的はPythonのデバッグ実行環境を構築するためですので、デバッグ実行も試してみます。
では、当初の目的であるWebスクレイピングができたので、次に進みます。
→【次稿】[Bardに聞く]WEBスクレイピングで子ページにある情報を検索
https://qiita.com/ginger_ale/items/2ae4cbc1679ad2e87c69