C#でスクレイピングしてみた

お題目

これまでVBAでスクレイピングしていたが、ただいま勉強しているC#でもスクレイピングできるということで、サクッとやってみた。
その備忘録になります。

0. まずディレクトリ作成

mkdir testScraping
cd testScraping

1. 次にプロジェクトを作成、AngleSharpのNugetをセッティング

dotnet new console
dotnet add package AngleSharp --version 1.0.0-alpha-827

2. 次に言語のバージョンをプレビューを追記

(正直、理由は分かってません、涙)
この行追加、の1行を追記してください

testScraping.csproj

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <OutputType>Exe</OutputType>
    <TargetFramework>net5.0</TargetFramework>
    <LangVersion>preview</LangVersion> <!-- この行追加 -->
  </PropertyGroup>

  <ItemGroup>
    <PackageReference Include="AngleSharp" Version="1.0.0-alpha-827" />
  </ItemGroup>

</Project>

3. ソースコード記入

次はもう下記のソースコードをProgram.csにまるまるコピペで大丈夫です

Program.cs

using System;
using AngleSharp;
using AngleSharp.Html.Parser;
using System.Net;
using System.Threading.Tasks;

// 参照サイト
// https://qiita.com/okazuki/items/a4eb94f608bbc26c6a5f
// https://usefuledge.com/csharp-webscraping-anglesharp.html

var urlstring = "https://www.yahoo.co.jp/";

WebClient wc = new WebClient();
try
{
    string htmldocs = wc.DownloadString(urlstring);
    // Console.WriteLine(htmldocs);

    var config = Configuration.Default;
    var context = BrowsingContext.New(config);
    var document = await context.OpenAsync(req => req.Content(htmldocs));

    // Console.WriteLine(document.Title);

    // foreach (var item in document.QuerySelectorAll("h1.thumb"))
    foreach (var item in document.QuerySelectorAll("section#tabpanelTopics1 li"))
    {
        Console.WriteLine(item.TextContent.Trim());
    }

}
catch (System.Exception)
{
    throw;
}

4. 結果

そのスクレイピングの結果が

現時点のYahooが
です。

簡単ですね。

タグを構造的に指定したい場合は半角スペースで仕切れば大丈夫みたいです。document.QuerySelectorAll("section#tabpanelTopics1 li")
がそうですね。

もう少し複雑なスクレイピングにもトライしたいと思います。

〜おわり〜