.NET Core + HttpClient + AngleSharp で UTF-8 ではないサイトをスクレイピングする

2020-10-06T00:33:41+09:00

この記事は Qrunch からの移植記事です。
元記事は 2019/08/29 に書かれており、記事の内容が現状と即していない可能性が大いにあります。
元記事

以下から本文です。

タイトル通りなのですが、文字コード絡みで少しハマったので備忘がてら記事化しました。

事の経緯

AngleSharp によるスクレイピングを試したくなる
何気なしに 4Gamer.net さんのサイトで試す
記事タイトルの取得を試みたところ盛大に文字化けしている
なんでや！？
charset で EUC-JP が指定されとるやんけ！

という感じです。
このご時世に初手で UTF-8 ではないサイトを引き当てるとは思いませんでした。

要点

HttpClient.GetStreamAsync で Stream を取得して StreamReader で読み込む際に文字コードを指定する
- HttpClient.GetStringAsync で string を取得したあと文字コード指定で Convert しようとしてもダメ
.NET Core は素のままだと Shift_JIS や EUC-JP に対応していないのでエンコードプロバイダーを追加する
- ~~.NET Core あんまり触ってないから知らなかった~~

サンプルコード

// .NET Core は素のままだと Shift_JIS や EUC-JP に対応していないのでエンコードプロバイダーを追加
Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);

// HttpClient でスクレイピングしたいサイトの HTML を取得する
HttpClient httpClient = new ServiceCollection()
                .AddHttpClient()
                .BuildServiceProvider()
                .GetService()
                .CreateClient();

Stream htmlStream = httpClient.GetStreamAsync("https://www.4gamer.net/").Result;

string htmlString;
using (var reader = new StreamReader(htmlStream, Encoding.GetEncoding("EUC-JP"), true) as TextReader)
{
    htmlString = reader.ReadToEnd();
}

// h2 > a > InnerText ≒ 記事タイトルを取得する
var parser = new HtmlParser();
IHtmlDocument doc = parser.ParseDocument(htmlString);
IHtmlCollection h2Collection = doc.QuerySelectorAll("h2");
IEnumerable articleTitles = h2Collection.Select(x => x.QuerySelector("a").InnerHtml);

// 煮るなり焼くなり好きにする
foreach (var articleTitle in articleTitles)
{
    Trace.WriteLine(articleTitle);
}

参考記事

AngleSharp を使うにあたり以下の記事を参考にしました。
ありがとうございます。
Unity上でAngleSharpを利用したスクレイピングを行う
 【C#】AngleSharpの使い方メモ

最後に

~~4Gamer.net さん EUC-JP 止めて UTF-8 にして~~

「AngleSharp」の記事 - Crieit

.NET Core + HttpClient + AngleSharp で UTF-8 ではないサイトをスクレイピングする

事の経緯

要点

サンプルコード

参考記事

最後に