記録

Anglesharpというライブラリの話。

久しぶりに技術的なお話の記事を書きます。AnglesharpというのはC#などでスクレイピングするときにスクレイピングを補助してくれるライブラリで結構人気のあるライブラリなるようです。スクレイピングするコードは下記のようになります。この書き方が至ってシンプルで書きやすいのではないかなと思っています。

http://anglesharp.github.io/

var Url = $"https://zip358.com/";
var querySelector = $"#index_post_list > li.clearfix.num1.type1 > div > h3";
var document = BrowsingContext.New(Configuration.Default.WithDefaultLoader()).OpenAsync(Url).Result;
var element = document.QuerySelector(querySelector);
Console.WriteLine($"blogtitle is {element.InnerHtml}");

このライブラリはとても良いのですが、一つ問題があります。スクレイピングするのですが・・・これjavascriptがOFFの状態でスクレイピングされるのですね。どうもこのコードではJSがONにはならないようですね。因みに自分はそのことを知っていなかったのでどハマリしました。大手の検索サイトなどはjavascriptがOFFの状態でも閲覧できるようになっている事を知りました、試しにブラウザをOFFの状態にしてみるとソースコードがかなり違っていてJSのONの状態とは情報が差異がある事が理解できると思います。

Anglesharpのコンフィグ設定(init)でエージェントなどを設定してあげると上手くJSがONの状態をスクレイピングすることが可能なのかもしれません。動画を見る限りではまだかもしれません・・・。

AngleSharp NET Headless Browsing

活動支援よろしくお願いします

近況:クラウドで単発のお仕事を探しつつ。前のページ

つかみに滑った感があるけど、中身はスベってない機械学習の数学講座。次のページ

関連記事

  1. 記録

    画面キャプチャのフリーソフトに目からウロコ、自作してみた。

    画面キャプチャのフリーソフトに目からウロコ、自分も自作してみた。作…

  2. 記録

    何故チームなのか。

    開発はいまやチームで行う時代です。及川 卓也氏が言っているとおりだ…

  3. 記録

    今の時代を生きていくYOUTUBER兼ブロガーの青年。

    キメラゴンさん、青年でそこそこの結構な収入を得ている。地方のサラリー…

  4. 記録

    マウスが半壊れとツイートしたら誰かさんがマウスを?

    今日は雲のない超快晴ですね。こんなに快晴だったら県外にでも遊びに行き…

  5. 記録

    六本木を中心に開催されるテクノロジーアート展を観に行きたいけど。

    六本木を中心に開催されるテクノロジーアート展を観に行きたいけど予算…

  6. 記録

    ダリ2の人工知能も凄いぞ。

    おはよう御座います、ダリです・・・(樹龍です)。https…

2021年3月
1234567
891011121314
15161718192021
22232425262728
293031  

カテゴリー

PAGE TOP