記録

Anglesharpというライブラリの話。

久しぶりに技術的なお話の記事を書きます。AnglesharpというのはC#などでスクレイピングするときにスクレイピングを補助してくれるライブラリで結構人気のあるライブラリなるようです。スクレイピングするコードは下記のようになります。この書き方が至ってシンプルで書きやすいのではないかなと思っています。

http://anglesharp.github.io/

var Url = $"https://zip358.com/";
var querySelector = $"#index_post_list > li.clearfix.num1.type1 > div > h3";
var document = BrowsingContext.New(Configuration.Default.WithDefaultLoader()).OpenAsync(Url).Result;
var element = document.QuerySelector(querySelector);
Console.WriteLine($"blogtitle is {element.InnerHtml}");

このライブラリはとても良いのですが、一つ問題があります。スクレイピングするのですが・・・これjavascriptがOFFの状態でスクレイピングされるのですね。どうもこのコードではJSがONにはならないようですね。因みに自分はそのことを知っていなかったのでどハマリしました。大手の検索サイトなどはjavascriptがOFFの状態でも閲覧できるようになっている事を知りました、試しにブラウザをOFFの状態にしてみるとソースコードがかなり違っていてJSのONの状態とは情報が差異がある事が理解できると思います。

Anglesharpのコンフィグ設定(init)でエージェントなどを設定してあげると上手くJSがONの状態をスクレイピングすることが可能なのかもしれません。動画を見る限りではまだかもしれません・・・。

AngleSharp NET Headless Browsing

活動支援よろしくお願いします

近況:クラウドで単発のお仕事を探しつつ。前のページ

つかみに滑った感があるけど、中身はスベってない機械学習の数学講座。次のページ

関連記事

  1. 記録

    ネタバレ注意:映画『バットマン vs スーパーマン ジャスティスの誕生』を観てきましたので #映画レ…

    映画『バットマン vs スーパーマン ジャスティスの誕生』を観てきま…

  2. 記録

    映画、杉原千畝[スギハラチウネ]を観てきましので感想なんかを。 #映画レビュー #杉原千畝

    映画、杉原千畝を観てきましので感想なんかを残しときます。第二次大戦…

  3. 記録

    高知竜馬空港の近くにある前浜と吉川の間に行ってきたよ。

    高知県の前浜という場所に朝っぱらから行ってきました。高知県の飛行場…

  4. 記録

    テレビじゃ言えないが面白い。

    テレビじゃ言えないが面白い、著者ビートたけし氏が語った言葉を本にし…

  5. 記録

    魂の叫びのような歌を歌う人。

    魂の叫びのような歌を歌う人はあまりいない中のひとりにamazaras…

  6. 記録

    みんなが大好きなマリオが何やら酷評されている。

    みんなが大好きなマリオが何やら酷評されている。12月15日にリリース…

PAGE TOP