iT邦幫忙

1

【已解決】C# facebook爬蟲

  • 分享至 

  • xImage

更新
最終做法是用selenium爬出來


最近MVC玩的挺有趣的,後來想想做了許多東西抱著如果可以加上爬蟲的話是不是就能把我想要的資訊一次都看完了的想法開搞
想著既然要搞就來看看常常會被關注的粉絲數,就拿了跳舞很酷的粉絲頁測試結果直接遇上鐵拳。

想請教各位300萬我要怎麼讓facebook不會覺得我的瀏覽器太舊((

private async Task Wait(int times = 1)
{
    await Task.Delay(2500);
}
public async Task<IActionResult> Index()
{
    using (var client = new HttpClient())
    {
        HttpResponseMessage response = await client.GetAsync(@"https://www.facebook.com/niclin.dev");
        await Wait(times: 3);
        string html = await response.Content.ReadAsStringAsync();
        var htmlDoc = new HtmlDocument();
        htmlDoc.LoadHtml(html);
        //var titleNode = htmlDoc.DocumentNode.SelectSingleNode("//title");
        var linkNodes = htmlDoc.DocumentNode.SelectNodes("//a[@role='like']");
        ViewData["ScrapedLinks"] = html;
    }
    return View();
}

https://i.imgur.com/H8YbM9x.png

想免費對付facebook,你除了selenium,好像也沒別的辦法...
froce iT邦大師 1 級 ‧ 2023-02-07 08:14:46 檢舉
加假的UA騙騙看。
https://stackoverflow.com/questions/44076962/how-do-i-set-a-default-user-agent-on-an-httpclient

自己去查最新的用法,C#我不熟。
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友回答

立即登入回答