Python網頁爬蟲登入後網址是隨機的SID

python 網路爬蟲網頁教學

ms_x_dead_june 2021-04-15 12:24:21 ‧ 1523 瀏覽

Hello 各位大神午安

因為最近公司需要去抓一個電話錄音系統的錄音
但是我一進去網站碰到一個問題是當我每次登入時網址如下

http://192.168.0.10:1000/Status.html?SID=15121651

他後面的SID=XXXXXXXX 即使同一個帳號重新登入後都會產生不同的SID
那我在抓網頁資料的時候我應該如何解決他每次不同的SID

r=requests.get("http://92.168.0.10:1000/Status.html?SID=15121651")
print(r.text)

那我想我這樣寫如果每次跑他SID一定不同
我是想說將SID變成一個變數然後"http://92.168.0.10:1000/Status.html?"+"變數"

請問這樣如何改? 或者是否有人有更好的設計方法

先感謝大家的協助~

看更多先前的討論...收起先前的討論...

ccutmis iT邦高手 2 級 ‧ 2021-04-15 12:27:28 檢舉

legal or illegal?

ms_x_dead_june iT邦新手 5 級 ‧ 2021-04-15 12:33:27 檢舉

是公司主管請我抓的設備都是自己公司的沒問題~單純要記錄電話交易語音

ccutmis iT邦高手 2 級 ‧ 2021-04-15 12:43:54 檢舉

既然都在自家公司裡為何不直接從伺服器跟資料庫去抓資料撈數據就好...

如果還是堅持要用爬的話這種情況可以試試 Python selenium + chrome 的方式
google search 'Python selenium + chrome'
或這裡:
https://ithelp.ithome.com.tw/questions/10202329

ms_x_dead_june iT邦新手 5 級 ‧ 2021-04-15 15:17:18 檢舉

那個設備叫TCR-3000 錄音設備廠商說沒聽過它有資料庫他說其他公司厲害的工程師都是自己寫程式去抓的 ~

ccutmis iT邦高手 2 級 ‧ 2021-04-15 15:43:23 檢舉

http://www.multisuns.com/tcr-3000_ov_c.html

具 APP 及網頁，雙操作介面
...略....
強大的集中管理功能，可將分散於各點的TCR-3000經由PC集中備份錄音資料，或是將 TCR-3000 分組管理透過統一介面監看、監聽、搜尋、放音、設定等。

你可以拿這個網址去問廠商這網頁裡面說的東西是什麼