Python crawler 問題

無糖零可樂 2020-11-26 13:08:18 想知下soup同selenium既分別係咩?
因為我暫時用selenium就覺佢幾方便
但真係幾慢

五河琴里 2020-11-26 13:20:56 https://blog.gtwang.org/programming/python-beautiful-soup-module-scrape-web-pages-tutorial/
前提係要個網站對web crawling friendly
直接拆佢頁HTML同啲get post方法

無糖零可樂 2020-11-26 13:23:06 咁係唔係唔洗理frame同xpath個D??

五河琴里 2020-11-26 13:50:59 都要理都做少步控制點click掣

antinatalist 2020-11-26 13:54:48 selenium用得python嘅話用interactive mode 逐行逐行試應該會易啲揾問題

口水花浪 2020-11-26 14:09:30 有啲網站要用戶用個browser 再load js code 先會display content
呢啲要用selenium去 simulate成個流程

有啲網站用static html
用 soup就最爽

通常酒店價格旅行機票 store 賠率都要用selenium先拎到

無糖零可樂 2020-11-26 15:02:11 可能我之後會研究下點樣用soup

:^(

無糖零可樂 2020-11-26 15:03:01 係呀而加好快就知係邊個位出現問題
但要煩點解決

無糖零可樂 2020-11-26 15:04:59 我都睇到可以用 js
但我又唔知幾時會用到
應該話我唔知點判決要唔要用 js

網蛇 2020-11-26 15:05:49 你print晒d HTML code出黎咪知headless開出黎既網頁係咪同正常一樣囉

我是一個紅蘋果 2020-11-26 15:07:48 lm學野
多數用selenium
有時啲動畫未load到㩒唔到個制我會叫佢sleep 1-2秒
有無啲好啲既方法？

無糖零可樂 2020-11-26 15:11:15 用WebDriverWait
你可以貼啲code上黎比其他大佬幫幫你

:^(

無糖零可樂 2020-11-26 15:11:53 搵到原因啦下次先用你既方法

:^(

口水花浪 2020-11-26 15:15:50 https://www.browserstack.com/guide/wait-commands-in-selenium-webdriver

無記錯我用過explicit wait 等佢個element load完先再做action
幾年前覺得唔太準

:^(

幾個月前試過又覺得ok
你睇下啱唔啱洗

膠屍定理 2020-11-26 15:48:11 其實點樣用soup撈 soup唔係parser黎渣咩

白花油滴龜頭 2020-11-26 15:59:08 Soup直射rest request再parse json

膠屍定理 2020-11-26 16:07:57 selenium都可以射 page source 去soup parse
點解講到好似兩個唔可以一齊用
利申:唔識

白花油滴龜頭 2020-11-26 16:10:14 可以無話唔得
通常有js先用selenium
做到client side rendering
無就soup算
Selenium做parser有啲大材小用

網蛇 2020-11-26 16:39:45 static pages可以用scrapy黎開
beautifulsoup係HTML parser黎 selenium同scrapy都可以用

網蛇 2020-11-26 16:41:07 requests+json已經得
如果有cookies既話可以用selenium-requests

口水花浪 2020-11-26 18:07:35 其實可以
不過只係static html
用requests拎落嚟
再用soup parse
都快

而selenium
坦白講當時搞config 好撚煩

膠屍定理 2020-11-26 18:18:39 但有陣都係要用selenium黎搞啲captcha
有得用requests邊個想用selenium

口水花浪 2020-11-26 18:23:23 當然喇
selenium好似本身可以拎elements data
如果係咁
我就無試過selenium + soup一齊用

反而想知你點用selenium搞captcha

膠屍定理 2020-11-26 18:27:40 淨係解過滑動型同認字
google個種recaptcha v3唔識搞
有無大神教

:^(

Nekrogoblikon 2020-11-26 18:58:12 如果係 iframe 裏面既 element.

會唔係document ready 但個 frame係未 load 完就execute 個 get? 所以no such element.