Python crawler 問題

無糖零可樂 2020-11-25 13:29:49 最近想crawler aastocks網既野
咁搵到個xpath 但係xpath helper就出到data
同係python就erorr

[red] no such element: Unable to locate element:[/red]

佢個網用aspx 咁關唔關事?
定要切到frame?

講到有D亂
唔好意思

:^(

蝗加蝻變慘 2020-11-25 14:01:10 先睇下撈到個content有冇想要嘅料
根本冇料就廢的

無糖零可樂 2020-11-25 14:08:26 我都係想練下野炸
分析個邊我廢既
要再睇多D書

無糖零可樂 2020-11-25 14:08:48 搵到原因
果然係frame既問題

無糖零可樂 2020-11-25 15:22:05 新問題係
係當唔用.add_argument("--headless")個時就會正常
但一用.add_argument("--headless")就會出
no such element: Unable to locate element

無糖零可樂 2020-11-25 15:42:16

:^(

會唔會係我ChromeDriver問題?

木廠仔 2020-11-25 19:59:58 ching好有毅力

:^(

無糖零可樂 2020-11-26 07:56:17

:^(

咁開始左就唔想比佢停
雖然成日比啲bug卡住搞到好灰
但一del 到bug同明點解之後個下真係好爽

:^(

無糖零可樂 2020-11-26 08:02:32 有冇大佬可以救下我

:^(

係冇headless下可以正常
但係headless 下就有部分xpath搵唔到
會唔會係係headless冇轉個frame？
headless轉frame要其他方法？
有冇方法知轉左frame未

:^(

五河琴里 2020-11-26 08:06:32 唔用soup？

LouisSlotin 2020-11-26 08:12:05 aastock用soup拎會方便啲

早撈湯丸 2020-11-26 08:13:07 此回覆已被刪除

Tyuiop 2020-11-26 08:20:10 你係咪得閒寫code? 你搵我啦Tg@ivan1028

無糖零可樂 2020-11-26 09:11:35 之前睇其他人推薦用salenium

:^(

無糖零可樂 2020-11-26 09:12:47 可以做到模擬登入同要唔要轉frame?

:^(

無糖零可樂 2020-11-26 09:13:40 就係用緊salenium 呀

:^(

無糖零可樂 2020-11-26 09:14:24

:^(

有野好介紹?

711 2020-11-26 09:18:32 其實你自己都搵到個問題
好多網站都block左headless既request
你可以Google下有d方法可以workaround

無糖零可樂 2020-11-26 09:26:02 因為我係先轉左一次frame
之後就模擬左click
然後再轉多一次frame
去做輸入
而個問題就係第二次轉frame做輸入個到出現
所以我覺得唔係block headless方面
似係轉frame個邊有問題
但正常模式下又可以轉到frame
咁先係最奇怪

勇武condom 2020-11-26 09:30:06 個網係咪有resizing 之類嘅設計

:^(

一縮細咗就走埋啲elements

無糖零可樂 2020-11-26 09:34:39 我都諗緊會唔會係呢個問題

:^(

上網有D話set 個大細就得

無糖零可樂 2020-11-26 10:00:47 又成功解決個問題
原來真係大細既問題

:^(

Tyuiop 2020-11-26 11:37:22 Yes

無糖零可樂 2020-11-26 11:53:21 有咩介紹?

:^(

五河琴里 2020-11-26 13:05:54 個人覺得selenium係最後手段
慢得嚟又要控制點click啲掣等佢load
被人ban crawling而個網係唯一來源先會考慮