發覺好多人對Data Analyst有錯誤幻想
Flinty 2022-5-3 13:14:50 What is AV system?

Ads

Flinty 2022-5-3 13:18:40 依加多唔多人用Koalas 同 分析unstructured data?

最近學緊點樣用rioxarray 起Databricks 分析衛星data。

同埋依加DE興唔興Cloud 同 DataOps?

(想入行Cloud DE)
Flinty 2022-5-3 13:21:03 巴打
:^(
勸你唔好學。azureml廢

你極其量只會call佢build好左既ml algo,但你唔會走去call azureml 去train。

你更加唔好去azure ml studio 搞model
:^(
Flinty 2022-5-3 13:23:31 但StackOverFlow 人工調查顯示De係全部IT工種 人工最高
Flinty 2022-5-3 13:28:31 又吹奏Kaggle
:^(


如果現實中啲data quality有Kaggle 8成,我跟你姓。

Kaggle垃圾黎。大把人copy & paste啲code
Flinty 2022-5-3 13:32:20 Pyspark RDD based其實都開始落後。我見堆Founders 依加搞緊Koalas去replace Pandas。

Machine Learning方面 有MLLib。個性能比傳統lib強好多,只係function無sklearn咁多。

但如果data量超大,真係要學。

仲有可以handle好多data types。Paraquet去replace CSV個啲..
FuckPandas 2022-5-3 14:40:33 我冇話香港同外國有唔同, 我只係講左data scientist佔左7-8成時間執data
:^(
Acropolis 2022-5-3 16:12:02 但公司用緊Azure
:^(


我都係諗住train完dup完份script掟上去算
:^(
Flinty 2022-5-3 16:24:14 你千其唔好
:^(
上載公司野 犯法
Flinty 2022-5-3 16:26:57 你公司用緊Azure,但你極其量都係用佢個Azure Data Factory, Azure Synapse, CosmosDB, Blob Storage, Azure Data Lake Gen2 姐。

Azure ML真係無人用。佢個Azure ML直情係未開發完善。你用sklearn, TensorFlow, PyTorch 依啲 就夠。
Acropolis 2022-5-3 16:30:39 唔係啊
係老細要我將成個MLOPs搬上azure ML
:^(

Ads

毒留在家中 2022-5-3 16:32:17 依家香港好少公司搞unstructured data, 仲係起步
Cloud依家好興,好多公司都搬緊啲野上去,next step應該就係devops/ MLOps果啲
毒留在家中 2022-5-3 16:32:56 無check, 但之前睇其他article好似DS高啲
毒留在家中 2022-5-3 16:35:27 有時佢好clean但暗藏殺機
記得有個predict power consumption, the data looks so clean
但最後啲人drill down先發現啲data from different timezone and not mentioned
當然仲有好多其他野,例如labeling not align
無你諗到咁clean
Acropolis 2022-5-3 16:37:59 普通research自己collect嘅細規模data剩係cleaning都有排做
莫講話kaggle個啲十幾-百幾gb隨時要用hadoop去清
:^(
蜥蜴人 2022-5-3 16:39:06 度度都3年經 冇得入行撚有經咩
Flinty 2022-5-3 16:56:56
:^(
:^(
你老細咁玩人既?

但套野真係未寫好喎。個azure ml community 又細

MLOps MLLib 都做到,仲要多人用,啲function update 多過azure ml
何詩蓓 2022-5-3 17:28:11 exact7ly
搵唔到工啊啊啊
:^(
:^(
:^(
:^(
真的興奮 2022-5-3 18:48:47 講真 ML AWS唯一選擇
:^(
:^(
:^(
:^(
さざなみ 2022-5-3 19:00:03 厭惡性工作當然人工高
諗下好啦 2022-5-3 19:50:55 咩係rpa?

Ads

神之守護者 2022-5-3 20:37:27 Robitic processing automation
即係uipath
何詩蓓 2022-5-3 20:42:32 好唔好pay
:^(
星神族 2022-5-3 20:51:37 career path會唔會冇咁好
:^(
傻豹 2022-5-3 21:11:26 好少可連登既post有咁多認真討論

以前做開in house data既工
離唔開做reporting見到d trend升升跌跌
然後based on data/ business behaviour 建議改善方法
都係同business好緊扣
我會話6成business knowledge 理解
4成technical knowledge

然後去到而家份工專做in house data projects
幫in house users砌d dashboard出離
唔需要對business knowledge 有太多認知
淨係align完user requirements 砌完個dashboard 就搞掂
同business脫哂節
然後team head就好自high咁覺得整左好多value added既野
:^(