IT界討論區(72) 1001開Post喇喂
唔係咁的 2019-11-29 00:21:54
:^(

Ads

IT狗呃飯食 2019-11-29 01:11:58
:^(
H07252 2019-11-29 06:12:45 我都係用cloud

aws
hot data :redshift / rds
cold data : s3
再cold data: s3 glacier

cloud 唔駛諗ram
但data 一多performance 差 都係要solve
不過都係data 搬黎搬去
H07252 2019-11-29 06:16:02 2 同 5 你肯問
我都己經好欣慰

宜家仲係好多人以為streaming = video streaming

都唔知點in 人
CapaCitor 2019-11-29 07:45:28
你間公司做data要開live嫁?
:^(
:^(
:^(
H07252 2019-11-29 07:47:26 cv 寫data streaming
見工間唔中俾人問呢d 係咪video streaming
唔係咁的 2019-11-29 08:34:09
:^(
春日一番 2019-11-29 08:56:40 正常都等埋B仔加人工先走
IT狗呃飯食 2019-11-29 09:02:24 啲人唔等埋B仔
自己諗點解
H07252 2019-11-29 09:07:43 我真係無等b 仔
:^(

預左唔會多過2 months

我剩係睇base increment
唔係咁的 2019-11-29 09:27:49
:^(

Ads

春日一番 2019-11-29 09:35:40 8,9月都唔會等
11月尾12月就會
嘴遁師青花 2019-11-29 09:38:44 其實求其玩下algo trade已經係data streaming啦
手一黏便緊(UTC+9 2019-11-29 09:43:53 我之前是在startup打工的,而我data size>ram的原則是:
「幹你娘買爆」
沒錯,就是幹你娘買爆,老子才不管甚麼公司成本三小的,每次買的ram就是姬芭一大包。8GB買成
16GB,16GB買成64GB。64GB買一送一,跟把整個高登的ram全買回來沒兩樣。

我還記得,我那個月上班25天,經理跑來跟我說,這個月ram買了26TB,你有頭緒嗎?

我他媽的怎麼會知道。
手一黏便緊(UTC+9 2019-11-29 09:44:35 咁原來我上一份工有data streaming
:^(
嘴遁師青花 2019-11-29 09:48:00 寫落CV
H07252 2019-11-29 10:04:53 計moving average etc technical indicator都算架
:^(
長崎失眠 2019-11-29 10:07:00 是咪係cloud 開vm auto scale 自動係咁加ram
:^(




捉到戰犯了
:^(
嘴遁師青花 2019-11-29 10:11:24 長開住個24TB worker, scale乜鬼野
CapaCitor 2019-11-29 10:24:34 做野workers加埋得32GB
但data成100GB
如果做有full data dependency 既algo就pk了
嘴遁師青花 2019-11-29 10:32:44 HDFS
將Set data按key拆件
parquet

Ads

CapaCitor 2019-11-29 10:39:48 咁唔係用.cache一樣?
只不過今次係hdd同ram分別
但我要每行data都對全部data計數
點都run爆
:^(
嘴遁師青花 2019-11-29 10:41:10 mem map
手一黏便緊(UTC+9 2019-11-29 11:19:18 Update左iPad Microsoft Remote Desktop 有retina support
:^(
王傑 2019-11-29 11:50:12 Fg
For reference
我2019新年後搵工 基本上apply得都有得in
Apply左廿份左右 搵到工

你cv好白?