話說最近真係將self hosted AI帶入工作上
上一頁
第 10 頁
下一頁
uraura
2024-12-31 00:18:39
啲公司未必想 d data send 去 3rd party
Ads
Ad
10蚊跟機
2024-12-31 10:58:35
https://www.newmobilelife.com/2024/12/31/nvidia-chat-with-rtx-download/
NVIDIA 最近推出免費下載的技術展示工具「Chat with RTX」,首次將基於 NVIDIA RTX 的生成式人工智能引入本地 Windows PC,實現快速、定制化的聊天機器人體驗。
本地生成式 AI 的技術突破
Chat with RTX 使用 NVIDIA TensorRT-LLM 軟件和 RTX 加速技術,結合檔案檢索增強生成(RAG),讓用戶在本地 PC 上運行生成式人工智能應用。只需一張 GeForce RTX 30 系列或更高型號的顯示卡,且配備至少 8GB 的顯示記憶體(VRAM),即可啟用這一功能。
極北鷲
2024-12-31 11:11:03
之前去華碩個AI event試過下, 似係現成software既wrapper黎
冇咩亮點 唔知而家仲係唔係咁
2015
2024-12-31 14:48:42
是, 只係wrapper 幫你download model 同 run in UI
但你都識玩到自己host, 仲洗鬼靠佢個wrapper
Butters_Stotch
2024-12-31 14:57:18
Docker host Openwebui n8n
Free API key:
X-ai US$25 credit per month
Self host G4F
Deepseek-for-free
已經滿足大部分工作須要
全倉NVDA
2024-12-31 16:09:00
google gemini 都會用你 data
啲人都根本無理過
得openai有得簡唔比佢train
大棍巴
2024-12-31 16:25:02
到頭來都係講個信字,比得佢地access到,都唔好諗住有咩data security可言。
有錢唔係罪
2025-1-1 03:35:06
其實VPN已經可以用ChatGPT 4o
唔明樓主點解要搞咁多嘢
大棍巴
2025-1-7 12:53:30
https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
128GB unified memory,好似好勁
:^(
先至3000USD
極北鷲
2025-1-7 13:48:30
佢vram 速度同apple機差幾多?
:^(
渣野渣野
2025-1-7 13:58:48
好似好正, 不過香港一定買唔到
diu 好想要
Ads
美股價值分析師
2025-1-7 13:59:11
唔明但好似好勁
江之島
2025-1-7 14:05:45
on 撚9 ,邊有人打工好似你咁撚白痴自己貼埋錢架
你以為自己好專業咩? sor9ry, 其他人冇人會理你點做, 你IT狗個project 幾時用得呀?
大棍巴
2025-1-7 14:24:03
未講,用LPDDR5X, 希望有500GB/s
SV650S
2025-1-7 14:29:43
:^(
:^(
極北鷲
2025-1-7 14:48:04
仲有一點係,新野support fp4
我唔熟 但好似話可以再進一步降vram usage
:^(
:^(
度量衡
2025-1-8 13:15:34
自己host 可以去到邊個version ?
大棍巴
2025-1-20 21:48:17
Deepseek R1好似好勁,至少個價真係做爛OpenAI個市
:^(
https://www.reddit.com/r/LocalLLaMA/s/SEYSqsJLQB
大棍巴
2025-1-20 23:00:32
:^(
大棍巴
2025-1-20 23:43:29
https://www.reddit.com/r/LocalLLaMA/comments/1i5s74x/deepseekr1_ggufs_all_distilled_2_to_16bit_ggufs/?share_id=YVtSOsWGQ4QHreJX_oe1x
Ho L din
:^(
:^(
極北鷲
2025-1-21 10:54:22
等佢出coding fine tune版
:^(
Ads
大棍巴
2025-1-21 11:37:16
可以睇下佢 distilled Qwen Aider leaderboard之後點,我估已經會幾勁
:^(
大棍巴
2025-1-21 11:39:12
R1已經好接近o1
:^(
:^(
生活在哈比村
2025-1-21 16:24:28
其實ROI黎講值唔值,至少幾千USD先run到咁上下大既model,仲可能慢
Call api based on usage 先幾十USD / month
香港生果日報
2025-1-21 17:41:53
工作實際上有咩作用?
利伸:完全唔信
上一頁
第 10 頁
下一頁