LIHKG 話說最近真係將self hosted AI帶入工作上
uraura 2024-12-31 00:18:39 啲公司未必想 d data send 去 3rd party

Ads

10蚊跟機 2024-12-31 10:58:35 https://www.newmobilelife.com/2024/12/31/nvidia-chat-with-rtx-download/

NVIDIA 最近推出免費下載的技術展示工具「Chat with RTX」,首次將基於 NVIDIA RTX 的生成式人工智能引入本地 Windows PC,實現快速、定制化的聊天機器人體驗。

本地生成式 AI 的技術突破
Chat with RTX 使用 NVIDIA TensorRT-LLM 軟件和 RTX 加速技術,結合檔案檢索增強生成(RAG),讓用戶在本地 PC 上運行生成式人工智能應用。只需一張 GeForce RTX 30 系列或更高型號的顯示卡,且配備至少 8GB 的顯示記憶體(VRAM),即可啟用這一功能。
極北鷲 2024-12-31 11:11:03 之前去華碩個AI event試過下, 似係現成software既wrapper黎
冇咩亮點 唔知而家仲係唔係咁
2015 2024-12-31 14:48:42 是, 只係wrapper 幫你download model 同 run in UI
但你都識玩到自己host, 仲洗鬼靠佢個wrapper
Butters_Stotch 2024-12-31 14:57:18 Docker host Openwebui n8n

Free API key:
X-ai US$25 credit per month
Self host G4F
Deepseek-for-free

已經滿足大部分工作須要
全倉NVDA 2024-12-31 16:09:00 google gemini 都會用你 data
啲人都根本無理過
得openai有得簡唔比佢train
大棍巴 2024-12-31 16:25:02 到頭來都係講個信字,比得佢地access到,都唔好諗住有咩data security可言。
有錢唔係罪 2025-1-1 03:35:06 其實VPN已經可以用ChatGPT 4o
唔明樓主點解要搞咁多嘢
大棍巴 2025-1-7 12:53:30 https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips

128GB unified memory,好似好勁
:^(

先至3000USD
極北鷲 2025-1-7 13:48:30 佢vram 速度同apple機差幾多?
:^(
渣野渣野 2025-1-7 13:58:48 好似好正, 不過香港一定買唔到
diu 好想要

Ads

美股價值分析師 2025-1-7 13:59:11 唔明但好似好勁
江之島 2025-1-7 14:05:45 on 撚9 ,邊有人打工好似你咁撚白痴自己貼埋錢架

你以為自己好專業咩? sor9ry, 其他人冇人會理你點做, 你IT狗個project 幾時用得呀?
大棍巴 2025-1-7 14:24:03 未講,用LPDDR5X, 希望有500GB/s
SV650S 2025-1-7 14:29:43
:^(
:^(
極北鷲 2025-1-7 14:48:04 仲有一點係,新野support fp4
我唔熟 但好似話可以再進一步降vram usage
:^(
:^(
度量衡 2025-1-8 13:15:34 自己host 可以去到邊個version ?
大棍巴 2025-1-20 21:48:17 Deepseek R1好似好勁,至少個價真係做爛OpenAI個市
:^(

https://www.reddit.com/r/LocalLLaMA/s/SEYSqsJLQB
大棍巴 2025-1-20 23:00:32
:^(
大棍巴 2025-1-20 23:43:29 https://www.reddit.com/r/LocalLLaMA/comments/1i5s74x/deepseekr1_ggufs_all_distilled_2_to_16bit_ggufs/?share_id=YVtSOsWGQ4QHreJX_oe1x

Ho L din
:^(

:^(
極北鷲 2025-1-21 10:54:22 等佢出coding fine tune版
:^(

Ads

大棍巴 2025-1-21 11:37:16 可以睇下佢 distilled Qwen Aider leaderboard之後點,我估已經會幾勁
:^(
大棍巴 2025-1-21 11:39:12 R1已經好接近o1
:^(

:^(
生活在哈比村 2025-1-21 16:24:28 其實ROI黎講值唔值,至少幾千USD先run到咁上下大既model,仲可能慢

Call api based on usage 先幾十USD / month
香港生果日報 2025-1-21 17:41:53 工作實際上有咩作用?

利伸:完全唔信