話說最近真係將self hosted AI帶入工作上
上一頁
第 4 頁
下一頁
飄移巴士
2024-11-23 17:37:18
留明得閑玩下
Ads
六環彩大師
2024-11-23 17:53:23
係meta 佢分開llama-instrcut 同codellama
llama-instruct係問問題gen code 同鳩噏
codellama 係tab suggestion, 個call叫fill in the middle (FIM).
六環彩大師
2024-11-23 18:01:20
你用twinny, continue 定其他
六環彩大師
2024-11-23 18:02:04
我好日都唔上下軟件台都嚇親
debugger;
2024-11-23 18:10:00
連登係咁，個個鐘意做another brick in the wall，唔好搞咁多野
:^(
六環彩大師
2024-11-23 18:14:13
良氣風氣由我地創造去改變返佢地
六環彩大師
2024-11-23 18:14:51
可以唔洗call 出街
攞黎寫in house doc 都唔驚leak出街
全倉NVDA
2024-11-23 18:15:47
FIM 呢種未試過
之後再試下
鎂光燈下
2024-11-23 18:17:34
open source嚟講qwen真係好用
:^(
不過連登就一定話垃圾
:^(
:^(
debugger;
2024-11-23 18:19:04
一個普通連登仔會覺得open source野都可以監控佢既
:^(
鎂光燈下
2024-11-23 18:23:14
其實都係睇咩卡同用咩model
4070ti flux s gguf 4steps幾秒出一張都得
:^(
Ads
極北鷲
2024-11-23 18:25:36
我得返張3060 Ti (8GB) 可以用黎行gen圖
:^(
我諗我都係用sdxl算
鎂光燈下
2024-11-23 18:30:42
:^(
得意治羊腸
2024-11-23 18:49:03
local llm 30B樓下都係垃圾
除非你fine tuned on特定task/domain knowledge
否則正正經經call chatgpt api好過
呢加有4o-mini真係玩爛市
:^(
而且openai自己都support fine tune
大棍巴
2024-11-23 18:49:14
Open-source 又唔等於一定安全，亦不一定個個有能力自己去audit啲code(而家你可以用LLM)。
但self-hosted就可以完全自己check佢啲network activity，或者鎖佢做VPN/LAN-only。
我覺得對共剷黨嘢有戒心係應該，但要明白箇中原理，唔好因為不必要嘅原因而喪失可利用嘅資源。哩方面中國佬做得好好多，幾憎美國佬都好，唔會逢美必ban來懲罰自己。
debugger;
2024-11-23 18:52:05
open source + self host冇理由屌啦咁
:^(
:^(
唔SiCk輸
2024-11-23 18:53:44
open source LLM 其實有咩問題
:^(
唔SiCk輸
2024-11-23 18:54:29
:^(
佢講完你都唔明
唔係用唔用到問題
係安全問題
唔SiCk輸
2024-11-23 18:57:01
其實唔關係咪IT事
成個香港都係咁
香港人就係有種否定自己人嘅性格
:^(
釣魚翁
2024-11-23 19:05:06
自己host 嘢都係自娛享受過程
帶返公司就多咗
況且正常公司唔會畀咁做
連公海host 嘅基本上都要禁
啲人淨係用嚟做翻譯同文章生成都已經將公司啲內部資料送晒出海
諸如此類
2024-11-23 19:08:01
downloadable weight唔等於 open source
你要有堆training data, training methodology, the model architecture, the code to train先係open source
試問你download左隻game,想改下入面嘅code,但係你手上得個exe file, 你點樣改？
根本唔可以同其他open source project比較，你只可以信alibaba冇加料係堆weight 入面
Ads
兼職陰陽師
2024-11-23 20:46:00
咁驚擺隻opnsense mon住啲traffic囉
:^(
大棍巴
2024-11-23 20:59:35
有興趣可以望下哩個post，裏邊提及嘅sabotage 其實都唔係冇可能，但未至於要到一般用家去擔心。自己用加個air gap就好安全。
https://www.reddit.com/r/LocalLLaMA/s/pAtGDa7mNZ
公司用就自己evaluate 。
只能講到頭來唔應該信哂LLM俾嘅output，自己睇路。
渣野渣野
2024-11-23 21:02:17
請問俾用copilot有啲乜嘢好處，係唔係淨係唔使畀錢
諸如此類
2024-11-23 21:16:53
咁樣係重複緊90年代嘅freeware vs antivirus, 例如QQ vs 360 安全衛士
我覺得LLM重係唔太成熟，千祈唔好同依家open source嘅standard比較
上一頁
第 4 頁
下一頁