兄弟们玩酒馆都是用的什么API呀

295362116B

我之前用的都是哈几米，但是现在智商越来越低了，而且最近破限写瑟瑟也越来越难嘞。
deepseek，还行就是有点贵，怀念当初的优惠价。
话说有没有大佬说说克劳德和grok，什么情况。
玩酒馆只玩瑟瑟。

xlbj

我用的是本地部署的Qwen3.6-35B-A3B-IQ2_M，本地好处就是免费和无审核，随便破。就是玩个十几轮就得进行强行引导，不然就是记忆混乱。

zg_llc

玩的tavo，deep是贵，还没找到替代

long77159

xlbj 发表于 2026-10-11 13:33
我用的是本地部署的Qwen3.6-35B-A3B-IQ2_M，本地好处就是免费和无审核，随便破。就是玩个十几轮就得进行强 ...

能不能出个教程

xlbj

long77159 发表于 2026-10-11 18:55
能不能出个教程

教程你可以去AI技术讨论找到123325到大佬的【本地部署·彻底破限】最强越狱大模型合集+保姆级教程 这个帖子，里面包括模型和应用都有，SillyTavern酒馆我嫌麻烦都是直接让豆包帮我安装的，

2548100301

gemini还行呀，建议用3.7flash。grok一坨，不相干。claude很好用但是很贵

闪电马保国

arytekSI/Qwen3.8-Flash-Next-Abliterated-GSQ-RCO-IQ3_XXS-Calibrated-GGUF, 用strata

weikk11

闪电马保国 发表于 2026-10-25 17:09
arytekSI/Qwen3.8-Flash-Next-Abliterated-GSQ-RCO-IQ3_XXS-Calibrated-GGUF, 用strata

大佬大佬，这个大概需要多少显存和内存会好一些呢？我现在用的这个SC117-Qwen3.8-Flash-Next-IQ2_XS，会雷霆大思考，让它写个2000字的小短文测试，开low推理要12分钟，不开反而更长，可能是模型内置了推理部分，我不太确定啊，我现在是5070ti-16g+32g内存

闪电马保国

weikk11 发表于 2026-11-3 17:34
大佬大佬，这个大概需要多少显存和内存会好一些呢？我现在用的这个SC117-Qwen3.8-Flash-Next-IQ2_XS，会 ...

SC117/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF
换这个试试 swift 1.5 调过思考的

闪电马保国

weikk11 发表于 2026-11-3 17:34
大佬大佬，这个大概需要多少显存和内存会好一些呢？我现在用的这个SC117-Qwen3.8-Flash-Next-IQ2_XS，会 ...

strata比较吃内存和pcie带宽, 32G用35b的还是比较舒服, 太大的有点勉强, 另外如果想多轮会话用的舒服就要开会话缓存, args加参数:

"--resident-experts",
"--conversation-cache-mib",
"4096",
"--conversation-cache-slots",
"4",
"--conversation-cache-min-free-mib",
"1024",
"--prompt-cache-every",
"1024"


会提升点缓存命中,代价是多吃点内存, 32G的内存第2个或者第3个参数可以调一下, 另外kv可以试试k8v4, 也能余点内存出来

weikk11

闪电马保国 发表于 2026-11-4 23:24
strata比较吃内存和pcie带宽, 32G用35b的还是比较舒服, 太大的有点勉强, 另外如果想多轮会话用的舒服就要 ...

感谢大佬，这两天没时间，明天出差回来我试一下