显卡贵的离谱
你先试试哈哈
兄啊，你是来幽默的吗？
能，20年后的CPU
可以，CPU+Mem 速度还行
赶紧搞个学术版的，可以轻松在cpu跑，要不这么好的东西眼巴巴看着用不了，下载模型都费劲
除了Llama falcon 还有其他好用的70 - 180B之间的模型吗
我用CPU跑了，1280GB的内存消耗，推理一次一个小时。
用带统一内存的cpu跑速度会快不少
· Sign up or log in to comment
