全球主机交流论坛

标题: 有没有老哥用vps玩ollama的？ [打印本页]

作者: NaCl 时间: 2024-4-21 19:02
标题: 有没有老哥用vps玩ollama的？
感觉小鸡根本跑不动，4u8g，有没有最低配或者哪家机器推荐嘛

作者: Eureka 时间: 2024-4-21 19:11
rs1000跑llama3，CPU满载，内存只用了3G不到，短板不知道是不是CPU。

作者: gabn 时间: 2024-4-21 19:13
这玩意不是要显存吗，你去专业卖的地方去买，普通vps肯定不行的

作者: Eureka 时间: 2024-4-21 19:13
单路3090跑70B的llama2，回答不流畅，显存23/24。三路3090跑70B的llama2：chat，回答很流畅，每张显存13/24

作者: 801N 时间: 2024-4-21 19:13
要显卡吧

作者: Eureka 时间: 2024-4-21 19:14
另外，rs1000跑7B，8B模型，速度还是完全可以接受的

作者: xy3666 时间: 2024-5-18 00:07
准备试试跑llama3

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)