全球主机交流论坛

标题: [教程] 一键部署本地的开源的大语言模型 [打印本页]

作者: julie 时间: 2024-3-1 17:10
标题: [教程] 一键部署本地的开源的大语言模型
利用Ollama 可以在本地部署大语言模型.

优点: 免费, 开源, 可玩性高, 记录在本地不上传, 模型有Un**ed版 (可以违反伦理道德的), 等等.

缺点: 回答质量不如chatgpt.

步骤:

1. 安装Ollama: curl -fsSL https://ollama.com/install.sh | sh

2. 下载一个语言模型, 比如llama2: ollama pull llama2

测试:

curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'

更多的语言库: ollama.com/library

作者: larry 时间: 2024-3-1 17:19
回答质量比较chatgpt 3.5如何？

作者: keepway 时间: 2024-3-1 17:27
机器配置需要什么条件

作者: julie 时间: 2024-3-1 17:35

larry 发表于 2024-3-1 17:19
回答质量比较chatgpt 3.5如何？

有很多语言库, 要是只看llama2:70b的话, 我觉得一般的用途还可以, 但是仍然比不上tgpt 3.5. 你可以自己部署一下试试.

作者: 刘备 时间: 2024-3-1 17:37
在线版本https://huggingface.co/chat/

作者: julie 时间: 2024-3-1 17:38

keepway 发表于 2024-3-1 17:27
机器配置需要什么条件

一般的家用电脑就可以了.

作者: scheme 时间: 2024-3-1 17:41
需要gpu 么？

作者: julie 时间: 2024-3-4 12:45
我又换了一个模型, 用的是MegaDolphin-2.2-120b. 发现回答的质量很高. 感觉比gpt-4还好. 当然这只是我个人的感觉.

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)