Ollma使用
Ollama部署
官网：
用于本地测试LLM的奇妙工具，无需繁琐操作。在你的计算机上运行的模型限制较少（由于OpenAI及其他公司施加的审查），是私有的（你的信息不会离开设备），而且是免费的。试试Gemma或Llama的最新版本，它们的精简版本很强大。 Ollama的完美补充是一个可以通过浏览器连接模型的插件。
ollama默认在github下载，github大文件，很多代理无法下载，国内下载方式：
windows安装包：
https://ollama.cn.uptodown.com/windows
命令行方式：
bash
curl -fsSL https://aliendao.cn/ollama/install.sh | sh以windows下的使用做记录。
安装完直接打开cmd/powershell就能使用：
ps
ollama run modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct-GGUF
ollama run modelscope.cn/Qwen/Qwen2.5-7B-Instruct-GGUF:q4_k_m安装完成后会自动启动ollama，查看右下角图标可以看到；如果没有启动，命令行也可以启动，打开cmd：
ps
ollama serve查看本地模型：
ps
ollama list运行模型：
ps
ollama run modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct-GGUF:q5_k_m删除模型：
ps
ollama rm modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct-GGUF:q5_k_m测试ollama是否已经启动，可以检测api：
ps
默认：
curl http://127.0.0.1:11434/api/tags
修改了ip：
curl http://192.168.12.104:11434/api/tags通过环境变量更改ollama服务的ip和端口，设置OLLAMA_HOST=http://192.168.12.104:11434
配合open-webui
提示
配置比较麻烦，不推荐使用。
如果只是想用做chatbox，不如直接用dify。dify的部署与制作chatbox都比较简单、顺畅。
但dify也并不方便，最方便的其实是现成的客户端，很多都直接支持ollama。
或者，直接使用ollama的替代品，LM studio，本身集成了客户端和知识库RAG。
官网：https://github.com/open-webui/open-webui/
上面就有教程，总结：
ps
截止目前2025.2月份，python最好是使用3.11系列，使用conda等虚拟机环境工具。
conda create -n open-webui python=3.11.11
conda activate open-webui
open-webui serve --host 192.168.12.104 --port 5566
http://192.168.12.104:5566/可能碰到的问题：首页空白，加载很久才会出现内容。有人讨论过：https://github.com/open-webui/open-webui/discussions/3702
解决：最终靠这个变量搞定。设置环境变量AIOHTTP_CLIENT_TIMEOUT_OPENAI_MODEL_LIST=1
效果是等待一秒就不再等待了。默认要等好久，可以说是bug。
其他环境变量也可以设置，比如地址、密钥等。
安装完，包文件一般在类似这种路径：C:\miniforge3\envs\open-webui\Lib\site-packages\open_webui
可以查看源码，或者可以自己修改源码。
以上设置好了以后，进去网站设置修改一些配置项，开启ollama本地模型，就可以在聊天对话窗口里选择本地模型了。
通过兼容openai的api也可以使用。
如果是服务器linux/mac，应该推荐使用docker方式安装ollama和open-webui。