跳转到内容

kotaemon

An open-source RAG-based tool for chatting with your documents.

一个基于 RAG 的开源工具,可用于与您的文档聊天。

github: https://github.com/Cinnamon/kotaemon

官网:https://cinnamon.github.io/kotaemon/

windows部署

bash
git clone https://github.com/Cinnamon/kotaemon.git

cd kotaemon

使用uv虚拟环境:

uv venv

激活环境:

.venv\Scripts\activate

python -V

根据pyproject.toml会默认安装3.10.16的python版本。

安装依赖:

uv pip install -e "libs/kotaemon[all]"

uv pip install -e "libs/ktem"

复制.env.example为.env

准备好ollama和embedding模型,这里使用 gemma3:4b nomic-embed-text

根据需要更改.env中的配置:

# LOCAL_MODEL=qwen2.5:7b

LOCAL_MODEL=gemma3:4b

可选操作,浏览器查看pdf的插件:

下载:pdfjs-4.0.379-dist.zip

将其解压到:

kotaemon\libs\ktem\ktem\assets\prebuilt

启动:

python app.py

默认账号密码:admin

进入后可以设置中文。

浏览器访问:http://127.0.0.1:7860/

安装依赖过程可能遇到的问题。

比如windows下llama-cpp-python安装报错。

重现:

bash
uv pip install llama-cpp-python==0.2.7

解决办法:下载编译好的whl包,然后本地pip安装。

whl包:https://github.com/abetlen/llama-cpp-python/releases

找到对应的平台版本,比如windows,py3.10.16,amd64,然后下载安装:

bash
uv pip install llama_cpp_python-0.3.4-cp310-cp310-win_amd64.whl

必须加uv前缀,否则pip不一定是uv虚拟环境下的pip。

然后注释掉libs/kotaemon/pyproject.toml中的llama-cpp-python依赖。

重新执行uv pip install -e "libs/kotaemon[all]"即可。

以上是windows下的部署过程记录。MacOS和linux有些不同。

windows使用总结

windows下一上传文件index就报错了。原因未知,可能是对windows支持并不太好,可能是ollama模型运行的问题。