From 9beb668d3586595e22acaaf386dc1cee65d7ee5e Mon Sep 17 00:00:00 2001
From: Soulter <905617992@qq.com>
Date: Sun, 4 Aug 2024 13:46:52 +0800
Subject: [PATCH] update: ollama

---
 ...55\350\250\200\346\250\241\345\236\213.md" | 28 +++++++++++++++++++
 1 file changed, 28 insertions(+)

diff --git "a/docs/\345\274\200\345\247\213\344\270\212\346\211\213/\345\244\247\350\257\255\350\250\200\346\250\241\345\236\213.md" "b/docs/\345\274\200\345\247\213\344\270\212\346\211\213/\345\244\247\350\257\255\350\250\200\346\250\241\345\236\213.md"
index 6b94f3e..9cb76f0 100644
--- "a/docs/\345\274\200\345\247\213\344\270\212\346\211\213/\345\244\247\350\257\255\350\250\200\346\250\241\345\236\213.md"
+++ "b/docs/\345\274\200\345\247\213\344\270\212\346\211\213/\345\244\247\350\257\255\350\250\200\346\250\241\345\236\213.md"
@@ -77,6 +77,34 @@ https://github.com/chatanywhere/GPT_API_free
 
 在保存并且 AstrBot 重启成功后，你可以在任何一个支持聊天的地方与其对话来测试是否接入成功。
 
+### 使用自部署的 Ollama 接入
+
+[Ollama](https://ollama.com) 是一个用来运行 LLM 的工具，用于简化在本地运行大语言模型，降低大语言模型使用门槛。它支持部署众多开源 LLM，如 Llama3、Qwen2、Phi3、Gemma2 等。
+
+Ollama 部分兼容 OpenAI API，因此可以很方便地将部分能力接入到 AstrBot。
+
+:::tip
+Ollama 官网提到其对 OpenAI 的兼容性是实验性的，可能会有重大调整。因此在未来的版本中，AstrBot 将会直接支持 Ollama 的 Python 库以充分发挥其能力。
+:::
+
+要应用 Ollama，你需要先在本机部署 Ollama。部署方式非常简单，先前往[官方页面](https://ollama.com)下载 Ollama，待安装完成后，打开终端输入 `ollama run <你想运行的LLM>` 即可。支持的 LLM 请在其官网搜索。
+
+
+:::tip
+请留意你的机器配置是否能运行你想运行的模型。如果你仅想在花费最少的性能下快速部署，可以尝试小模型 `phi`，它是由 Microsoft Research 开发的具有 27 亿个参数的 SLM。仅 1.7 GB 大小。你可以输入 `ollama run phi` 运行。
+:::
+
+在下载模型成功后，会自动开放 `11434` 端口。你可以浏览器打开 `http://localhost:11434` 查看是否正常运行。正常情况下，会提示 `ollama is running`。
+
+然后修改 AstrBot 中的：
+
+- OpenAI API Key: `ollama`
+- OpenAI 节点地址：`http://localhost:11434/v1`
+- OpenAI 模型名称：`<你部署的模型名，如 llama3>`
+
+:::caution
+如果你是在公网服务器上运行的 Ollama，并且 AstrBot 与 Ollama 不运行在同一台机器下，可以将 `localhost` 更改为你的公网地址。如果是国内的云厂商，可能还需开放 11434 端口。若开放，请留意接口不被黑客滥用。
+:::
 
 ## LLMS 插件