Releases: labring/FastGPT
V4.9.0-fix
V4.9.0
👀 新功能预览
PDF 增强
开启PDF增强 | 原文 | 解析结果 |
---|---|---|
![]() |
![]() |
![]() |
兼容 & 弃用
- 弃用 - 之前私有化部署的自定义文件解析方案,请同步更新到最新的配置方案。点击查看 PDF 增强解析配置
- 弃用 - 弃用旧版本地文件上传 API:/api/core/dataset/collection/create/file(以前仅商业版可用的 API,该接口已放切换成:/api/core/dataset/collection/create/localFile)
- 停止维护,即将弃用 - 外部文件库相关 API,可通过 API 文件库替代。
- API更新 - 上传文件至知识库、创建连接集合、API 文件库、推送分块数据等带有
trainingType
字段的接口,trainingType
字段未来仅支持chunk
和QA
两种模式。增强索引模式将设置单独字段:autoIndexes
,目前仍有适配旧版trainingType=auto
代码,但请尽快变更成新接口类型。具体可见:知识库 OpenAPI 文档
🚀 新增内容
- PDF增强解析交互添加到页面上。同时内嵌 Doc2x 服务,可直接使用 Doc2x 服务解析 PDF 文件。 @c121914yu
- 图片自动标注,同时修改知识库文件上传部分数据逻辑和交互。 @c121914yu
- pg vector 插件升级 0.8.0 版本,引入迭代搜索,减少部分数据无法被检索的情况。 @c121914yu
- Qwen-qwq 模型预设。 @c121914yu
⚙️ 优化
- 知识库数据不再限制索引数量,可无限自定义。同时可自动更新输入文本的索引,不影响自定义索引。@c121914yu
- Markdown 解析,增加链接后中文标点符号检测,增加空格。@c121914yu
- Prompt 模式工具调用,支持思考模型。同时优化其格式检测,减少空输出的概率。@c121914yu
- Mongo 文件读取流合并,减少计算量。同时优化存储 chunks,极大提高大文件读取速度。50M PDF 读取时间提高 3 倍。 @lgphone
- HTTP Body 适配,增加对字符串对象的适配。 @c121914yu
🐛 修复
- 增加网页抓取安全链接校验。 @L0nm4r
- 批量运行时,全局变量未进一步传递到下一次运行中,导致最终变量更新错误。 @newfish-cmyk
更新指南
1. 做好数据库备份
2. 更新镜像
- 更新 FastGPT 镜像 tag: v4.9.0
- 更新 FastGPT 商业版镜像 tag: v4.9.0
- Sandbox 镜像,可以不更新
3. 替换 OneAPI(可选)
如果需要使用 AI Proxy 替换 OneAPI 的用户可执行该步骤。
1. 修改 yml 文件
参考最新的 yml 文件。里面已移除 OneAPI 并添加了 AIProxy配置。包含一个服务和一个 PgSQL 数据库。将 aiproxy
的配置追加
到 OneAPI 的配置后面(先不要删除 OneAPI,有一个初始化会自动同步 OneAPI 的配置)
# AI Proxy
aiproxy:
image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
container_name: aiproxy
restart: unless-stopped
depends_on:
aiproxy_pg:
condition: service_healthy
networks:
- fastgpt
environment:
# 对应 fastgpt 里的AIPROXY_API_TOKEN
- ADMIN_KEY=aiproxy
# 错误日志详情保存时间(小时)
- LOG_DETAIL_STORAGE_HOURS=1
# 数据库连接地址
- SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy
# 最大重试次数
- RetryTimes=3
# 不需要计费
- BILLING_ENABLED=false
# 不需要严格检测模型
- DISABLE_MODEL_CONFIG=true
healthcheck:
test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
interval: 5s
timeout: 5s
retries: 10
aiproxy_pg:
image: pgvector/pgvector:0.8.0-pg15 # docker hub
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云
restart: unless-stopped
container_name: aiproxy_pg
volumes:
- ./aiproxy_pg:/var/lib/postgresql/data
networks:
- fastgpt
environment:
TZ: Asia/Shanghai
POSTGRES_USER: postgres
POSTGRES_DB: aiproxy
POSTGRES_PASSWORD: aiproxy
healthcheck:
test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
interval: 5s
timeout: 5s
retries: 10
2. 增加 FastGPT 环境变量:
修改 yml 文件中,fastgpt 容器的环境变量:
# AI Proxy 的地址,如果配了该地址,优先使用
- AIPROXY_API_ENDPOINT=http://aiproxy:3000
# AI Proxy 的 Admin Token,与 AI Proxy 中的环境变量 ADMIN_KEY
- AIPROXY_API_TOKEN=aiproxy
3. 重载服务
docker-compose down
停止服务,然后 docker-compose up -d
启动服务,此时会追加 aiproxy
服务,并修改 FastGPT 的配置。
4. 执行OneAPI迁移AI proxy脚本
- 可联网方案:
# 进入 aiproxy 容器
docker exec -it aiproxy sh
# 安装 curl
apk add curl
# 执行脚本
curl --location --request POST 'http://localhost:3000/api/channels/import/oneapi' \
--header 'Authorization: Bearer aiproxy' \
--header 'Content-Type: application/json' \
--data-raw '{
"dsn": "mysql://root:oneapimmysql@tcp(mysql:3306)/oneapi"
}'
# 返回 {"data":[],"success":true} 代表成功
- 无法联网时,可打开
aiproxy
的外网暴露端口,然后在本地执行脚本。
aiProxy 暴露端口:3003:3000,修改后重新 docker-compose up -d
启动服务。
# 在终端执行脚本
curl --location --request POST 'http://localhost:3003/api/channels/import/oneapi' \
--header 'Authorization: Bearer aiproxy' \
--header 'Content-Type: application/json' \
--data-raw '{
"dsn": "mysql://root:oneapimmysql@tcp(mysql:3306)/oneapi"
}'
# 返回 {"data":[],"success":true} 代表成功
- 如果不熟悉 docker 操作,建议不要走脚本迁移,直接删除 OneAPI 所有内容,然后手动重新添加渠道。
5. 进入 FastGPT 检查AI Proxy
服务是否正常启动。
登录 root 账号后,在账号-模型提供商
页面,可以看到多出了模型渠道
和调用日志
两个选项,打开模型渠道,可以看到之前 OneAPI 的渠道,说明迁移完成,此时可以手动再检查下渠道是否正常。
6. 删除 OneAPI 服务
# 停止服务,或者针对性停止 OneAPI 和其 Mysql
docker-compose down
# yml 文件中删除 OneAPI 和其 Mysql 依赖
# 重启服务
docker-compose up -d
4. 运行 FastGPT 升级脚本
从任意终端,发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 rootkey
;{{host}} 替换成FastGPT 域名。
curl --location --request POST 'https://{{host}}/api/admin/initv490' \
--header 'rootkey: {{rootkey}}' \
--header 'Content-Type: application/json'
脚本功能
- 升级 PG Vector 插件版本
- 全量更新知识库集合字段。
- 全量更新知识库数据中,index 的 type 类型。(时间较长,最后可能提示 timeout,可忽略,数据库不崩都会一直增量执行)
📖 完整记录
- fix: Check the url to avoid ssrf attacks by @c121914yu in #3965
- Create SECURITY.md by @c121914yu in #3967
- plugin customize author by @newfish-cmyk in #3963
- fix loop child nodes variables by @newfish-cmyk in #3980
- fix ai proxy logs pagination by @newfish-cmyk in #3954
- fix: 优化读取mongo文件性能,解决因执行Buffer.concat过多造成等待导致整个服务hang住的 by @lgphone in #3985
- simple mode tool reason by @c121914yu in #3984
- fix: link cheker by @c121914yu in #3987
- perf: http body check by @c121914yu in #4003
- Update README.md by @Fmaverick in #3999
- pref: set strictQuery to throw. by @FinleyGe in #3994
- perf: doc by @c121914yu in #4005
- V4.9.0 feature by @c121914yu in #4006
New Contributors
- @Fmaverick made their first contribution in #3999
Full Changelog: v4.8.23...v4.9.0
What's Changed
- perf: http body check by @c121914yu in #4003
- Update README.md by @Fmaverick in #3999
- pref: set strictQuery to throw. by @FinleyGe in #3994
- perf: doc by @c121914yu in #4005
- V4.9.0 feature by @c121914yu in #4006
- feat: qwen qwq model config by @c121914yu in #4008
- qwq config by @c121914yu in #4009
New Contributors
- @Fmaverick made their first contribution in #3999
Full Changelog: v4.8.23...v4.9.0
V4.8.23-fix3
变更内容
- HTTP Body增强 invalid 检测和自适应。
- 修复导出对话记录顺序错误。
- 优化 MongoDB 读取文件性能。
New Contributors
- @gggaaallleee made their first contribution in #3924
- @lgphone made their first contribution in #3985
Full Changelog: v4.8.23-alpha...v4.8.23-fix3
V4.9.0-alpha
👀 新功能预览
PDF 增强
开启PDF增强 | 原文 | 解析结果 |
---|---|---|
![]() |
![]() |
![]() |
兼容 & 弃用
- 弃用 - 之前私有化部署的自定义文件解析方案,请同步更新到最新的配置方案。点击查看 PDF 增强解析配置
- 弃用 - 弃用旧版本地文件上传 API:/api/core/dataset/collection/create/file(以前仅商业版可用的 API,该接口已放切换成:/api/core/dataset/collection/create/localFile)
- 停止维护,即将弃用 - 外部文件库相关 API,可通过 API 文件库替代。
- API更新 - 上传文件至知识库、创建连接集合、API 文件库、推送分块数据等带有
trainingType
字段的接口,trainingType
字段未来仅支持chunk
和QA
两种模式。增强索引模式将设置单独字段:autoIndexes
,目前仍有适配旧版trainingType=auto
代码,但请尽快变更成新接口类型。具体可见:知识库 OpenAPI 文档
🚀 新增内容
- PDF增强解析交互添加到页面上。同时内嵌 Doc2x 服务,可直接使用 Doc2x 服务解析 PDF 文件。 @c121914yu
- 图片自动标注,同时修改知识库文件上传部分数据逻辑和交互。 @c121914yu
- pg vector 插件升级 0.8.0 版本,引入迭代搜索,减少部分数据无法被检索的情况。 @c121914yu
⚙️ 优化
- 知识库数据不再限制索引数量,可无限自定义。同时可自动更新输入文本的索引,不影响自定义索引。@c121914yu
- Markdown 解析,增加链接后中文标点符号检测,增加空格。@c121914yu
- Prompt 模式工具调用,支持思考模型。同时优化其格式检测,减少空输出的概率。@c121914yu
- Mongo 文件读取流合并,减少计算量。同时优化存储 chunks,极大提高大文件读取速度。50M PDF 读取时间提高 3 倍。 @lgphone
🐛 修复
- 增加网页抓取安全链接校验。 @L0nm4r
- 批量运行时,全局变量未进一步传递到下一次运行中,导致最终变量更新错误。 @newfish-cmyk
📖 完整记录
- fix: Check the url to avoid ssrf attacks by @c121914yu in #3965
- Create SECURITY.md by @c121914yu in #3967
- plugin customize author by @newfish-cmyk in #3963
- fix loop child nodes variables by @newfish-cmyk in #3980
- fix ai proxy logs pagination by @newfish-cmyk in #3954
- fix: 优化读取mongo文件性能,解决因执行Buffer.concat过多造成等待导致整个服务hang住的 by @lgphone in #3985
- simple mode tool reason by @c121914yu in #3984
- fix: link cheker by @c121914yu in #3987
New Contributors
Full Changelog: v4.8.23-fix2...v4.9.0-alpha
V4.8.23-fix2
变更内容
- 修复 - 因变更了 mongoose库,部分session操作需要主动设置 ordered:true。
- 修复 - 重排模型,无法在 ai proxy 中使用。
- 优化 - 增加 dataset_data_texts 表索引,疑似全文索引前缀无法被复用。
New Contributors
- @gggaaallleee made their first contribution in #3924
Full Changelog: v4.8.23-fix...v4.8.23-fix2
v4.8.23-fix
变更内容
- 修复 - 删除知识库数据时,未跟随删除全文索引。
- 修复 - 导出对话记录,顺序不正常。
- 修复 - ai proxy 获取错误日志失败。
Full Changelog: v4.8.23...v4.8.23-fix
V4.8.23
🚀 新增内容
- 增加默认“知识库文本理解模型”配置 @c121914yu
- AI proxy V1版,可替换 OneAPI 使用,同时提供完整模型调用日志,便于排查问题。(文档待补充) @c121914yu
- 增加工单入口支持。 @FinleyGe
⚙️ 优化
- 模型配置表单,增加必填项校验。 @c121914yu
- 团队管理面板。 @FinleyGe
- 集合列表数据统计方式,提高大数据量统计性能。 @c121914yu
- 优化数学公式,转义 Latex 格式成 Markdown 格式。 @c121914yu
- 解析文档图片,图片太大时,自动忽略。 @c121914yu
- 时间选择器,当天开始时间自动设0,结束设置设 23:59:59,避免 UI 与实际逻辑偏差。 @c121914yu
- 升级 mongoose 库版本依赖。 @FinleyGe
🐛 修复
- 标签过滤时,子文件夹未成功过滤。 @newfish-cmyk
- 暂时移除 md 阅读优化,避免链接分割错误。 @c121914yu
- 离开团队时,未刷新成员列表。 @FinleyGe
- PPTX 编码错误,导致解析失败。 @zl59503020
🌟更新指南
1. 做好数据库备份
2. 更新镜像:
- 更新 fastgpt 镜像 tag: v4.8.23
- 更新 fastgpt-pro 商业版镜像 tag: v4.8.23
- Sandbox 镜像无需更新
📖 完整记录
- update doc by @c121914yu in #3840
- Marker doc update by @YYH211 in #3869
- fix collection folder tags filter by @newfish-cmyk in #3853
- feat: model config required check;feat: dataset text model default setting by @c121914yu in #3866
- 更正错别字,规范标点 by @entr0pia in #3873
- feat/workorder by @FinleyGe in #3860
- perf: work order tip by @c121914yu in #3874
- remove markdown format;refresh username;perf: latext render by @c121914yu in #3877
- fix: leave team and refresh memberlist by @FinleyGe in #3893
- chore: upgrade mongoose to v8.10.x for security by @FinleyGe in #3868
- Update intro.md by @c121914yu in #3900
- feat: ai proxy v1 by @c121914yu in #3898
- fix: upload office file (.pptx) encoding error by @zl59503020 in #3901
- fix: pptx encoding by @c121914yu in #3905
- update code positon by @c121914yu in #3907
- fix: mongoose strictquery to false by @FinleyGe in #3906
- fix: ts error by @FinleyGe in #3911
- 更新 docker.md by @c121914yu in #3913
- 4.8.23 dev by @c121914yu in #3917
New Contributors
- @entr0pia made their first contribution in #3873
- @zl59503020 made their first contribution in #3901
Full Changelog: v4.8.22...v4.8.23
V4.8.23-alpha
🚀 新增内容
- 增加默认“知识库文本理解模型”配置 @c121914yu
- AI proxy V1版,可替换 OneAPI 使用,同时提供完整模型调用日志,便于排查问题。(文档待补充) @c121914yu
- 增加工单入口支持。 @FinleyGe
⚙️ 优化
- 模型配置表单,增加必填项校验。 @c121914yu
- 团队管理面板。 @FinleyGe
- 集合列表数据统计方式,提高大数据量统计性能。 @c121914yu
- 优化数学公式,转义 Latex 格式成 Markdown 格式。 @c121914yu
- 解析文档图片,图片太大时,自动忽略。 @c121914yu
- 时间选择器,当天开始时间自动设0,结束设置设 23:59:59,避免 UI 与实际逻辑偏差。 @c121914yu
- 升级 mongoose 库版本依赖。 @FinleyGe
🐛 修复
- 标签过滤时,子文件夹未成功过滤。 @newfish-cmyk
- 暂时移除 md 阅读优化,避免链接分割错误。 @c121914yu
- 离开团队时,未刷新成员列表。 @FinleyGe
- PPTX 编码错误,导致解析失败。 @zl59503020
🌟更新指南
1. 做好数据库备份
2. 更新镜像:
- 更新 fastgpt 镜像 tag: v4.8.23-alpha
- 更新 fastgpt-pro 商业版镜像 tag: v4.8.23-alpha
- Sandbox 镜像无需更新
📖 完整记录
- update doc by @c121914yu in #3840
- Marker doc update by @YYH211 in #3869
- fix collection folder tags filter by @newfish-cmyk in #3853
- feat: model config required check;feat: dataset text model default setting by @c121914yu in #3866
- 更正错别字,规范标点 by @entr0pia in #3873
- feat/workorder by @FinleyGe in #3860
- perf: work order tip by @c121914yu in #3874
- remove markdown format;refresh username;perf: latext render by @c121914yu in #3877
- fix: leave team and refresh memberlist by @FinleyGe in #3893
- chore: upgrade mongoose to v8.10.x for security by @FinleyGe in #3868
- Update intro.md by @c121914yu in #3900
- feat: ai proxy v1 by @c121914yu in #3898
- fix: upload office file (.pptx) encoding error by @zl59503020 in #3901
- fix: pptx encoding by @c121914yu in #3905
New Contributors
- @entr0pia made their first contribution in #3873
- @zl59503020 made their first contribution in #3901
Full Changelog: v4.8.22...v4.8.23-alpha
v4.8.22
🚀 新增内容
- AI 对话节点支持解析
<think></think>
标签开头内容作为思考链,便于各类模型进行思考链输出。需主动开启模型输出思考。 @c121914yu - 对话 API 优化,无论是否传递 chatId,都会保存对话日志。未传递 chatId,则随机生成一个 chatId 来进行存储。 @c121914yu
- ppio 模型提供商 by @saikidev
- Gemini 2.0 预设配置 @c121914yu
⚙️ 优化
- 模型未配置时提示,减少冲突提示。 @c121914yu
- 使用记录代码。 @c121914yu
- 内容提取节点,字段描述过长时换行。同时修改其输出名用 key,而不是 description。 @c121914yu
- 团队管理交互。 @FinleyGe
- 对话接口,非流响应,增加报错字段。 @c121914yu
🐛 修复
- 思考内容未进入到输出 Tokens. @c121914yu
- 思考链流输出时,有时与正文顺序偏差。 @c121914yu
- API 调用工作流,如果传递的图片不支持 Head 检测时,图片会被过滤。已增加该类错误检测,避免被错误过滤。 @c121914yu
- 模板市场部分模板错误。 @newfish-cmyk
- 免登录窗口无法正常判断语言识别是否开启。 @c121914yu
- 对话日志导出,未兼容 sub path。 @newfish-cmyk
- 切换团队时未刷新成员列表 @FinleyGe
- list 接口在联查 member 时,存在空指针可能性。 @FinleyGe
- 工作流基础节点无法升级。 @c121914yu
- 向量检索结果未去重。 @c121914yu
- 用户选择节点无法正常连线。 @newfish-cmyk
- 对话记录保存时,source 未正常记录。 @newfish-cmyk
🌟更新指南
1. 做好数据库备份
2. 更新镜像:
- 更新 fastgpt 镜像 tag: v4.8.22
- 更新 fastgpt-pro 商业版镜像 tag: v4.8.22
- Sandbox 镜像无需更新
📖 完整记录
- 4.9.0 test by @c121914yu in #3779
- fix: app/dataset list api return private flag by @FinleyGe in #3784
- fix: skip thirdparty sso state verification by @I-Info in #3782
- fix: model check circle tip by @c121914yu in #3786
- update yml version by @c121914yu in #3787
- chore: add ppio provider by @saikidev in #3789
- fix document by @shikaiwei1 in #3806
- fix template market simple app by @newfish-cmyk in #3804
- feat: think tag parse (#3805) by @c121914yu in #3808
- fix: whisper checker;fix: img read by @c121914yu in #3813
- fix: refresh memberlist when switching account by @FinleyGe in #3814
- Update 4818.md by @c121914yu in #3818
- download fetch baseurl & node select dnd by @newfish-cmyk in #3820
- chore: fix typo in docs by @LGiki in #3819
- fix: app version addSourcemember tmbid could be empty by @FinleyGe in #3822
- fix: price page init data;perf: usage code;fix: reasoning tokens;fix: workflow basic node cannot upgrade by @c121914yu in #3816
- perf: gemini config by @c121914yu in #3828
- chore: team, orgs, search and so on by @FinleyGe in #3807
- fix source name by @newfish-cmyk in #3834
- perf: ery extension and fix filter same embedding result by @c121914yu in #3833
- update doc by @c121914yu in #3836
New Contributors
Full Changelog: v4.8.21...v4.8.22
v4.8.22-alpha
🌟更新指南
1. 做好数据库备份
2. 更新镜像:
- 更新 fastgpt 镜像 tag: v4.8.22-alpha
- 更新 fastgpt-pro 商业版镜像 tag: v4.8.22-alpha
- Sandbox 镜像无需更新
🚀 新增内容
- AI 对话节点解析
<think></think>
标签内容作为思考链,便于各类模型进行思考链输出。需主动开启模型输出思考。 @c121914yu - ppio 模型提供商 by @saikidev
⚙️ 优化
- 模型未配置时提示,减少冲突提示。 @c121914yu
- 使用记录代码。 @c121914yu
🐛 修复
- 思考内容未进入到输出 Tokens. @c121914yu
- 思考链流输出时,有时与正文顺序偏差。 @c121914yu
- API 调用工作流,如果传递的图片不支持 Head 检测时,图片会被过滤。已增加该类错误检测,避免被错误过滤。 @c121914yu
- 模板市场部分模板错误。 @newfish-cmyk
- 免登录窗口无法正常判断语言识别是否开启。 @c121914yu
- 对话日志导出,未兼容 sub path。 @newfish-cmyk
- 切换团队时未刷新成员列表 @FinleyGe
- list 接口在联查 member 时,存在空指针可能性。 @FinleyGe
- 工作流基础节点无法升级。 @c121914yu
📖 完整记录
- update yml version by @c121914yu in #3787
- chore: add ppio provider by @saikidev in #3789
- fix document by @shikaiwei1 in #3806
- fix template market simple app by @newfish-cmyk in #3804
- feat: think tag parse (#3805) by @c121914yu in #3808
- fix: whisper checker;fix: img read by @c121914yu in #3813
- fix: refresh memberlist when switching account by @FinleyGe in #3814
- Update 4818.md by @c121914yu in #3818
- download fetch baseurl & node select dnd by @newfish-cmyk in #3820
- chore: fix typo in docs by @LGiki in #3819
- fix: app version addSourcemember tmbid could be empty by @FinleyGe in #3822
- fix: price page init data;perf: usage code;fix: reasoning tokens;fix: workflow basic node cannot upgrade by @c121914yu in #3816
New Contributors
Full Changelog: v4.8.21-fix...v4.8.22-alpha