Skip to content

Releases: labring/FastGPT

V4.9.0-fix

07 Mar 08:17
36da8c8
Compare
Choose a tag to compare

变更内容

New Contributors

Full Changelog: v4.9.0...v4.9.0-fix

V4.9.0

06 Mar 12:24
6e04509
Compare
Choose a tag to compare

👀 新功能预览

PDF 增强

开启PDF增强 原文 解析结果
image image image

兼容 & 弃用

  1. 弃用 - 之前私有化部署的自定义文件解析方案,请同步更新到最新的配置方案。点击查看 PDF 增强解析配置
  2. 弃用 - 弃用旧版本地文件上传 API:/api/core/dataset/collection/create/file(以前仅商业版可用的 API,该接口已放切换成:/api/core/dataset/collection/create/localFile)
  3. 停止维护,即将弃用 - 外部文件库相关 API,可通过 API 文件库替代。
  4. API更新 - 上传文件至知识库、创建连接集合、API 文件库、推送分块数据等带有 trainingType 字段的接口,trainingType字段未来仅支持chunkQA两种模式。增强索引模式将设置单独字段:autoIndexes,目前仍有适配旧版trainingType=auto代码,但请尽快变更成新接口类型。具体可见:知识库 OpenAPI 文档

🚀 新增内容

  1. PDF增强解析交互添加到页面上。同时内嵌 Doc2x 服务,可直接使用 Doc2x 服务解析 PDF 文件。 @c121914yu
  2. 图片自动标注,同时修改知识库文件上传部分数据逻辑和交互。 @c121914yu
  3. pg vector 插件升级 0.8.0 版本,引入迭代搜索,减少部分数据无法被检索的情况。 @c121914yu
  4. Qwen-qwq 模型预设。 @c121914yu

⚙️ 优化

  1. 知识库数据不再限制索引数量,可无限自定义。同时可自动更新输入文本的索引,不影响自定义索引。@c121914yu
  2. Markdown 解析,增加链接后中文标点符号检测,增加空格。@c121914yu
  3. Prompt 模式工具调用,支持思考模型。同时优化其格式检测,减少空输出的概率。@c121914yu
  4. Mongo 文件读取流合并,减少计算量。同时优化存储 chunks,极大提高大文件读取速度。50M PDF 读取时间提高 3 倍。 @lgphone
  5. HTTP Body 适配,增加对字符串对象的适配。 @c121914yu

🐛 修复

  1. 增加网页抓取安全链接校验。 @L0nm4r
  2. 批量运行时,全局变量未进一步传递到下一次运行中,导致最终变量更新错误。 @newfish-cmyk

更新指南

1. 做好数据库备份

2. 更新镜像

  • 更新 FastGPT 镜像 tag: v4.9.0
  • 更新 FastGPT 商业版镜像 tag: v4.9.0
  • Sandbox 镜像,可以不更新

3. 替换 OneAPI(可选)

如果需要使用 AI Proxy 替换 OneAPI 的用户可执行该步骤。

1. 修改 yml 文件

参考最新的 yml 文件。里面已移除 OneAPI 并添加了 AIProxy配置。包含一个服务和一个 PgSQL 数据库。将 aiproxy 的配置追加到 OneAPI 的配置后面(先不要删除 OneAPI,有一个初始化会自动同步 OneAPI 的配置)

  # AI Proxy
  aiproxy:
    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
    container_name: aiproxy
    restart: unless-stopped
    depends_on:
      aiproxy_pg:
        condition: service_healthy
    networks:
      - fastgpt
    environment:
      # 对应 fastgpt 里的AIPROXY_API_TOKEN
      - ADMIN_KEY=aiproxy
      # 错误日志详情保存时间(小时)
      - LOG_DETAIL_STORAGE_HOURS=1
      # 数据库连接地址
      - SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy
      # 最大重试次数
      - RetryTimes=3
      # 不需要计费
      - BILLING_ENABLED=false
      # 不需要严格检测模型
      - DISABLE_MODEL_CONFIG=true
    healthcheck:
      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
      interval: 5s
      timeout: 5s
      retries: 10
  aiproxy_pg:
    image: pgvector/pgvector:0.8.0-pg15 # docker hub
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云
    restart: unless-stopped
    container_name: aiproxy_pg
    volumes:
      - ./aiproxy_pg:/var/lib/postgresql/data
    networks:
      - fastgpt
    environment:
      TZ: Asia/Shanghai
      POSTGRES_USER: postgres
      POSTGRES_DB: aiproxy
      POSTGRES_PASSWORD: aiproxy
    healthcheck:
      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
      interval: 5s
      timeout: 5s
      retries: 10

2. 增加 FastGPT 环境变量:

修改 yml 文件中,fastgpt 容器的环境变量:

# AI Proxy 的地址,如果配了该地址,优先使用
- AIPROXY_API_ENDPOINT=http://aiproxy:3000
# AI Proxy 的 Admin Token,与 AI Proxy 中的环境变量 ADMIN_KEY
- AIPROXY_API_TOKEN=aiproxy

3. 重载服务

docker-compose down 停止服务,然后 docker-compose up -d 启动服务,此时会追加 aiproxy 服务,并修改 FastGPT 的配置。

4. 执行OneAPI迁移AI proxy脚本

  • 可联网方案:
# 进入 aiproxy 容器
docker exec -it aiproxy sh
# 安装 curl
apk add curl
# 执行脚本
curl --location --request POST 'http://localhost:3000/api/channels/import/oneapi' \
--header 'Authorization: Bearer aiproxy' \
--header 'Content-Type: application/json' \
--data-raw '{
    "dsn": "mysql://root:oneapimmysql@tcp(mysql:3306)/oneapi"
}'
# 返回 {"data":[],"success":true} 代表成功
  • 无法联网时,可打开aiproxy的外网暴露端口,然后在本地执行脚本。

aiProxy 暴露端口:3003:3000,修改后重新 docker-compose up -d 启动服务。

# 在终端执行脚本
curl --location --request POST 'http://localhost:3003/api/channels/import/oneapi' \
--header 'Authorization: Bearer aiproxy' \
--header 'Content-Type: application/json' \
--data-raw '{
    "dsn": "mysql://root:oneapimmysql@tcp(mysql:3306)/oneapi"
}'
# 返回 {"data":[],"success":true} 代表成功
  • 如果不熟悉 docker 操作,建议不要走脚本迁移,直接删除 OneAPI 所有内容,然后手动重新添加渠道。

5. 进入 FastGPT 检查AI Proxy 服务是否正常启动。

登录 root 账号后,在账号-模型提供商页面,可以看到多出了模型渠道调用日志两个选项,打开模型渠道,可以看到之前 OneAPI 的渠道,说明迁移完成,此时可以手动再检查下渠道是否正常。

6. 删除 OneAPI 服务

# 停止服务,或者针对性停止 OneAPI 和其 Mysql
docker-compose down
# yml 文件中删除 OneAPI 和其 Mysql 依赖
# 重启服务
docker-compose up -d

4. 运行 FastGPT 升级脚本

从任意终端,发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 rootkey;{{host}} 替换成FastGPT 域名

curl --location --request POST 'https://{{host}}/api/admin/initv490' \
--header 'rootkey: {{rootkey}}' \
--header 'Content-Type: application/json'

脚本功能

  1. 升级 PG Vector 插件版本
  2. 全量更新知识库集合字段。
  3. 全量更新知识库数据中,index 的 type 类型。(时间较长,最后可能提示 timeout,可忽略,数据库不崩都会一直增量执行)

📖 完整记录

New Contributors

Full Changelog: v4.8.23...v4.9.0

What's Changed

New Contributors

Full Changelog: v4.8.23...v4.9.0

V4.8.23-fix3

06 Mar 14:57
6d4776b
Compare
Choose a tag to compare
V4.8.23-fix3 Pre-release
Pre-release

变更内容

  1. HTTP Body增强 invalid 检测和自适应。
  2. 修复导出对话记录顺序错误。
  3. 优化 MongoDB 读取文件性能。

New Contributors

Full Changelog: v4.8.23-alpha...v4.8.23-fix3

V4.9.0-alpha

05 Mar 10:46
081a843
Compare
Choose a tag to compare
V4.9.0-alpha Pre-release
Pre-release

👀 新功能预览

PDF 增强

开启PDF增强 原文 解析结果
image image image

兼容 & 弃用

  1. 弃用 - 之前私有化部署的自定义文件解析方案,请同步更新到最新的配置方案。点击查看 PDF 增强解析配置
  2. 弃用 - 弃用旧版本地文件上传 API:/api/core/dataset/collection/create/file(以前仅商业版可用的 API,该接口已放切换成:/api/core/dataset/collection/create/localFile)
  3. 停止维护,即将弃用 - 外部文件库相关 API,可通过 API 文件库替代。
  4. API更新 - 上传文件至知识库、创建连接集合、API 文件库、推送分块数据等带有 trainingType 字段的接口,trainingType字段未来仅支持chunkQA两种模式。增强索引模式将设置单独字段:autoIndexes,目前仍有适配旧版trainingType=auto代码,但请尽快变更成新接口类型。具体可见:知识库 OpenAPI 文档

🚀 新增内容

  1. PDF增强解析交互添加到页面上。同时内嵌 Doc2x 服务,可直接使用 Doc2x 服务解析 PDF 文件。 @c121914yu
  2. 图片自动标注,同时修改知识库文件上传部分数据逻辑和交互。 @c121914yu
  3. pg vector 插件升级 0.8.0 版本,引入迭代搜索,减少部分数据无法被检索的情况。 @c121914yu

⚙️ 优化

  1. 知识库数据不再限制索引数量,可无限自定义。同时可自动更新输入文本的索引,不影响自定义索引。@c121914yu
  2. Markdown 解析,增加链接后中文标点符号检测,增加空格。@c121914yu
  3. Prompt 模式工具调用,支持思考模型。同时优化其格式检测,减少空输出的概率。@c121914yu
  4. Mongo 文件读取流合并,减少计算量。同时优化存储 chunks,极大提高大文件读取速度。50M PDF 读取时间提高 3 倍。 @lgphone

🐛 修复

  1. 增加网页抓取安全链接校验。 @L0nm4r
  2. 批量运行时,全局变量未进一步传递到下一次运行中,导致最终变量更新错误。 @newfish-cmyk

📖 完整记录

New Contributors

Full Changelog: v4.8.23-fix2...v4.9.0-alpha

V4.8.23-fix2

03 Mar 04:51
e860c56
Compare
Choose a tag to compare

变更内容

  1. 修复 - 因变更了 mongoose库,部分session操作需要主动设置 ordered:true。
  2. 修复 - 重排模型,无法在 ai proxy 中使用。
  3. 优化 - 增加 dataset_data_texts 表索引,疑似全文索引前缀无法被复用。

New Contributors

Full Changelog: v4.8.23-fix...v4.8.23-fix2

v4.8.23-fix

28 Feb 09:50
cf0aaa1
Compare
Choose a tag to compare

变更内容

  1. 修复 - 删除知识库数据时,未跟随删除全文索引。
  2. 修复 - 导出对话记录,顺序不正常。
  3. 修复 - ai proxy 获取错误日志失败。

Full Changelog: v4.8.23...v4.8.23-fix

V4.8.23

27 Feb 14:25
1aa319e
Compare
Choose a tag to compare

🚀 新增内容

  1. 增加默认“知识库文本理解模型”配置 @c121914yu
  2. AI proxy V1版,可替换 OneAPI 使用,同时提供完整模型调用日志,便于排查问题。(文档待补充) @c121914yu
  3. 增加工单入口支持。 @FinleyGe

⚙️ 优化

  1. 模型配置表单,增加必填项校验。 @c121914yu
  2. 团队管理面板。 @FinleyGe
  3. 集合列表数据统计方式,提高大数据量统计性能。 @c121914yu
  4. 优化数学公式,转义 Latex 格式成 Markdown 格式。 @c121914yu
  5. 解析文档图片,图片太大时,自动忽略。 @c121914yu
  6. 时间选择器,当天开始时间自动设0,结束设置设 23:59:59,避免 UI 与实际逻辑偏差。 @c121914yu
  7. 升级 mongoose 库版本依赖。 @FinleyGe

🐛 修复

  1. 标签过滤时,子文件夹未成功过滤。 @newfish-cmyk
  2. 暂时移除 md 阅读优化,避免链接分割错误。 @c121914yu
  3. 离开团队时,未刷新成员列表。 @FinleyGe
  4. PPTX 编码错误,导致解析失败。 @zl59503020

🌟更新指南

1. 做好数据库备份

2. 更新镜像:

  • 更新 fastgpt 镜像 tag: v4.8.23
  • 更新 fastgpt-pro 商业版镜像 tag: v4.8.23
  • Sandbox 镜像无需更新

📖 完整记录

New Contributors

Full Changelog: v4.8.22...v4.8.23

V4.8.23-alpha

27 Feb 02:16
fb0eb49
Compare
Choose a tag to compare
V4.8.23-alpha Pre-release
Pre-release

🚀 新增内容

  1. 增加默认“知识库文本理解模型”配置 @c121914yu
  2. AI proxy V1版,可替换 OneAPI 使用,同时提供完整模型调用日志,便于排查问题。(文档待补充) @c121914yu
  3. 增加工单入口支持。 @FinleyGe

⚙️ 优化

  1. 模型配置表单,增加必填项校验。 @c121914yu
  2. 团队管理面板。 @FinleyGe
  3. 集合列表数据统计方式,提高大数据量统计性能。 @c121914yu
  4. 优化数学公式,转义 Latex 格式成 Markdown 格式。 @c121914yu
  5. 解析文档图片,图片太大时,自动忽略。 @c121914yu
  6. 时间选择器,当天开始时间自动设0,结束设置设 23:59:59,避免 UI 与实际逻辑偏差。 @c121914yu
  7. 升级 mongoose 库版本依赖。 @FinleyGe

🐛 修复

  1. 标签过滤时,子文件夹未成功过滤。 @newfish-cmyk
  2. 暂时移除 md 阅读优化,避免链接分割错误。 @c121914yu
  3. 离开团队时,未刷新成员列表。 @FinleyGe
  4. PPTX 编码错误,导致解析失败。 @zl59503020

🌟更新指南

1. 做好数据库备份

2. 更新镜像:

  • 更新 fastgpt 镜像 tag: v4.8.23-alpha
  • 更新 fastgpt-pro 商业版镜像 tag: v4.8.23-alpha
  • Sandbox 镜像无需更新

📖 完整记录

New Contributors

Full Changelog: v4.8.22...v4.8.23-alpha

v4.8.22

19 Feb 14:35
ca57179
Compare
Choose a tag to compare

🚀 新增内容

  1. AI 对话节点支持解析 <think></think> 标签开头内容作为思考链,便于各类模型进行思考链输出。需主动开启模型输出思考。 @c121914yu
  2. 对话 API 优化,无论是否传递 chatId,都会保存对话日志。未传递 chatId,则随机生成一个 chatId 来进行存储。 @c121914yu
  3. ppio 模型提供商 by @saikidev
  4. Gemini 2.0 预设配置 @c121914yu

⚙️ 优化

  1. 模型未配置时提示,减少冲突提示。 @c121914yu
  2. 使用记录代码。 @c121914yu
  3. 内容提取节点,字段描述过长时换行。同时修改其输出名用 key,而不是 description。 @c121914yu
  4. 团队管理交互。 @FinleyGe
  5. 对话接口,非流响应,增加报错字段。 @c121914yu

🐛 修复

  1. 思考内容未进入到输出 Tokens. @c121914yu
  2. 思考链流输出时,有时与正文顺序偏差。 @c121914yu
  3. API 调用工作流,如果传递的图片不支持 Head 检测时,图片会被过滤。已增加该类错误检测,避免被错误过滤。 @c121914yu
  4. 模板市场部分模板错误。 @newfish-cmyk
  5. 免登录窗口无法正常判断语言识别是否开启。 @c121914yu
  6. 对话日志导出,未兼容 sub path。 @newfish-cmyk
  7. 切换团队时未刷新成员列表 @FinleyGe
  8. list 接口在联查 member 时,存在空指针可能性。 @FinleyGe
  9. 工作流基础节点无法升级。 @c121914yu
  10. 向量检索结果未去重。 @c121914yu
  11. 用户选择节点无法正常连线。 @newfish-cmyk
  12. 对话记录保存时,source 未正常记录。 @newfish-cmyk

🌟更新指南

1. 做好数据库备份

2. 更新镜像:

  • 更新 fastgpt 镜像 tag: v4.8.22
  • 更新 fastgpt-pro 商业版镜像 tag: v4.8.22
  • Sandbox 镜像无需更新

📖 完整记录

New Contributors

Full Changelog: v4.8.21...v4.8.22

v4.8.22-alpha

18 Feb 12:54
09205e4
Compare
Choose a tag to compare
v4.8.22-alpha Pre-release
Pre-release

🌟更新指南

1. 做好数据库备份

2. 更新镜像:

  • 更新 fastgpt 镜像 tag: v4.8.22-alpha
  • 更新 fastgpt-pro 商业版镜像 tag: v4.8.22-alpha
  • Sandbox 镜像无需更新

🚀 新增内容

  1. AI 对话节点解析 <think></think> 标签内容作为思考链,便于各类模型进行思考链输出。需主动开启模型输出思考。 @c121914yu
  2. ppio 模型提供商 by @saikidev

⚙️ 优化

  1. 模型未配置时提示,减少冲突提示。 @c121914yu
  2. 使用记录代码。 @c121914yu

🐛 修复

  1. 思考内容未进入到输出 Tokens. @c121914yu
  2. 思考链流输出时,有时与正文顺序偏差。 @c121914yu
  3. API 调用工作流,如果传递的图片不支持 Head 检测时,图片会被过滤。已增加该类错误检测,避免被错误过滤。 @c121914yu
  4. 模板市场部分模板错误。 @newfish-cmyk
  5. 免登录窗口无法正常判断语言识别是否开启。 @c121914yu
  6. 对话日志导出,未兼容 sub path。 @newfish-cmyk
  7. 切换团队时未刷新成员列表 @FinleyGe
  8. list 接口在联查 member 时,存在空指针可能性。 @FinleyGe
  9. 工作流基础节点无法升级。 @c121914yu

📖 完整记录

New Contributors

Full Changelog: v4.8.21-fix...v4.8.22-alpha