xprobe/xinference:v0.14.0.post1 运行Alibaba-NLP/gte-Qwen2-7B-instruct报错 no moudle run install flash_attn

[xujingsen521]

System Info / 系統信息

centos7，docker:26.0.0

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

xprobe/xinference:v0.14.0.post1

The command used to start Xinference / 用以启动 xinference 的命令

docker run -itd --name="xjs-inference"
-v ./:/app
-P -p 9995-9999:9995-9999
--gpus '"device=0,1"'
xprobe/xinference:v0.14.0.post1
xinference-local -H 0.0.0.0 --port 9997 --log-level debug

Reproduction / 复现过程

xinference register --model-type embedding --file gte-Qwen2-7B-instruct.json --persist
xinference launch
--model-name gte-Qwen2-7B-instruct
--model-type embedding

Expected behavior / 期待表现

能有一个装有nvcc和flash_attn 2.5.6版本以上的docker容器

[jim1997]

同求

[ConleyKong]

xinference0.15.2可用的flash-attn安装包链接：https://pan.baidu.com/s/1OTOKLzKcSukjvDqQ-F6XVQ?pwd=1111
提取码：1111