Failed to load model from file: /data/DeepSeek R1-Distill-Qwen-32B-Q4 K M.gguf

[thymol-zzw]

System Info / 系統信息

xinference v1.2.1
Failed to load model from file: /

data/DeepSeek R1-Distill-Qwen-32B-Q4 K M.gguf

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

xinference v1.2.1

The command used to start Xinference / 用以启动 xinference 的命令

xinference v1.2.1

Reproduction / 复现过程

Expected behavior / 期待表现

成功运行DeepSeek R1-Distill-Qwen-32B-Q4 K M.gguf

[qinxuye]

llama-cpp-python 升级到 0.3.7 试下。

[frankjoey2048]

llama-cpp-python 升级到 0.3.7 试下。
这个是docker的问题，应该重新打包。

[tigflanker]

尝试容器内升级了一下llama-cpp-python，gguf可以成功加载了，但是因为我升级的方式不对，gguf是按照CPU加载的

1. 登录容器后：
   root@b47fbfcc428b:/opt/inference# pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple
   root@b47fbfcc428b:/opt/inference# pip install --upgrade llama-cpp-python

我尝试过：
root@b47fbfcc428b:/opt/inference# CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" pip install --upgrade llama-cpp-python
但是cpp编译失败，真的llama-cpp-python每次编译都不成功

2. exit退出容器后：
   对容器commit，然后按照这个新镜像启动
   docker commit <container_id> <new_image_name>:

[jacktpy]

尝试容器内升级了一下llama-cpp-python，gguf可以成功加载了，但是因为我升级的方式不对，gguf是按照CPU加载的

1. 登录容器后：
   root@b47fbfcc428b:/opt/inference# pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple
   root@b47fbfcc428b:/opt/inference# pip install --upgrade llama-cpp-python

我尝试过： root@b47fbfcc428b:/opt/inference# CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" pip install --upgrade llama-cpp-python 但是cpp编译失败，真的llama-cpp-python每次编译都不成功

2. exit退出容器后：
   对容器commit，然后按照这个新镜像启动
   docker commit <container_id> <new_image_name>:

我也是一样的，一直编译失败

[tigflanker]

尝试容器内升级了一下llama-cpp-python，gguf可以成功加载了，但是因为我升级的方式不对，gguf是按照CPU加载的

1. 登录容器后：
   root@b47fbfcc428b:/opt/inference# pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple
   root@b47fbfcc428b:/opt/inference# pip install --upgrade llama-cpp-python

我尝试过： root@b47fbfcc428b:/opt/inference# CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" pip install --upgrade llama-cpp-python 但是cpp编译失败，真的llama-cpp-python每次编译都不成功

2. exit退出容器后：
   对容器commit，然后按照这个新镜像启动
   docker commit <container_id> <new_image_name>:

我也是一样的，一直编译失败

这个llama_cpp_python，我感觉是我安装包里面难安装的，可能还是没摸清门道，按照官网的介绍每次编译不成功

刚刚从dockerfile里面翻了一下：
root@d4d540eaf808:/opt/inference# pip install "llama-cpp-python>=0.3.7" -i https://abetlen.github.io/llama-cpp-python/whl/cu124Looking in indexes: https://abetlen.github.io/llama-cpp-python/whl/cu124

也还没有造好的轮子，可能得git源码包进行编译
ERROR: Could not find a version that satisfies the requirement llama-cpp-python=0.3.7 (from versions: 0.2.66, 0.2.67, 0.2.68, 0.2.69, 0.2.70, 0.2.71, 0.2.72, 0.2.73, 0.2.74, 0.2.75, 0.2.76, 0.2.77, 0.2.81, 0.2.82, 0.2.83, 0.2.84, 0.2.85, 0.2.86, 0.2.87, 0.2.88, 0.2.90, 0.3.4)
ERROR: No matching distribution found for llama-cpp-python=0.3.7

[qinxuye]

llama-cpp-python 跟不上 llama.cpp 的发展了。我们计划自己来做 llama.cpp 的封装。cc @codingl2k1