MLX 是一个面向苹果硅芯片的机器学习研究阵列框架,由苹果机器学习研究团队带来。
MLX 是由机器学习研究人员为机器学习研究人员设计的。该框架旨在用户友好,同时在训练和部署模型方面仍具有高效性。框架本身的设计在概念上也很简单。我们希望使研究人员能够轻松地扩展和改进 MLX,以便快速探索新想法。
通过 MLX,LLMs 可以在苹果硅芯片设备上加速,模型可以非常方便地在本地运行。
- Python 3.11.x
- 安装 MLX 库
pip install mlx-lm
python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2048 --prompt "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"
运行结果如下(以我的Apple M1 Max 64GB设备为例)
python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct
注意: 通过 mlx_lm.convert 可以对模型进行量化,默认的量化方式为 INT4。
本示例将 Phi-3-mini 量化为 INT4。量化完成以后,它会自动存储在默认的./mlx_model路径中。
我们可以在终端中使用 MLX 测试量化的模型。
python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct
结果如下图所示。
注意: 请参考这个例子 参考示例
-
学习Apple 的MLX 框架 https://ml-explore.github.io
-
Apple MLX的Github代码仓库 https://github.com/ml-explore