带有 Whisper 的交互式 Phi 3 Mini 4K Instruct 聊天机器人是一种工具，允许用户使用文本或音频输入与 Microsoft Phi 3 Mini 4K 指导演示进行交互。该聊天机器人可用于多种任务，如翻译、天气更新和一般信息收集。
要使用这个聊天机器人，只需按照以下步骤操作：
- 打开一个新的 Jupyter notebook 并运行提供的代码
- 在 notebook 的主窗口中，你会看到一个带有文本输入框和“发送”按钮的聊天框界面。
- 要使用基于文本的聊天机器人，只需在文本输入框中输入你的消息，然后点击“发送”按钮。聊天机器人会响应一个音频文件，可以直接在 notebook 中播放。
注意：此工具需要 GPU 和访问 Microsoft Phi-3 和 OpenAI Whisper 模型，用于语音识别和翻译。
要运行这个演示，你需要 12GB 的 GPU 内存。
在 GPU 上运行 Microsoft-Phi-3-Mini-4K 指导演示的内存需求取决于多个因素，如输入数据（音频或文本）的大小、用于翻译的语言、模型的速度和 GPU 上的可用内存。
通常，Whisper 模型设计用于在 GPU 上运行。运行 Whisper 模型的推荐最低 GPU 内存量是 8GB，但如果需要，它可以处理更大的内存量。
需要注意的是，在模型上运行大量数据或高量的请求可能需要更多的 GPU 内存，并可能导致性能问题。建议使用不同配置测试你的使用案例，并监控内存使用情况，以确定适合你具体需求的最佳设置。
名为 “Interactive Phi 3 Mini 4K Instruct Chatbot with Whisper” 的 jupyter notebook 演示了如何使用 Microsoft Phi 3 Mini 4K 指导演示生成来自音频或书面文本输入的文本。notebook 定义了几个函数：
tts_file_name(text): 该函数根据输入文本生成一个文件名，用于保存生成的音频文件。edge_free_tts(chunks_list,speed,voice_name,save_path): 该函数使用 Edge TTS API 从输入文本块列表生成一个音频文件。输入参数包括块列表、语速、语音名称和保存生成音频文件的输出路径。talk(input_text): 该函数使用 Edge TTS API 生成一个音频文件，并将其保存到 /content/audio 目录中的随机文件名。输入参数是要转换为语音的输入文本。run_text_prompt(message, chat_history): 该函数使用 Microsoft Phi 3 Mini 4K 指导演示从消息输入生成一个音频文件，并将其附加到聊天历史中。run_audio_prompt(audio, chat_history): 该函数使用 Whisper 模型 API 将音频文件转换为文本，并将其传递给run_text_prompt()函数。- 代码启动了一个 Gradio 应用，允许用户通过输入消息或上传音频文件与 Phi 3 Mini 4K 指导演示进行交互。输出显示为应用中的文本消息。
安装 Cuda GPU 驱动程序
-
确保你的 Linux 应用程序是最新的
sudo apt update
-
安装 Cuda 驱动程序
sudo apt install nvidia-cuda-toolkit
-
注册 cuda 驱动程序位置
echo /usr/lib64-nvidia/ >/etc/ld.so.conf.d/libcuda.conf; ldconfig
-
检查 Nvidia GPU 内存大小（需要 12GB GPU 内存）
nvidia-smi
-
清空缓存：如果你使用的是 PyTorch，可以调用 torch.cuda.empty_cache() 释放所有未使用的缓存内存，以便其他 GPU 应用程序使用
torch.cuda.empty_cache()
-
检查 Nvidia Cuda
nvcc --version
-
执行以下任务以创建一个 Hugging Face 令牌。
- 导航到 Hugging Face 令牌设置页面。
- 选择 New token。
- 输入你想使用的项目名称。
- 将类型选择为 Write。
注意
如果你遇到以下错误：
/sbin/ldconfig.real: Can't create temporary cache file /etc/ld.so.cache~: Permission denied要解决此问题，请在终端中键入以下命令。
sudo ldconfig