MNN Chat

https://github.com/alibaba/MNN/blob/master/apps/Android/MnnLlmChat/README.md?tab=readme-ov-file#releases MNN 聊天 Android 应用 这是我们的完整多模态语言模型 (LLM) Android 应用 特征 多模式支持： 支持跨多种任务的功能，包括文本到文本、图像到文本、音频到文本和文本到图像生成（通过扩散模型）。 CPU 推理优化： MNN-LLM 在 Android 的 CPU 基准测试中表现出色，预填充速度比 llama.cpp 提高了 8.6 倍，比 fastllm 提高了 20.5 倍，解码速度分别提高了 2.3 倍和 8.9 倍。以下是 llama.cpp 与 MNN-LLM 在 Android 推理 qwen-7b 上的比较。 广泛的模型兼容性： 支持多个领先的模型提供商，例如 Qwen、Gemma、Llama（包括 TinyLlama 和 MobileLLM）、Baichuan、Yi、DeepSeek、InternLM、Phi、ReaderLM 和 Smolm。 隐私第一： 完全在设备上运行，确保完全的数据隐私，不会将任何信息上传到外部服务器。 如何使用 您可以从 Releases 下载该应用程序或 自行构建 ； 安装应用程序后，您可以浏览所有支持的模型，下载它们，并直接在应用程序内与它们进行交互。 此外，您还可以在侧边栏访问您的聊天记录并无缝地重新访问以前的对话。 !!!警告!!! 此版本已在 OnePlus 13 和小米 14 Ultra 上独家测试。由于大型语言模型 (LLM) 对性能要求极高，许多预算或低配置设备可能会遇到推理速度慢、应用程序不稳定甚至完全无法运行等问题。并且无法保证其在其他设备上的稳定性。如果您遇到任何问题，请随时提交问题寻求帮助。