

MNN Chat是一款可以让用户在手机上使用MNN引擎构建AI软件,阿里MNN AI引擎在国内算是最顶尖一档的AI算法引擎了,此软件可以让大家在手机行进行操作使用,帮助用户解决在日常生活中遇到的各种问题,可以提高大家的工作效率,而且极大了优化本地设备的部署效率,兼容市面上所有复杂的模型,减少了很多繁琐的操作,所有AI模型直接下载适配使用,还支持自由切换,下载此款软件相当于将所有AI引擎全部下载到手机中。
1、专为大语言模型打造的多功能推理框架,全面支持armv7与arm64架构,致力于优化模型在手机和PC上的部署效率。
2、内嵌Mini编辑模式,支持模型FP16/Int8压缩与量化,保障性能的同时大幅降低包体积,有效提升运行效率。
3、支持千问、百川、智谱、LLAMA等多种主流大语言模型,兼容Tensorflow、ONNX等主流格式,功能全面且拓展性强。

1、支持Qwen2-VL、Qwen2-Audio等多模态大模型,不仅能进行文字对话,还能轻松实现图像分析与语音理解。
2、内置LLM单步执行与扩展采样算法,支持自定义Sampler设置、System Prompt等,让模型输出更贴合个人需求。
3、深度优化CPU多线程与prefill性能,新增mmap文件缓存支持,二次加载模型速度更快,本地推理体验丝滑流畅。

1、作为轻量级深度神经网络引擎,核心功能无依赖且代码精简,能轻松适配各类手机、平板及嵌入式设备。
2、支持设备的CPU、GPU及部分设备的NPU计算,广泛兼容Android、iOS、Windows及Linux系统,跨平台表现优异。
3、完全本地化运行,数据不出设备,在提供低延迟、高安全AI体验的同时,彻底告别网络依赖与隐私泄露风险。