爱心元智，人工智能芯片研发及基本计算平台公司，近日宣布，Meta、Microsoft先后发布了里程碑Llama 3系列和Phi-3系列模型。爱心元智NPU工具链团队为了进一步为开发者提供更多的品尝，迅速响应，基于AX650N平台完成 Llama 3 适应8B和Phi-3-mini模型。

Llama 3

上周五，Meta发布了Meta Llama 3系列语言模型（LLM），在测试基准中具体包括8B模型和70B模型，Llama 3模型性能优异，在实用性和安全性评价上与市场上流行的闭源模型相当。

官方网址：https://llama.meta.com/llama3

在架构层面，Llama 3选择标准只解码（decoder-only）Transformer架构包含128KKK token词汇表的分词器。Llama 3.使用超过15T的公共数据进行培训，其中5%是非英语数据，涵盖30多种语言。培训数据量为上一代Llama 2的七倍。

根据Meta的测试结果，Llama 3 MMLU有8B模型、GPQA、Humaneval等多项性能基准均超过Gemmaneval 7B和Mistral 7B Instruct，70B模型超过了著名的闭源模型Claudee Sonnnet的中间版本，谷歌的Gemini Pro 1.5与三胜两负相比。

实际上，AX650N已经完成了Llama 3 8B Int8版本的适配，如果Int4量化，每秒token的数量可以翻倍，可以满足正常的人机交流。

Phi-3

Llama 3发布后不久，竞争对手就来了，是一个可以在手机上运行的小体积模型。

本周二，微软发布了自主研发的小尺寸模型Phi-3。虽然Phi-3-mini优化到可部署在手机上，但其性能可以与Mixtral相匹配 8x7B与GPT-3.5等模型相当。微软表示，这一创新主要是使用质量更好的训练数据集。

在线DEMO：https://ai.azure.com/explore/models/Phi-3-mini-4k-instruct/version/2/registry/azureml

实际上，AX650N已经完成了Phi-3-mini Int8版本的适应性能够满足正常的人机交流。

其他成果

AX650N能在第一时间完成Llama 3.Phi-3的适应源于今年以来，相关团队悄然完成了现有NPU工具链对大语言模型的支持和调整。目前，除了Llama 除了3，Llama已经完成 2、TinyLlama、Phi-2、Qwen1.5、适应ChatGLM3等国内外主流开源大语言模型。

相关成果已释放到开发者社区（https://github.com/AXERA-TECH/ax-llm）欢迎尝鲜。

后续计划

今年是AIPC的第一年，爱心元智将为AIPC的常见应用提供更多的解决方案。充分发挥爱心通元NPU高效率的技术优势，实现各种有趣的大型模型的高成本本本地化部署，实现“每个人都能负担得起大型模型”，深入实践“包容性人工智能，创造更好的生活”。

关于爱心元智：

爱心元智半导体有限公司成立于2019年5月，致力于打造世界领先的人工智能感知和边缘计算芯片，服务于智能城市、智能驾驶、机器人、AR/VR等巨大的边缘和端部设备市场。公司自主研发了爱心智能眼睛AI-ISP和爱心通元混合精度NPU两项核心技术，在过去四年中完成了四代以上智能芯片产品的研发和批量生产。坚持“包容性人工智能，创造更好的生活”的使命，以“构建世界级的感知和计算平台”为愿景，致力于成为物理世界的数字入口，为不同行业提供基本的人工智能计算平台，使智能真正触手可及。