爱心元智，人工智能芯片研发及基本计算平台公司，近日宣布，Meta、Microsoft先后发布了里程碑Llama 3系列和Phi-3系列模型。爱心元智NPU工具链团队为了进一步为开发者提供更多的品尝，迅速响应，基于AX650N平台完成 Llama 3 适应8B和Phi-3-mini模型。

Llama 3

上周五，Meta发布了Meta Llama 3系列语言模型（LLM），在测试基准中具体包括8B模型和70B模型，Llama 3模型性能优异，在实用性和安全性评价上与市场上流行的闭源模型相当。

官方网址：https://llama.meta.com/llama3

在架构层面，Llama 3选择标准只解码（decoder-only）Transformer架构包含128KKK token词汇表的分词器。Llama 3使用15T以上的公共数据进行训练，其中5%是非英语数据，涵盖30多种语言。训练数据是前代Llama 2的七倍。

根据Meta的测试结果，Llama 3 8B模型在MMLU、GPQA、Humaneval等多项性能基准均超过Gemmaneval 7B和Mistral 7B Instruct，70B模型超过了著名的闭源模型Claudee Sonnnet的中间版本，谷歌的Gemini Pro 1.5与三胜两负相比。

实际上，AX650N已经完成了Llama 3 8B Int8版本的适配，如果Int4量化，每秒token的数量可以翻倍，可以满足正常的人机交流。

Phi-3

Llama 3发布后不久，竞争对手就来了，是一个可以在手机上运行的小体积模型。

本周二，微软发布了自主研发的小尺寸模型Phi-3。虽然Phi-3-mini优化到可部署在手机上，但其性能可以与Mixtral相匹配 8x7B与GPT-3.5等模型相当。微软表示，这一创新主要是使用质量更好的训练数据集。

在线DEMO：https://ai.azure.com/explore/models/Phi-3-mini-4k-instruct/version/2/registry/azureml

实际上，AX650N已经完成了Phi-3-mini Int8版本的适应性能够满足正常的人机交流。

其他成果

AX650N能在第一时间完成Llama 3.Phi-3的适应源于今年以来，相关团队悄然完成了现有NPU工具链对大语言模型的支持和调整。目前，除了Llama 除了3，Llama已经完成 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等国内外主流开源大语言模型的适应。

相关成果已释放到开发者社区（https://github.com/AXERA-TECH/ax-llm）欢迎尝鲜。

后续计划

今年是AIPC的第一年，爱心元智将为AIPC的常见应用提供更多的解决方案。充分发挥爱心通元NPU高效率的技术优势，实现各种有趣的大型模型的高成本本本地化部署，实现“每个人都能负担得起大型模型”，深入实践“包容性人工智能，创造更好的生活”。