公司MediaTek（联发科）联合宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，实现手机AI体验大幅提升。
这是通义大模型首次完成芯片级的软硬适配，仅依靠终端算力便能拥有极佳的推理性能及功耗表现，标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。据介绍，基于天玑9300芯片，通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现，推理时CPU占有率仅为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，可在离线环境下流畅实现多轮AI对话，连续推理功耗增量不到3W。
据了解，通义千问18亿参数开源大模型，推理2048 token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成MediaTek第七代AI处理器APU790，生成式AI处理速度是上一代AI处理器的8倍。
阿里巴巴通义实验室业务负责人徐栋介绍称，阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作，实现了基于AI处理器的高效异构加速，真正把大模型“装进”并运行在手机芯片中，给业界成功打样端侧AI的Model-on-Chip部署新模式。
据了解，相关成果将以SDK的形式提供给手机厂商和开发者。 此外，双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配，未来还将基于天玑适配70亿等更多尺寸大模型。
