“联想推理加快引擎”使用高机能并行解码、算子融合优化及异构计较手艺,正在多种使用场景下大幅提拔推理速度,同时显著降低功耗和内存占用。取大模子推理芯片连系后,硬件加快取软件优化无缝协做,机能提拔构成叠加效应。
为曲不雅展示该引擎实力,三台设置装备摆设不异的AI PC同时解答2024年高考数学压轴题,初代大模子耗时27秒且谜底0分,而搭载“联想推理加快引擎”的二代大模子仅耗时13秒便获满分。这表白,模子能力提拔取“联想推理加快引擎”的算力优化,使设备预填充更快、解码速度更高、推理时间更短,内存占用和能耗更低,AI能力大幅提拔。
【CNMO科技动静】5月7日,联想立异科技大会正式召开,大会以“让AI成为创重生产力”为从题,环绕夹杂式人工智能,从小我到企业,全方位呈现了联想的立异手艺。
会上,联想初次提出“超等智能体”概念,并明白其三大焦点功能,即取交互、同时,联想正式发布“联想天禧”小我超等智能体和“联想乐享”企业超等智能体。