详情

在东说念主工智能规模空星体育，大谈话模子的锻练与推理老本一直是远离时刻普及的要道成分之一。近日，北京大学东说念主工智能商榷院助理造就张牧涵团队在鲲鹏昇腾科教革命超卓中心（简称“超卓中心”）提供的算力支合手下，生效研发出一套高效的大模子锻练推理架构，扫尾了百万tokens输入老本低至1元，为产业提供了高效力、低老本的处置决策。

此商榷恶果包括三项要道时刻革命。最初，现在闲居使用的相对位置编码存在较大的稀少性，团队通过将每个严防力头中的位置信息和非位置信息离别，对位置编码进行了低秩压缩，仅使用3%的位置信息，即可保管原有抒发智商。该范例通过优化昇腾硬件的flash-attention算子，使得严防力头的参数取得更高效应用。

第二，非位置编码信息在原始模子中频繁处于被扼制景况。通过将位置编码与非位置编码离别，非位置编码取得了较大的压缩空间。团队遴荐了聚会KV的低秩压缩范例，仅保留12.5%的KV Cache即可保管原始模子的智商。这一范例大致灵验应用昇腾硬件高效的计较智商，收缩访存压力，权贵普及推理效率。

终末，基于昇腾硬件在出色的并行计较智商，团队扫尾的Recurrent Decoding（RD）时刻通过替换LM-head普及了锻练数据应用率并加快了推理。在锻练阶段，RD通过将解码出的多个tokens与target tokens进行对比，扫尾了锻练数据的高效应用；在推理阶段，联接投契推理权贵提高了tokens的采样通过率，进而普及了推理速率。

这一恶果取得了学术界的闲居表情，不仅为科研提供了可复用的高效架构空星体育，也为AI大模子在企业中的应用大幅镌汰了老本。自昨年6月缔造以来，北京大学与华为在产业前沿课题的聚会攻关合手续鞭策，本次恶果考据了昇腾算力平台复旧顶端科研的时刻实力。超卓中心将接续深远开展大模子要道时刻革命，为构建中国时刻生态提供坚实复旧。