第五代英特尔至强处理器，以优异的体现经过了我国电子技能标准化研究院安排的人工智能服务器体系功用测验（AISBench）。

  借此，英特尔也成为第一批经过AISBench大言语模型（LLM）推理功用测验的企业。

  在AISBench 2.0测验东西的评价下，第五代英特尔至强处理器在ChatGLM V2-6B（60亿参数）和Llama2-13B（130亿参数）两个模型上均展示了杰出的功用，能够很好的满意轻量级大言语模型的实时推理要求。

  测验成果为，在60亿参数的ChatGLM V2模型通用推理中，当输入输出序列为256时，处理器可达每秒2493 token的功用；当输入输出序列为2048时，功用为每秒926 token。

  在130亿参数的Llama2模型通用推理中，当输入输出为256时，功用为每秒513 token；当输入输出序列为2048时，功用为每秒132 token。

  AISBench 2.0的测验成果，验证了英特尔至强在运转轻量级大言语模型时展示出的优异推理功用。

  也使得客户能经过根据至强的服务器，构建一个通用AI体系来进行数据预处理、模型推理和布置，然后取得兼具AI功用、功率、准确性和可扩展性的组合。

  一起还显示了英特尔至强可认为公司能够供给“开箱即用”的功用，即能够在通用体系上布置一部分AI作业负载，然后为用户带来更佳的整体具有本钱（TCO）优势。

  壁仞科技完成我国首个三种异构GPU混训技能！壁仞+英伟达+其他国产芯片

  惊人续航29小时！宏碁特殊笔记本第一批搭载Intel酷睿Ultra 200V

  Intel 18A工艺顺畅超预期！Arrow Lake 20A版别撤销 改外部代工

  腾讯发布新一代大模型“混元Turbo”：推理本钱下降50% 功率提高100%