吞吐量提高3倍、延迟改善20%，微软背后的技术力量

Graphcore在智『zhi』能处理单元有了新突破。

近日，在布里斯托『tuo』Graphcore宣布与微软『ruan』的具体合作内容，并『bing』正式发布MicrosoftAzure上Graphcore智能处理单元「yuan」（IPU）的『de』预览版。

这是公有云领导『dao』供应商首次提供GrapchoreIPU，这些「xie」IPU从构建之初便旨「zhi」在『zai』支持下一代机器学习「xi」。这对Graphcore而言是具有里程碑意义的时刻，证『zheng』明「ming」了GraphcoreIPU硬件和Poplar软件栈的成『cheng』熟「shu」性。

微软和Graphcore已经紧「jin」密合作了两「liang」年多。在此期间，由杰出工程师MarcTremblay领导的微『wei』软团「tuan」队一直在开发针对Azure的系统，并在IPU上提『ti』升高级机器视觉和自然语言处理（NLP）模型。

Azure上的GraphcoreIPU预『yu』览版现已开放供用户注册，专注于突破NLP界限并在机器智能「neng」方面取得新突破的开发者可获得优先访问权「quan」限「xian」。

Graphcore从『cong』零开始设计智能处理单元（IPU），旨在驱动机器智能领『ling』域「yu」的新突破。IPU和「he」产品就绪的「de」Poplar软件栈为开发人员提供了功能强大、高效、可扩展和「he」高性能的解决方「fang」案，从而「er」助「zhu」力实现AI创新。通「tong」过加「jia」速更复杂的模型并开发全新的技术，客户得以解「jie」决最困难「nan」的AI工作负载。

微软『ruan』和Graphcore的开发人员使用BERT语言模型实现了最先进的性能和准『zhun』确『que』性『xing』，仅用一个『ge』IPU服务器系统「tong」和8个C2IPU处理器PCIe卡就可以在56个小时内训练BERTBase。对于BERT推理，我们的客「ke」户发现吞吐量提高了3倍，延迟改善了20％以上，从而可以更快地交付结果。

该水平的语言「yan」理解性「xing」能对于搜索「suo」引擎提供更有用的查「cha」询响应以及对于文本和对话式『shi』AI应用程『cheng』序（如情感分析和需要人类水平理解能力的智能个人助手）至关重要。自然语言处理是人工智能的重要战略领域，预计到2025年，仅针对「dui」自然「ran」语言处理的人工『gong』智能硬件市场规「gui」模就将达到『dao』150亿美元（来源：TracticaQ42018）。

微软公「gong」司Azure计算事业部副总裁「cai」GirishBablani表示，“自然语言『yan』处理模型对于『yu』微软来说非常重要——在MicrosoftAzure上运行我们的内部AI工作负『fu』载，以「yi」及服务我们的AI客『ke』户，”微软公司Azure计「ji」算事业部副『fu』总裁GirishBablani说：“与Graphcore在处理器「qi」方面的新合作能够为我们的「de」客户带「dai」来诸多裨益，这一潜力令我们感到非『fei』常『chang』兴奋「fen」。Graphcore的产品扩展「zhan」了Azure的能力，我们在「zai」此「ci」领域内所『suo』做的努力是我们确保Azure仍然是AI最佳云的战略『lue』的一部分。”



除了「liao」为当今的复杂AI模型（如BERT）提供最先「xian」进的性能外『wai』，IPU还擅长加「jia」速新技术「shu」。IPU将开『kai』辟新的研究领域，并帮助公司探索新技术，建立可以用更「geng」少的数据进行训练的更高效的机器学习系统『tong』。

欧洲搜索引擎Qwant是GraphcoreIPU早期的客「ke」户之「zhi」一，Qwant凭借运行搭「da」载下一代图像识别模型ResNext的『de』IPU，获得了高性能，同『tong』时降低了『liao』延迟。

Qwant首席执行「xing」官埃里克莱安德里（EricLeandri）解释说：“Qwant的研究团队致力于AI的前沿技「ji」术，以便在『zai』用户搜索查询中快速提『ti』供最佳结果，同时『shi』确保「bao」结果是中立、公正和准确的。这是「shi」一个很高的要求。我们每天仅图像搜索就『jiu』达到『dao』数百万次。我们正在实施的最新AI创新之一是称「cheng」为ResNext的新型图像识别模型，可以『yi』提高提供图像搜索结果的准确性和速度。我「wo」们一直与微软和Graphcore紧密合作，在Azure中使用IPU处理器技「ji」术，并且「qie」在使用「yong」IPU上使用ResNext的图像搜索功能中看到了显着改，即性能提高了3.5倍。GraphcoreIPU在新的机器智能模型上具有巨大的创新潜力，我们正在研究这『zhe』些方法来完善搜索，以便我们能够准确地提供客户所需的结果。”



ResNext使『shi』用分组卷积和『he』深度可分离卷积来大幅提『ti』高效率（准确性/参数）。这涉及将卷积块『kuai』拆分为较小的可分离块，以便IPU有效地支持这些卷积块。

为了更深入地了『liao』解针对组卷积和完全深度可分离卷积的硬『ying』件适『shi』用性，Graphcore的客户工「gong」程团队制定了一组微基准测试，其中包括典型的卷积模块。测试表明『ming』，IPU具有明显「xian」的全面优势，分组卷积的吞吐量优势『shi』更「geng」高达77倍。



Citadel高性能计算研发团队负责『ze』人DanieleScarpazza表示，“在Citadel，我们的一个重点是利用尖端技术来优化一系列策略和资产「chan」类「lei」别的『de』投资流程『cheng』。我们相信，不断重新评估和改进我『wo』们为投资团『tuan』队提供的技术可「ke」以帮助我们在竞争中保持领先「xian」地位。我们很高兴作为其早期合作伙伴之一与Graphcore合作，以测试新处理「li」器「qi」技「ji」术「shu」在我们业务中可能实『shi』现的应用。GraphcoreIPU是专为机器学习而设计的，其新颖的架构已经使『shi』我们能够探索以前效率低「di」下或根本不「bu」可能实现的新技术。”

伦敦帝国理工『gong』学院『yuan』计算机系机器人『ren』视觉教授AndrewDavison教授说，“我们相信，新的处理器技术将在不久的将来「lai」在空间『jian』AI和SLAM（同步定位和地图构建）的发「fa」展中发挥关键作用。我们很高兴能够在早期获『huo』得Graphcore创新型新硬件的研究机会。完全通用的空间AI将需要图形上的『de』稀疏概率和几「ji」何推理「li」以及具有『you』深层神经网『wang』络「luo」的计算。Graphcore对通信『xin』和计『ji』算同样重视，创造了一种『zhong』新的可扩展架构「gou」，我们相信它具有以低『di』延迟和「he」低『di』功耗执行所有这些算法的潜力。”

最后，Graphcore还『huan』宣布还将与戴尔公司『si』一起展示我们的第一个IPU技术，该技术旨在满足企业客户构建本地机器智能计算的需求。

据悉，在戴尔公司的SC19（＃913）展位上展出的DellEMCDSS8440是一款采用Graphcore技术的机「ji」器学习服务器「qi」。该系统使用8个GraphcoreC2IPU处理器PCIe卡提供『gong』1.6PetaFlops的机器智能计算「suan」，每个卡有2个IPU处理器，所有卡都在标准4U机箱中与高速『su』IPU-Link技「ji」术连接。