吞吐量提高3倍、延迟改善20%，微软背后的技术力量

Graphcore在智「」能处理单元有了新突破。

近日，在布里斯托「」Graphcore宣布与微软「」的具体合作内容，并『』正式发布MicrosoftAzure上Graphcore智能处理单元『』（IPU）的『』预览版。

这是公有云领导『』供应商首次提供GrapchoreIPU，这些「」IPU从构建之初便旨『』在『』支持下一代机器学习『』。这对Graphcore而言是具有里程碑意义的时刻，证「」明『』了GraphcoreIPU硬件和Poplar软件栈的成「」熟「」性。

微软和Graphcore已经紧『』密合作了两「」年多。在此期间，由杰出工程师MarcTremblay领导的微『』软团「」队一直在开发针对Azure的系统，并在IPU上提「」升高级机器视觉和自然语言处理（NLP）模型。

Azure上的GraphcoreIPU预「」览版现已开放供用户注册，专注于突破NLP界限并在机器智能『』方面取得新突破的开发者可获得优先访问权『』限「」。

Graphcore从『』零开始设计智能处理单元（IPU），旨在驱动机器智能领「」域『』的新突破。IPU和「」产品就绪的「」Poplar软件栈为开发人员提供了功能强大、高效、可扩展和「」高性能的解决方「」案，从而「」助『』力实现AI创新。通「」过加「」速更复杂的模型并开发全新的技术，客户得以解「」决最困难「」的AI工作负载。

微软「」和Graphcore的开发人员使用BERT语言模型实现了最先进的性能和准『』确「」性「」，仅用一个「」IPU服务器系统『』和8个C2IPU处理器PCIe卡就可以在56个小时内训练BERTBase。对于BERT推理，我们的客『』户发现吞吐量提高了3倍，延迟改善了20％以上，从而可以更快地交付结果。

该水平的语言「」理解性「」能对于搜索『』引擎提供更有用的查「」询响应以及对于文本和对话式『』AI应用程「」序（如情感分析和需要人类水平理解能力的智能个人助手）至关重要。自然语言处理是人工智能的重要战略领域，预计到2025年，仅针对『』自然『』语言处理的人工「」智能硬件市场规「」模就将达到『』150亿美元（来源：TracticaQ42018）。

微软公『』司Azure计算事业部副总裁『』GirishBablani表示，“自然语言「」处理模型对于「」微软来说非常重要——在MicrosoftAzure上运行我们的内部AI工作负「」载，以『』及服务我们的AI客「」户，”微软公司Azure计「」算事业部副『』总裁GirishBablani说：“与Graphcore在处理器「」方面的新合作能够为我们的『』客户带「」来诸多裨益，这一潜力令我们感到非『』常「」兴奋「」。Graphcore的产品扩展『』了Azure的能力，我们在「」此『』领域内所「」做的努力是我们确保Azure仍然是AI最佳云的战略『』的一部分。”



除了『』为当今的复杂AI模型（如BERT）提供最先『』进的性能外「」，IPU还擅长加『』速新技术「」。IPU将开『』辟新的研究领域，并帮助公司探索新技术，建立可以用更『』少的数据进行训练的更高效的机器学习系统「」。

欧洲搜索引擎Qwant是GraphcoreIPU早期的客「」户之「」一，Qwant凭借运行搭『』载下一代图像识别模型ResNext的『』IPU，获得了高性能，同「」时降低了『』延迟。

Qwant首席执行『』官埃里克莱安德里（EricLeandri）解释说：“Qwant的研究团队致力于AI的前沿技『』术，以便在「」用户搜索查询中快速提『』供最佳结果，同时『』确保『』结果是中立、公正和准确的。这是『』一个很高的要求。我们每天仅图像搜索就「」达到『』数百万次。我们正在实施的最新AI创新之一是称「」为ResNext的新型图像识别模型，可以『』提高提供图像搜索结果的准确性和速度。我『』们一直与微软和Graphcore紧密合作，在Azure中使用IPU处理器技『』术，并且「」在使用『』IPU上使用ResNext的图像搜索功能中看到了显着改，即性能提高了3.5倍。GraphcoreIPU在新的机器智能模型上具有巨大的创新潜力，我们正在研究这『』些方法来完善搜索，以便我们能够准确地提供客户所需的结果。”



ResNext使「」用分组卷积和『』深度可分离卷积来大幅提『』高效率（准确性/参数）。这涉及将卷积块「」拆分为较小的可分离块，以便IPU有效地支持这些卷积块。

为了更深入地了「」解针对组卷积和完全深度可分离卷积的硬「」件适「」用性，Graphcore的客户工「」程团队制定了一组微基准测试，其中包括典型的卷积模块。测试表明「」，IPU具有明显「」的全面优势，分组卷积的吞吐量优势『』更「」高达77倍。



Citadel高性能计算研发团队负责『』人DanieleScarpazza表示，“在Citadel，我们的一个重点是利用尖端技术来优化一系列策略和资产『』类「」别的『』投资流程「」。我们相信，不断重新评估和改进我『』们为投资团「」队提供的技术可『』以帮助我们在竞争中保持领先『』地位。我们很高兴作为其早期合作伙伴之一与Graphcore合作，以测试新处理『』器『』技「」术「」在我们业务中可能实「」现的应用。GraphcoreIPU是专为机器学习而设计的，其新颖的架构已经使「」我们能够探索以前效率低「」下或根本不「」可能实现的新技术。”

伦敦帝国理工「」学院「」计算机系机器人「」视觉教授AndrewDavison教授说，“我们相信，新的处理器技术将在不久的将来『』在空间「」AI和SLAM（同步定位和地图构建）的发「」展中发挥关键作用。我们很高兴能够在早期获『』得Graphcore创新型新硬件的研究机会。完全通用的空间AI将需要图形上的「」稀疏概率和几「」何推理「」以及具有「」深层神经网『』络『』的计算。Graphcore对通信「」和计「」算同样重视，创造了一种「」新的可扩展架构「」，我们相信它具有以低「」延迟和『』低「」功耗执行所有这些算法的潜力。”

最后，Graphcore还「」宣布还将与戴尔公司「」一起展示我们的第一个IPU技术，该技术旨在满足企业客户构建本地机器智能计算的需求。

据悉，在戴尔公司的SC19（＃913）展位上展出的DellEMCDSS8440是一款采用Graphcore技术的机『』器学习服务器『』。该系统使用8个GraphcoreC2IPU处理器PCIe卡提供「」1.6PetaFlops的机器智能计算『』，每个卡有2个IPU处理器，所有卡都在标准4U机箱中与高速「」IPU-Link技「」术连接。