AI开发大一统：谷歌OpenXLA开源，整合所有框架和AI芯片

机器之心报道编辑：蛋酱，泽南

机器学习的未来发展会统一吗？

在去年10月的Google Cloud Next 2022活动中，OpenXLA项目正式浮出水面。

谷歌与包括阿里巴巴、AMD、Arm、亚马逊、英特尔、英伟达等科技公司推动的开源AI框架合作。并致力于汇集不同的机器学习框架，让机器学习开发者获得主动选择框架和硬件的能力。本周三，

Google宣布OpenXLA项目正式开源。

项目链接：https://github.com/openxla/xla创建了一个统一的机器学习编译器，可以与许多不同的机器学习框架和硬件平台一起工作。

OpenXLA可以加速机器学习应用的交付，并提供更好的代码可移植性。这是AI研究和应用的一个意义重大的项目，Jeff Dean也在社交网络上推广过。

如今，机器学习的开发和部署受到碎片化基础设施的影响，这些基础设施可能因框架、硬件和用例而异。这种相互隔离限制了开发人员的工作速度，阻碍了模型的可移植性、效率和生产。3月8日，

像Google这样的组织已经通过开放OpenXLA项目(包括XLA、StableHLO和IREE库)朝着消除这些障碍迈出了重要的一步。

OpenXLA是由AI/机器学习行业领导者共同开发的开源ML编译器生态系统。

贡献者包括阿里巴巴、AWS、AMD、苹果、Arm、脑波强化器、谷歌、Graphcore、拥抱脸、英特尔、Meta和NVIDIA。

它使开发人员能够从所有领先的机器学习框架中编译和优化模型，以便在各种硬件上进行有效的培训和服务。

使用OpenXLA的开发人员可以观察到训练时间、吞吐量、服务延迟以及最终发布和计算成本方面的显著改进。机器学习技术设施面临的挑战随着AI技术进入实用阶段，

许多行业的开发团队都在使用机器学习来应对现实世界的挑战，如疾病预测和预防、个性化学习体验和黑洞物理探索。随着模型参数数量的指数级增长，深度学习模型所需的计算量每六个月翻一番。

开发人员正在寻求基础设施的最高性能和利用率。大量团队正在使用各种类型的硬件，从数据中心的节能机器学习专用ASIC到可以提供更快响应速度的AI edge处理器。因此，为了提高效率，

这些硬件设备使用定制的独特算法和软件库。另一方面，如果没有一个通用的编译器把不同的硬件设备桥接到今天使用的各种框架上(比如TensorFlow和PyTorch)，

人们需要做出很多努力来有效地运行机器学习。在实际工作中，开发人员必须手动优化每个硬件目标的模型操作。这意味着使用定制软件库或编写特定于设备的代码需要领域专业知识。这是一个矛盾的结果，

为了提高效率，使用了特殊的技术，但结果是跨越框架和硬件的孤立的、不可推广的路径导致维护成本高，进而导致供应商锁定，减缓机器学习开发的进度。解决方案和目标OpenXLA项目提供了最先进的ML编译器。

它可以在ML基础设施的复杂性方面进行扩展。它的核心支柱是性能、可扩展性、可移植性、灵活性和易用性。借助OpenXLA，我们渴望通过加速人工智能的开发和交付，实现AI在现实世界中的更大潜力。

OpenXLA的目标是通过一个适用于任何框架的统一编译器API，接入专用设备和优化的后端，让开发者可以方便地在自己偏好的框架下，为各种硬件编译和优化任何模型。为当前和新兴型号提供行业领先的性能，

它还可以扩展到多个主机和加速器，以满足边缘部署的限制，并在未来扩展到新的模型架构。构建一个分层的、可扩展的机器学习编译器平台，为开发人员提供基于MLIR的组件，这些组件可以针对他们独特的用例进行重新配置。

用于硬件定制编译过程。AI/ML领袖社区我们今天在机器学习基础设施中面临的挑战是巨大的，没有一个组织能够单独有效地解决这些挑战。

OpenXLA社区汇集了运行在AI栈不同层次(从框架到编译器、运行时和芯片)的开发者和行业领导者，因此非常适合解决我们在ML领域看到的碎片化问题。作为一个开源项目，

OpenXLA遵循以下原则：地位平等：无论隶属关系如何，个人贡献平等。技术领导是贡献最多时间和精力的人。尊重文化：所有成员都应该坚持项目价值观和行为准则，无论他们在社区中的地位如何。

可扩展、高效的治理：小团队做出基于共识的决策，具有清晰但很少使用的升级路径。透明度：所有决定和理由都应该对公众清晰可见。

OpenXLA 生态系统：性能、规模和可移植能力OpenXLA 通过模块化工具链消除了机器学习开发人员的障碍，它通过通用编译器接口得到所有领先框架的支持，利用可移植的标准化模型表示，

并提供具有强大的目标向和特定硬件优化的特定领域编译器。该工具链包括XLA、StableHLO 和IREE，所有这些工具都利用MLIR：一种编译器基础架构，

使机器学习模型能够在硬件上一致地表示、优化和执行。

参考内容：https://opensource.googleblog.com/2023/03/openxla-is-ready-to-accelerate-and-simplify-ml-development.html m=1https://venturebeat.com/ai/google-reveals-whats-next-for-cloud-ai/