生成编译支持的模型数量增加了四倍，并将实施时间缩短了几个数量级
以能源为中心的 AI 推理加速领域的领导者Untether AI ®今天为imAIgine ®软件开发套件 (SDK)的用户推出了 AI 模型支持和开发速度方面的突破。使用突破性的生成编译器技术，即将发布的 imAIgine SDK 将支持比以前版本多 4 倍的 AI 模型。此外，对于用户可能构建的新神经网络，生成编译器会自动为这些层创建新的内核，从而将开发时间缩短至几分钟，将开发人员的速度提高几个数量级。
“这项新编译器技术提供了极致的生产力和灵活性”
生成编译器技术加速开发，实现真正的一键部署
基于内核的编译器需要为神经网络的每一层手工编写 c/c++ 程序。由于可能需要数千个内核来支持数量激增的神经网络，这些内核成为将神经网络降低到硬件实现的瓶颈。为了解决这一瓶颈，Untether AI 开发了一种生成编译器技术，该技术可以提取神经网络并应用一系列专门的编译器转换，将高级神经网络运算符降低为基本计算原语。然后，这些原语被重新组合成硬件优化的表示，从而最大限度地提高吞吐量、最大限度地减少延迟并提高 Untether AI 的内存计算架构的效率。只需按一下按钮，神经网络就可以在几秒钟内 降低到 Untether AI 的 speedAI ®设备和卡上。
这项新技术开箱即用，将 imAIgine SDK 支持的模型数量增加到 300 多个，涵盖执行对象检测、语义分割、分类、错误检测和许多其他功能的神经网络。这种广泛的支持建立在 Untether AI 在上一次MLPerf 推理提交中展示的经过验证的性能和能效优势之上。
对于新的神经网络或修改后的神经网络层，生成编译器可以动态创建新的内核，并针对基于 speedAI 推理加速解决方案的 1,400 多个 RISC-V 处理器和 At-Memory Compute 处理单元进行优化。
基于内核的优化可实现最佳性能
新的编译器保留了使用手工优化的内核的能力。编译器可以选择使用现有内核，但如果库中不存在内核，则使用生成技术即时构造新内核。这种将预先存在的优化内核与生成的内核混合搭配的能力加快了实现高性能神经网络的时间。
Untether AI 软件工程副总裁、博士 Alex Grbic 表示：“这项新编译器技术提供了极致的生产力和灵活性。通过引入我们的生成编译器技术，客户可以加快上市速度，快速在 Untether AI 架构上部署他们的神经网络。”
这项新的生成编译器技术将包含在 imAIgine SDK 版本 25.04 中，计划于 2025 年 4 月初上市。
