TensorFlow采用基于OpenCL的移动GPU推理引擎 以使推理效能加倍

  谷歌近日为其Android上的TensorFlow框架开发了新的基于OpenCL的移动GPU推理引擎，与现有的OpenGL后端相比，新的推理引擎速度是前者的2倍。

  OpenGL是一种渲染图形API，其应用已近30年之久，目前常用的GPU推理引擎均是以OpenGL开发。虽然在 OpenGL ES 3.1中新增了计算着色器Compute Shader，但TensorFlow团队表示，向后兼容的设计限制了GPU的运算能力。

  而OpenCL从一开始就是为使用各种计算加速而设计的，因此更为适合移动GPU推理领域。这促使TensorFlow团队对基于OpenCL的移动推理引擎进行了考察，并最终决定采用该引擎。TFLite开发团队提到，与OpenGL相比，最佳化OpenCL后端要简单许多，因为OpenCL提供良好的分析功能，利用概要分析API，开发团队能够精确地量测核心调度效能。

  值得一提的是，这一推理引擎具有完整的效能分析功，也就是说优化器会选择适合大小的神经网络工作组以提高GPU的效率。且原生支持FP16，即使在比较老旧的GPU硬件上，如2012年的Adreno 305也可完美发挥出GPU的效能。