標題: Arm NN:在移动和嵌入式设备上无缝构建和运行机器学习应用程序 [打印本頁] 作者: admin 時間: 2019-6-5 17:21 標題: Arm NN:在移动和嵌入式设备上无缝构建和运行机器学习应用程序 近来，Arm颁布发表推入迷经收集呆板进修(ML) 软件 Arm NN。这项关头性技能，可在基于 Arm 的高能效平台上轻松构建和运行呆板进修利用步伐。
现实上，该软件桥接了现有神经收集框架（比方 TensorFlow 或 Caffe）与在嵌入式 Linux 平台上运行的底层处置硬件（比方 CPU、GPU 或新型 Arm 呆板进修处置器）。如许，开辟职员可以或许继续利用他们首选的框架和东西，经 Arm NN 无缝转换成果后可在底层平台上运行。
呆板进修必要一个练习阶段，也就是进修阶段（这些是猫的图片），此外还必要一个推理阶段，也就是利用所学的内容（这是猫的图片吗？）。练习今朝凡是在办事器或雷同装备上产生，而推理则更多地转移到收集边沿，这恰是新版本 Arm NN 的重点地点。
一切环抱平台
呆板进修事情负载的特色是计较量大、必要大量存储器带宽，这恰是挪动装备和嵌入式装备面对的最大挑战之一。跟着运行呆板进修的需求日趋增加，对这些事情负载举行分区变得愈来愈首要，以便充实操纵可用计较资本。软件开辟职员面对的多是不少分歧的平台，这就带来一个实际问题：CPU 凡是包括多个内核（在 Arm DynamIQ big.LITTLE 中，乃至另有多种内核类型），还要斟酌 GPU，和百家樂公式,很多其他类型的专用处置器，包含 Arm 呆板进修处置器，这些都是总体解决方案的一部门。Arm NN 这时候就可以派上用处。
下图中可以看出，Arm NN 饰演了关键脚色，既暗藏了底层硬件平台的繁杂性，同时让开辟职员可以或许继续利用他们的首选神经收集框架。
Arm NN SDK 概览（初次公布版本）
您可能已注重到，Arm NN 的一个关头请求是 Compute Library，它包括一系列初级别呆板进修和计较机视觉函数，面向 Arm Cortex-A CPU 和 Arm Mali GPU。咱们的方针是让这个库聚集针对这些函数的一流优化，近期的优化已展现了显著的机能晋升 比等同 OpenCV 函数提高了 15 倍乃至更多。若是您是Cortex-M CPU 的用户，如今另有一个呆板进修原语库 也就是近期公布的 CMSIS-NN。
CMSIS-NN 是一系列高效神经收集内核的调集，其开辟目标是最大水平地晋升神经收集的机能，削减神经收集在面向智能物联网边沿装备的 Arm Cortex-M 处置器内核上的内存占用。Arm开辟这个库的目标是全力晋升这些资本受限的 Cortex CPU 上的神经收集推理机能。借助基于 CMSIS-NN 内核的神经收集推理，运行时/吞吐量和能效可晋升约莫 5 倍。
与 Compute Library 不异，Arm NN 也是作为开源软件公布的，这象征着它可以或许相对于简略地举行扩大，从而顺应 Arm 互助火伴的其他内核类型。
合用于 Android 的 Arm NN
在蒲月举办的 Google I/O 年会上，Google 公布了针对 Android 的 TensorFlow Lite，预示着重要新型 API 起头支撑在基于 Arm 的 Android 平台上摆设神经收集。概况上，这与 Android 下的 Arm NN SDK 解决方案很是类似。利用 NNAPI 时，呆板进修事情负载默许在 CPU 上运行，但硬件抽象层 (HAL) 机制也支撑在其他类型的处置器或加快器上运行这些事情负载。Google 公布以上动静的同时，咱们的 Arm NN 规划也希望顺遂，这是为利用 Arm NN 的 Mali GPU 供给 HAL。本年晚些时辰，咱们还将为 Arm 呆板进修处置器供给硬件抽象层。
Arm 对 Google NNAPI 的支撑概览
Arm NN 的将来成长
这只是 Arm NN 的第一步：咱们还规划添加其他高档神经收集作为输入，对 Arm NN 调试步伐履行进一步的图形级别优化，笼盖其他类型的处置器或加快器请紧密亲密存眷本年的成长！