5瓦功耗实现多路视频实时分析，NVIDIA Jetson蕴含哪些黑科技？

NVIDIA Jetson Nano开发者套件是一款功能强大的小型计算机，可在图像分类、目标检测、分割和语音处理等应用中并行运行多个神经网络。全部工作都可在这一简单易用的平台上完成，而其运行功耗仅为5瓦。

Jetson Nano的AI性能并没有因为其卡片大小而有所削减，其能为各种复杂的深度神经网络模型提供实时计算机视觉和推理。下面是一些经典模型的测试结果，方便大家进行评估。

很多开发者遇到的问题都是在实际应用中难以达到官方所宣称的性能。显然，这需要依赖良好的优化，推荐首选NVIDIA TensorRT来做推理，经过更新，TensorRT已经到了7.1.3版，性能也更强大。

近期，一位初学者把Nano接入公司普通高清摄像头组成的安防系统中，成功以极其低廉的价格实现智能视频分析。项目已开源分享在Jetson开发者社区中。

这里读取了4路普通高清摄相机的RTSP流，使用PeopleNet做行人检测，准确性为92%。这是一个非常典型的安防视频分析流程。使用DeepStream SDK，可以在几分钟内完成配置和部署。更进一步，甚至可以扩展这个流程，将其用于人流量分析，并将结果上传服务器或云端。NVIDIA 也开源了更完整的示例（详情见链接）。

https://github.com/NVIDIA-AI-IOT/deepstream-occupancy-analytics

总体来说，Jetson Nano入门门槛十分之低，这无疑对开发者是很友好的。NVIDIA也希望有更多开发者参与进来，进一步挖掘Jetson的应用潜力。上面示例几乎不需要修改就可以跑在Jetson平台的其它硬件上。如果使用Jetson AGX Xavier，扩展到32路视频进行实时分析应该也是没有问题的。

Jetson软件开发套件 (SDK)可提供全套工具、库、支持GPU的算法和教程，以加速应用程序的开发。上述安防系统能够快速得到智能化升级，正是得益于DeepStream的完美支持。

DeepStream是NVIDIA针对智能视频分析（IVA）应用提供的端到端解决方案，其中包括图像获取、解码、预处理、检测、追踪、分类、分析无缝连接。如果再配合Transfer Learning Toolkit，则连模型的训练、剪枝都能够一起解决。

DeepStream的基础示例是在Jetson Nano上进行8路视频解码、推理及追踪。

这个示例中所用的模型比较简单，Backbone为ResNet10，输入分辨率也仅有480×272，因此准确性还不算太高。但足以验证8路1080p解码能力。

基础示例主要用于为开发者展示DeepStream的总体流程，模型看上去还不够实用。而Transfer Learning Toolkit中则提供了几个精度更高的预训练模型，也更加倾向实际场景。这些模型都可以在NVIDIA NGC上获取，并可以根据EULA进行免费商业使用。下面大家一起来看看效果。

这里是一个行车记录仪场景，即将1个检测模型和2个分类模型背靠背连接。检测器识别汽车、自行车、行人、路标4类目标，并将检测到的车辆送入两个分类网络判断品牌和车型。检测网络输入分辨率为960×544，准确性在90%以上，分类网络输入分辨率为 224×224，准确性均高于94%。

简单来说，Jetson针对不同的开发者，针对不同的人群和不同的场景，有它不同的优势所在，主要有以下三点。

1. 面向用户和开发者，Jetson提供了各种免费工具和SDK，对用户不同的AI应用进行加速，满足大家不同场景的一个需求。如果你是相对来说资深一些的开发者，你可以直接用CUDA对硬件，比如说GPU上的运算单元进行操作；你是数据科学家，关注算法能不能很快的跑起来，那么你就可以直接把模型输入给它，在GPU上跑出来一个最好的效果。

图3-免费的软件工具及文档

2. 提供的工具还支持非常多的主流的框架，比如说TensorRT、OpenCV等等，这样子你就可以把你在其他平台上通用的框架训练出来的模型结果直接部署到我们的Jetson上来，可以大大节省你的时间。

图4-支持主流框架

3. 提供统一软件架构—CUDA，可以最大程度降低硬件的迁徙成本。由于Jetson所有硬件平台使用统一架构，当你从一个硬件平台往另外一个硬件平台上迁徙的时候，你只需要做再次编译即可，无需要做任何代码级的改动。

图5-单一且统一的软件堆栈

无论对于大型企业、中小型企业还是研究机构而言，Jetson 系列模块都可以提供可满足特定性能和预算需求的解决方案。目前全系开发者套件和模组，Cloudhin云轩均可以按实际落地需求配套提供。无人机、自动化工控、智能安防和智慧影像分析等行业专业应用，欢迎联系我们进行配套定制。专业勤修，锐意进取。云轩技术工程师毕业于NVIDIA深度学习研究所，丰富经验，值得信赖。