在ROS World 2021上，NVIDIA發布了向ROS開發者社區提供高性能感知技術的最新項目。這些項目將加速產品開發、提高產品性能，并最終簡化為將先進計算機視覺和AI/ML功能整合到基于ROS的機器人應用程序中的任務。
公告要點：
Ÿ 性能最強的實時立體測距解決方案以ROS包的形式提供
Ÿ NGC上的所有NVIDIA推理DNN均可以ROS組件的形式提供，并帶有圖像分割和姿態估計實例
Ÿ Isaac Sim中的新合成數據生成（SDG）工作流程，可為視覺AI訓練創建大規模生產級數據集
Ÿ Omniverse上的NVIDIA Isaac Sim GA版本提供ROS開箱即用支持，是迄今為止對開發者最友好的版本
NVIDIA Isaac ROS GEM – 經過優化的性能
NVIDIA Isaac ROS為ROS開發者提供AI感知功能
圖1. NVIDIA Isaac ROS GEM軟件框架圖。
Isaac ROS GEM提供圖像處理和計算機視覺等組件，其中有針對NVIDIA GPU和Jetson進行高度優化的DNN算法。
重點GEM：立體視覺測距 – 超高的精度和經過優化的性能
當自主機器在環境中移動時，它們必須持續追蹤自己的位置。視覺測距通過估算攝像機與其起點的相對位置來解決這個問題。Isaac ROS GEM for stereo visual odometry為ROS開發者提供這項強大的功能。
該GEM為實時立體攝像機視覺測距解決方案提供最佳精度。點擊此處可查看基于廣泛使用的KITTI數據庫所得到的公開結果。除了高精度之外，這個GPU加速組件的運行速度也非�？臁，F在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)實時(>60fps)運行SLAM。
重點GEM DNN推理 – 現已向ROS開發者開放所有NGC DNN推理模型
您可以使用NVIDIA在NGC上提供的眾多推理模型中的任何一種，甚至可以使用DNN推理GEM(一套ROS2軟件包)提供自己的DNN推理模型。開發者可以使用NVIDIA TAO工具套件對預訓練模型進一步調整或者對自定義模型進行優化。
經過優化后，這些組件由NVIDIA推理服務器TensorRT或Triton部署。憑借使用TensorRT（NVIDIA高性能推理SDK）的節點，可實現最佳推理性能。如果TensorRT不支持所需的DNN模型，則應使用Triton來部署該模型。
GEM包含對U-Net和DOPE的原生支持�；赥ensorRT的U-Net組件可用于從圖像中生成語義分割掩碼。而DOPE組件可用于對所有檢測到的物體進行三維姿態估計。
該工具是在ROS應用中加入高性能AI推理的最快方式。
NVIDIA Isaac ROS為ROS開發者提供AI感知功能
圖2. 來自3個Isaac ROS GEM的合成圖像 - DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）。
NVIDIA Isaac SIM GA版本
Isaac Sim的GA版本將于2021年11月發布，這將是迄今為止對開發者最友好的版本。其用戶界面、性能和實用構建模塊經過了大量改進，使用戶可以更快構建更強大的模擬。此外，經過改進的ROS橋和更多ROS樣本將提高ROS開發者的開發體驗。
該版本的更新內容（2021.2版本計劃于2021年11月發布）
Ÿ 提升了性能，減少了內存用量和啟動時間
Ÿ 經過改進的占位圖生成，URDF導入器
Ÿ 新的環境：大型倉庫、辦公室、醫院
Ÿ 用于與機器人、物體、環境對接的新Python構建模塊
Ÿ 經過改進的ROS/ROS2橋、深度點云和激光雷達點云性能
Ÿ 樣本更新
ú Multi-robot navigation with ROS2
ú 使用ROS2實現多機器人導航
ú SDG with Domain Randomization in Jupyter
ú Jupyter中帶有域隨機化的SDG
點擊查看視頻，了解如何使用ROS MoveIT實現對Franka的聯合控制：https://www.ixigua.com/7021714009317442056?logTag=ff37d2b1e1b7db058dc
新的合成數據生成工作流程 - 來自Isaac Sim的生產級數據集
自主機器人需要使用大量不同的數據集，來訓練眾多運行其感知棧的AI模型。從真實世界場景中獲取全部訓練數據的成本過高，而且一些極端場景可能存在危險。Isaac Sim提供的新合成數據工作流程，通過建立生產級數據集解決了自主機器人的安全和質量問題。
建立數據集的開發者，可以控制物體在場景中的隨機分布、場景本身、照明和合成傳感器。開發者也可以通過精細的控制，確保數據集中包含重要的極端案例。最后，該工作流程支持版本控制和調試信息，因此可以在需要審核和保障安全時完整地復制數據集。
|