瑞萨展示物理AI:RZ/V2H驱动五指机械手

新闻要点

  • 瑞萨使用RZ/V2H控制五指机械手进行AI演示;
  • 相机识别手和物体,以合适力度抓取鸡蛋、海绵、罐装饮料;
  • 介绍RA8P1最多20人脸检测和RA8M1音源分离。

联合展位聚焦从Edge AI到Physical AI

瑞萨电子(Renesas Electronics)与Macnica在11月18日至20日于Pacifico横滨举行的EdgeTech+ 2026上联合参展,展示面向物理AI(Physical AI)、边缘AI(Edge AI)和机器人技术的最新方案。

双方共同展位的主题为“从Edge AI到Physical AI”。现场通过多个实机演示,呈现机械手抓取控制、手势识别、基于微控制器的视觉AI和语音AI等技术,覆盖“观察现场、判断、动作”的一整套流程。

五指机械手按物体切换抓取力

展位上备受关注的是指尖配备压力传感器的五指机械手“Dexterous Hand(灵巧手)”演示。展示台上准备了鸡蛋、纸杯、罐装饮料、海绵等硬度和形状各异的物体。两台相机中的一台负责识别目标物,随后调用预先设定的对应抓取力,从而做到鸡蛋不破碎、海绵不过度压扁、罐装饮料不掉落。

机械手各指尖均搭载压力传感器,可实时获取抓取时的受力情况。会场监视器分别可视化了拇指、食指、中指、无名指和小指所受的力。

另一台相机用于识别发出动作指令的手势。当来场者或展位工作人员在相机前移动手部时,AI会检测手部骨骼,机械手随即实时模仿该动作。抓取物体时,系统会应用与相机识别结果对应的压力设定,并分别控制五根手指。

RZ/V2H承担从识别到动作生成

该机械手演示采用了瑞萨面向视觉AI的MPU“RZ/V2H”,以及搭载该MPU的“Robot Development Kit(RDK)”。

RZ/V2H将瑞萨自研AI加速器“DRP-AI3”与Arm Cortex-A55、Cortex-R8、Cortex-M33等组合在一起。其特点是可以把AI推理、图像处理、Linux应用和实时控制分别分配给适合的运算单元。

RDK在Linux上支持ROS 2环境,可运行从相机影像中检测手部和骨骼、生成机械手动作等应用。据称,还可以同时操作仿真环境中的虚拟手和实机。

该系统还支持ROS 2可视化与分析工具“Foxglove”,可在同一画面中查看相机影像、机械手各关节位置、各指受力以及虚拟环境中机械手的状态等信息。

RA8P1实现最多20人脸检测

在基于微控制器的边缘AI演示方面,瑞萨介绍了利用32位Arm微控制器“RA8系列”实现的视觉AI和语音AI。

人脸检测演示使用搭载Arm Cortex-M85和NPU“Ethos-U55”的“RA8P1”,可从相机影像中实时检测最多20人的脸部,并在画面上显示检测框和人数。

RA8P1搭载最高1GHz运行的Cortex-M85,以及具备最高256GOPS AI运算性能的Ethos-U55。据瑞萨介绍,使用500MHz运行的Ethos-U55,与仅用1GHz运行的Cortex-M85处理时相比,人脸检测推理速度可提升约18.5倍。利用NPU可同时检测多张人脸;同时,通过采用即使不搭载NPU也能处理的轻量模型,还能构建成本和功耗更低的系统。

瑞萨还说明,通过其工具支持从量化到代码生成的全流程,即使缺乏边缘AI开发经验的开发者也能在短时间内构建应用。

设想用途包括检测人脸并切换广告显示的数字标牌,以及设施、会议室、教室等场所的简易访问检测。此外,示例程序已在GitHub公开。

RA8M1演示双麦克风音源分离

语音AI方面,现场展示了搭载RA8M1的语音套件“VK-RA8M1”进行的音源分离演示。

音源分离是从多个声音混合的输入信号中推定混合前各个声音的技术,可在机器上实现类似人类从周围噪声中听辨特定声音的处理。

演示采用的盲源分离(BSS:Blind Source Separation)利用声音到达两个麦克风时的音量差和时间差,展示了分离多个音源的效果。

系统分别在启用和禁用音源分离的情况下执行语音识别,最终识别结果通过LED点亮状态表示。语音命令包括“电源开”“停止”“暖房”“冷房”“除湿”“热”“冷”等。

该方案旨在即使周围对话、机械音、音乐等混杂,也能提取目标语音,从而提高后续语音识别率。主要用途设想为智能家电、住宅设备和工业设备等。

其他物理AI演示

此外,该展位还进行了利用NFC/Bluetooth LE的下一代智能锁,以及将3D ToF传感与RZ/V2H结合的3D障碍物检测等演示,展示了将边缘AI连接到现实世界动作的物理AI多种实现方式。

新人专享大礼包