z6娱乐

z6娱乐

京东淘宝

English

空间智能新突破！李飞飞团队使用z6娱乐中光相机让机械人“定点操作”

2024.09.19
orbbec

近期，，，，，，，，全球当先的人为智能钻研团队，，，，，，，，斯坦福大学李飞飞教授团队颁布了他们在“空间智能”领域的最新突破性成就——ReKep（Relational Keypoint Constraints，，，，，，，，关系关键点约束），，，，，，，，并通过试验批注，，，，，，，，ReKep在机械人操作、家务自动化等领域拥有宽泛的利用潜力。。。。。该钻研中，，，，，，，，团队使用了z6娱乐中光RGB-D相机Femto Bolt，，，，，，，，精准有效捉拿尝试场景的彩色图像及深度信息，，，，，，，，援手ReKep系统鉴别和定位场景中的物体及其关键点，，，，，，，，为机械人作为优化和复杂交互提供了关键的3D视觉数据支持。。。。。

↑ 点击播放视频 ↑

凭据钻研论文释义，，，，，，，，ReKep是将复杂工作转换为一系列关系关键点的约束优化框架，，，，，，，，以Python函数的大局阐发。。。。。这些函数将环境中的3D关键点映射为数值成本，，，，，，，，通过捉拿拥有工作语义和空间意思的3D关键点，，，，，，，，赋予机械人自主决策能力，，，，，，，，从而高效应对每个工作的主题挑战。。。。；；；；；贔emto Bolt提供的高质量RGB和深度数据，，，，，，，，ReKep系统能精准将环境中的3D关键点映射到数值成正本界说这些约束。。。。。

深度感知，，，，，，，，精准规划

Femto Bolt是一款基于微软先进的ToF（飞行功夫）传感技术设计的RGB-D相机。。。。。其中，，，，，，，，RGB图片的天生援手ReKep系统进行指标检测和鉴别，，，，，，，，深度图像能够提供精确的3D信息，，，，，，，，让ReKep系统分辨指标的空间地位和距离关系，，，，，，，，二者结合让ReKep系统充分理解操作场景，，，，，，，，天生疏导机械人决策与执行关键点的3D坐标。。。。。

此表，，，，，，，，3D关键点的正确提取对数据质量提出了极高要求，，，，，，，，蕴含深度精度和点云质量。。。。。Femto Bolt 能输出4K高分辨率图像，，，，，，，，有效削减误鉴别并提升互动靠得住性，，，，，，，，这对机械人执行精密、复杂的操作至关沉要。。。。。

超低延时，，，，，，，，流畅交互

在尝试钻研中，，，，，，，，ReKep系统对环境3D关键点的捉拿与传输必要具备足够快的速度，，，，，，，，以确保人机交互的流畅性。。。。。Femto Bolt 通过每秒30帧的高帧率捉拿深度数据，，，，，，，，并集成了多模式的深度图像、彩色图像？？？？？？榧肮咝源衅鳎，，，，，，，以超低延时实现实时反馈和互动，，，，，，，，确；；；；；等丝赡苎杆傧煊eKep系统的指令。。。。。

多机同步，，，，，，，，高效合作

李飞飞团队在分歧机械人平台上搭建系统进行多种工作尝试，，，，，，，，蕴含单臂和双臂机械人的多阶段、双手合作积极反映性的操作工作。。。。。Femto Bolt支持多机同步，，，，，，，，通过构建更大领域内的空间采集，，，，，，，，援手多台机械人合作实现共同的工作。。。。。

在多机同步方面，，，，，，，，Femto Bolt使用了通用性更强、职能扩大性更广的8针GPIO接口，，，，，，，，并建设相应的衔接器材。。。。。同时，，，，，，，，Femto Bolt还建设了带锁的USB-C接口，，，，，，，，确保供电和数据传输的同时进行，，，，，，，，加强了系统的安全性和不变性。。。。。

图片来自于李飞飞团队ReKep钻研论文

深度融合大视觉模型

更值得关注的是，，，，，，，，李飞飞团队在该钻研中结合了视觉模型与视觉-说话模型，，，，，，，，傍边蕴含GPT-4o（OpenAI为谈天机械人ChatGPT颁布的说话模型），，，，，，，，充分展示了视觉与机械人进建的深档次融合。。。。。在不提供特定工作数据或具体环境模型的情况下，，，，，，，，ReKep系统展示出在非结构化环境中实现工作的优良泛化能力，，，，，，，，具备分歧工作战术的适应性。。。。。

图片来自于李飞飞团队ReKep钻研论文

在机械人视觉领域，，，，，，，，z6娱乐中光占有超过8年的商用落地经验，，，，，，，，致力于打造机械人的“眼睛”。。。。。今年3月，，，，，，，，z6娱乐中光与英伟达携手，，，，，，，，将Femto Bolt先进的iToF技术与NVIDIA Orin AGX的人为智能推算能力结合，，，，，，，，搭配Universal Robots UR5机械臂，，，，，，，，实现了高精度的物品检测、拣选和搁置，，，，，，，，为料仓拣选设置了新的行业标杆。。。。。在多模态大模型技术（语音、文本、视觉）与机械臂节造技术的索求中，，，，，，，，z6娱乐中光研发团队已推出2.0版大模型机械臂，，，，，，，，具备精准鉴别日常物体并理解执行指令的能力。。。。。将来，，，，，，，，z6娱乐中光将持续索求机械人视觉传感技术的利用，，，，，，，，助力空间智能系统发展，，，，，，，，进一步推动机械人视觉与人为智能的技术突破，，，，，，，，开启更宽泛的智能化利用场景。。。。。

z6娱乐中光相机Femto Bolt及其大模型机械臂点云成效图

*部门内容起源：

ReKep | Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation (https://rekep-robot.github.io/)

上一条 2024年光博会 | z6娱乐中光梅幼露：人为智能时期，，，，，，，，若何打造最好的机械人“眼睛“？？？？？？下一条 z6娱乐中光携手研华亮相工博会，，，，，，，，展示AI机械人最新利用规划

【网站地图】【sitemap】