近期，，，，，，全球当先的人为智能钻研团队，，，，，，斯坦福大学李飞飞教授团队颁布了他们在“空间智能”领域的最新突破性成就——ReKep（Relational Keypoint Constraints，，，，，，关系关键点约束），，，，，，并通过试验批注，，，，，，ReKep在机械人操作、家务自动化等领域拥有宽泛的利用潜力。。。。。。。。该钻研中，，，，，，团队使用了z6娱乐中光RGB-D相机Femto Bolt，，，，，，精准有效捉拿尝试场景的彩色图像及深度信息，，，，，，援手ReKep系统鉴别和定位场景中的物体及其关键点，，，，，，为机械人作为优化和复杂交互提供了关键的3D视觉数据支持。。。。。。。。
↑ 点击播放视频 ↑
凭据钻研论文释义，，，，，，ReKep是将复杂工作转换为一系列关系关键点的约束优化框架，，，，，，以Python函数的大局阐发。。。。。。。。这些函数将环境中的3D关键点映射为数值成本，，，，，，通过捉拿拥有工作语义和空间意思的3D关键点，，，，，，赋予机械人自主决策能力，，，，，，从而高效应对每个工作的主题挑战。。。。。。。。唬唬；；贔emto Bolt提供的高质量RGB和深度数据，，，，，，ReKep系统能精准将环境中的3D关键点映射到数值成正本界说这些约束。。。。。。。。
深度感知，，，，，，精准规划
Femto Bolt是一款基于微软先进的ToF（飞行功夫）传感技术设计的RGB-D相机。。。。。。。。其中，，，，，，RGB图片的天生援手ReKep系统进行指标检测和鉴别，，，，，，深度图像能够提供精确的3D信息，，，，，，让ReKep系统分辨指标的空间地位和距离关系，，，，，，二者结合让ReKep系统充分理解操作场景，，，，，，天生疏导机械人决策与执行关键点的3D坐标。。。。。。。。
此表，，，，，，3D关键点的正确提取对数据质量提出了极高要求，，，，，，蕴含深度精度和点云质量。。。。。。。。Femto Bolt 能输出4K高分辨率图像，，，，，，有效削减误鉴别并提升互动靠得住性，，，，，，这对机械人执行精密、复杂的操作至关沉要。。。。。。。。
超低延时，，，，，，流畅交互
在尝试钻研中，，，，，，ReKep系统对环境3D关键点的捉拿与传输必要具备足够快的速度，，，，，，以确保人机交互的流畅性。。。。。。。。Femto Bolt 通过每秒30帧的高帧率捉拿深度数据，，，，，，并集成了多模式的深度图像、彩色图像？？？？？？榧肮咝源衅鳎，，，以超低延时实现实时反馈和互动，，，，，，确保唬唬；；等丝赡苎杆傧煊eKep系统的指令。。。。。。。。
多机同步，，，，，，高效合作
李飞飞团队在分歧机械人平台上搭建系统进行多种工作尝试，，，，，，蕴含单臂和双臂机械人的多阶段、双手合作积极反映性的操作工作。。。。。。。。Femto Bolt支持多机同步，，，，，，通过构建更大领域内的空间采集，，，，，，援手多台机械人合作实现共同的工作。。。。。。。。
在多机同步方面，，，，，，Femto Bolt使用了通用性更强、职能扩大性更广的8针GPIO接口，，，，，，并建设相应的衔接器材。。。。。。。。同时，，，，，，Femto Bolt还建设了带锁的USB-C接口，，，，，，确保供电和数据传输的同时进行，，，，，，加强了系统的安全性和不变性。。。。。。。。
图片来自于李飞飞团队ReKep钻研论文
深度融合大视觉模型
更值得关注的是，，，，，，李飞飞团队在该钻研中结合了视觉模型与视觉-说话模型，，，，，，傍边蕴含GPT-4o（OpenAI为谈天机械人ChatGPT颁布的说话模型），，，，，，充分展示了视觉与机械人进建的深档次融合。。。。。。。。在不提供特定工作数据或具体环境模型的情况下，，，，，，ReKep系统展示出在非结构化环境中实现工作的优良泛化能力，，，，，，具备分歧工作战术的适应性。。。。。。。。
图片来自于李飞飞团队ReKep钻研论文
在机械人视觉领域，，，，，，z6娱乐中光占有超过8年的商用落地经验，，，，，，致力于打造机械人的“眼睛”。。。。。。。。今年3月，，，，，，z6娱乐中光与英伟达携手，，，，，，将Femto Bolt先进的iToF技术与NVIDIA Orin AGX的人为智能推算能力结合，，，，，，搭配Universal Robots UR5机械臂，，，，，，实现了高精度的物品检测、拣选和搁置，，，，，，为料仓拣选设置了新的行业标杆。。。。。。。。在多模态大模型技术（语音、文本、视觉）与机械臂节造技术的索求中，，，，，，z6娱乐中光研发团队已推出2.0版大模型机械臂，，，，，，具备精准鉴别日常物体并理解执行指令的能力。。。。。。。。将来，，，，，，z6娱乐中光将持续索求机械人视觉传感技术的利用，，，，，，助力空间智能系统发展，，，，，，进一步推动机械人视觉与人为智能的技术突破，，，，，，开启更宽泛的智能化利用场景。。。。。。。。
z6娱乐中光相机Femto Bolt及其大模型机械臂点云成效图
*部门内容起源：
ReKep | Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation (https://rekep-robot.github.io/)
分享到
