是时辰给大模型造个身段了。。。。。

近期，，，，，，z6娱乐中光研发团队结合机械臂与大模型，，，，，，利用语音、说话、视觉-说话大模型，，，，，，辅以Orbbec Gemini 2系列深度相机的数据输入，，，，，，打造出一个可能理解、执行语音工作的机械臂。。。。。

该项目以斯坦福大学李飞飞教授团队打造的机械人智能体为基。。。。。，，，，通过解决泛化、观测、节造等一系列工程化难题，，，，，，将基于多模态大模型的机械臂从仿真环境落地到现实世界，，，，，，拓展智能机械臂利用潜能。。。。。

去年以来，，，，，，各类大模型的涌现引发了机械人产业新一轮发展海潮。。。。。只管“大模型+机械人”还处于早期技术索求阶段，，，，，，但随着二者深刻融合，，，，，，机械人有望具备更智能的“大脑”，，，，，，共同更壮大的“眼睛”与“身段”，，，，，，实现向具身智能的进化。。。。。

z6娱乐中光最新打造的大模型机械臂，，，，，，能够通过语音Prompts作为输入，，，，，，利用多种大模型的理解能力和视觉感知能力，，，，，，天生空间语义信息，，，，，，让机械臂理解、执行作为。。。。。

首先，，，，，，机械臂可借助语音大模型，，，，，，鉴别工作下发者的语音指令；；；；；；；同时，，，，，，通过两台Orbbec Gemini 2双目结构光相机，，，，，，获取高质量环境RGB和Depth数据；；；；；；；再利用SAM、CLIP等视觉-说话大模型，，，，，，理解场景信息，，，，，，并进行实时碰撞检测，，，，，，最终执行工作。。。。。

基于这一道理，，，，，，z6娱乐中光能够让机械臂实现一系列指令，，，，，，好比：

· 请记住当前的状态

· 把红色的方块放到黄色的框中

· 把绿色的方块放到白色的框里面

· 把蓝色的方块逆使仉旋转30°

· 将蓝色方块朝着绿色方块的方向移动10cm

· 把蓝色方块放到绿色的方块上面

· 请复原最起头的状态

· 请把所有的方块放到黄色的框中

目前，，，，，，该项目在1.0阶段买通了多模态大模型在机械臂上的利用部署baseline。。。。。z6娱乐中光在进一步优化多模态指令理解、多传感器融合感知、机械臂轨迹规划节造、结尾抓取节造等方面，，，，，，将来将推出大模型机械人节造系统，，，，，，让机械人越发智能、矫捷，，，，，，适应越发复杂的操作场景。。。。。

目前，，，，，，国内表多多针对机械人智能体的钻研多在仿真环境中实现。。。。。而从虚构仿真到真实世界，，，，，，还必要克服一系列工程化落地难题。。。。。好比，，，，，，在仿真环境中，，，，，，相机基于梦想的成像模型，，，，，，能够不受成像畸变、环境光照蹬装响，，，，，，这就对智能体在真实场景中的泛化能力提出了挑战。。。。。

z6娱乐中光的研发团队基于预训练的多模态机械臂模型，，，，，，克服了泛化、观测、节造等一系列落地难题：

1、为实现急剧正确的语音输入与理解，，，，，，引入语音预训练大模型，，，，，，使得机械臂活络响应语音指令。。。。。

2、为确；；；；；；；当墼谡媸凳澜缰芯弑缸愎坏姆夯芰Γ，，，，选取视觉-说话大模型，，，，，，使机械臂理解适应复杂场景，，，，，，在多样化的环境中稳重执行工作。。。。。

3、为处置预训练模型的梦想相机成像问题，，，，，，设计全新标定规划，，，，，，优化相机自动曝光（AE）战术，，，，，，解决受环境光、成像畸变、透视形变等成分带来的挑战，，，，，，使机械臂占有更强的鲁棒性。。。。。

4、为提高机械臂在复杂环境中的安全性，，，，，，引入深度相机碰撞检测和抓取建改，，，，，，优化机械臂节造，，，，，，提高机械臂抓取场景的机能、精度和适应性。。。。。

基于关键技术的引入与创新，，，，，，z6娱乐中光成功地克服了多模态机械臂在多个交叉领域的难题，，，，，，买通工程化利用落地的“最后一公里”。。。。。

在机械人视觉领域，，，，，，z6娱乐中光占有超过8年的行业落地经验，，，，，，服务超过100家机械人产业企业。。。。。通过多年合作，，，，，，z6娱乐中光在机械人3D传感器、激光雷达、模型算法等方面堆集了丰硕的经验，，，，，，助力机械人客户急剧实现创新利用开发与量产造作。。。。。

融合多种大模型能力的机械臂，，，，，，能够利用在哪些场景？？？？？

随着机械人的“眼睛”（视觉传感器）、“大脑”（大模型）、“身段”（本体）不休发展进化，，，，，，智能机械人及机械臂有望在工业造作、柔性物流、商用服务等场景中率先落地。。。。。

例如，，，，，，在自动化工厂场景，，，，，，基于多模态大模型的机械臂能够结合无人幼车，，，，，，进行智能分拣、搬运；；；；；；；在家用服务机械人场景，，，，，，人们能够通过单一的天然说话指令，，，，，，让机械人助忙倒水、取快递。。。。。

当前，，，，，，面向机械人产业，，，，，，z6娱乐中光可提供单目结构光、双目结构光、iToF、激光雷达、dToF等全技术路线3D视觉传感器，，，，，，并提供多传感器融合支持。。。。。同时，，，，，，针对AI大模型、具身智能机械人等科技发展趋向，，，，，，z6娱乐中光在致力于搭建机械人及AI视觉中台，，，，，，通过多模态视觉大模型及智能算法的研发，，，，，，结合机械人视觉传感器，，，，，，将形成自主移动定位导航和避障的齐全产品规划，，，，，，为全产业下游客户提供全方位能力平台及系列化产品规划，，，，，，迎接智能机械人时期。。。。。