z6娱乐

z6娱乐

采办
京东 淘宝

z6娱乐中光结合光锥智能颁布深度研报:具身智能带头百亿级机械人视觉产业发作

  • 2023.06.20
  • orbbec

注:本汇报由z6娱乐中光×光锥智能结合颁布。。。。。。 。

0620z6娱乐-光锥智能-官网.png

1、具身智能时期沉新理解机械人

1.1 知行合一:“离身”智能逐步向“具身”智能进化

具身智能(Embodied AI)是指具备感知和理解环境的能力 ,,,,,,,可能与物理世界进行交互 ,,,,,,,并具备行动能力以实现工作的智能体。。。。。。 。相对而言 ,,,,,,,"离身"(Disembodiment)是指认知与身段分离 ,,,,,,,好比ChatGPT能够以为是一种离身智能 ,,,,,,,仅能对说话文本进行理解与对话 ,,,,,,,无法对真实物理世界产生影响。。。。。。 。然而 ,,,,,,,离身智能注定会向具身智能发展 ,,,,,,," 知行合一" 是必然趋向。。。。。。 。

1.2催生了人为智能发展新海潮:具身智能机械人将成为人为智能终极状态

ChatGPT的出现使得人为智能占有了"大脑" ,,,,,,,而高度蓬勃的"大脑"对于身段职能提出了更高要求。。。。。。 。因而 ,,,,,,,在2023年的ITF World半导体大会上 ,,,,,,,英伟达CEO黄仁勋明确暗示 ,,,,,,,具身智能将是人为智能发展的下一个海潮。。。。。。 。

智能机械人是具身智能最直接的落地利用 ,,,,,,,当成为具身智能体的时辰 ,,,,,,,机械人将迎来飞速发展。。。。。。 。特斯拉 2023 年 3 月的投资者日 ,,,,,,,马斯克以为将来人类和人形机械人的比例将不止是 1: 1 ,,,,,,,将来人形机械人可能超过人类数量 ,,,,,,,达到100亿-200亿规模。。。。。。 。

能够说 ,,,,,,,机械人将逐步演变为具身智能机械人 ,,,,,,,成为机械人发展的终极指标、也将成为人为智能的终极状态。。。。。。 。

image.png

Tesla 人形机械人 Tesla Bot「Optimus」原型机正式登场


2、机械人的发展及将来趋向

2.1机械人将实现由“不动”、到“固定动”、再到“自由动”的技术刷新 ,,,,,,,从而进入具身智能机械人时期

机械人的发展大体经历三个阶段:从低级机械人的"根基不动+沉复执行" ,,,,,,,逐步发展到具备"行走+独立执行"的中级机械人 ,,,,,,,最终发展为具备"自主行走+自主执行"的具身智能机械人。。。。。。 。

image.png

在低级阶段 ,,,,,,,机械人重要阐发为根基静止状态 ,,,,,,,仅能执行沉复性工作 ,,,,,,,通常局限于固定的工作场景 ,,,,,,,不足自主性和矫捷性。。。。。。 。随着技术的进取 ,,,,,,,机械人逐步具备了行走的能力 ,,,,,,,并可能独立地执行多样化的工作。。。。。。 。最终 ,,,,,,,随着具身智能的鼓起 ,,,,,,,机械人也发展到具身智能机械人阶段 ,,,,,,,机械人不仅具备自主行走能力 ,,,,,,,还可能自主进建、推理以及执行各类工作。。。。。。 。

image.png

2.2具身智能机械人需要达百亿级规模 ,,,,,,,将深刻人类生涯、工作 ,,,,,,,极大解放出产力

具身智能机械人由于其类人化 ,,,,,,,将逐步代替人类实现由低级到高级的工作工作 ,,,,,,,让人类从沉复、繁琐的工作中解放出来 ,,,,,,,将对数亿工人以及对应的数万亿市场产生深远的影响。。。。。。 。如下图所示 ,,,,,,,技术实现难度低、劳动力密集的职业及场景会首先被机械人取代 ,,,,,,,好比无人驾驶、构筑工人、农衣吠动、家政劳动等;; ;; ;;随后随着机械人技术进取 ,,,,,,,技术实现难度较高、劳动力稀少的部门职业及场景也将迎来机械人时期 ,,,,,,,好比保险代理人、老师等。。。。。。 。

image.png

图表来自汇报:《人为智能机械人开启第四次科技革命》(由势乘本钱和光锥智能结合颁布)

此表 ,,,,,,,在具体利用场景中 ,,,,,,,数十种传统机械人也将向具身智能机械人升级迭代 ,,,,,,,例如工业搬运、拆垛机械人 ,,,,,,,物流分拣、包装、合作机械人 ,,,,,,,农业采摘、分选机械人 ,,,,,,,医疗康复机械人 ,,,,,,,养老助残机械人 ,,,,,,,家用服务机械人 ,,,,,,,公共服务机械人 ,,,,,,,教育机械人以及人形机械人等。。。。。。 。

具身智能机械人能够更高效、正确地实现工作 ,,,,,,,以节约功夫和资源 ,,,,,,,所引领的机械人技术革命将带来巨大的技术盈利 ,,,,,,,极大地解放出产力 ,,,,,,,同时也会创造新的经济增长点 ,,,,,,,推动社会发展与进取。。。。。。 。

2.3具身智能机械人将沿“大脑先杏注感知突破、身段美满”的方向迭代发展 ,,,,,,,当下迎来机械人视觉汗青发展机缘

类似ChatGPT的通用大模型赋予具身智能机械人像人类一样的思虑、推理与表白能力 ,,,,,,,但仅有"大脑"是远远不够的 ,,,,,,,还必要像人类一样具备三大主题能力:用于思虑和推理的“大脑”、用于感知世界的“感触”、用于与世界交互的“身段和手脚”。。。。。。 。具身智能机械人的发展也肯定是由"大脑"带头 ,,,,,,,逐步向“眼睛”等视觉感知体、“手脚”等活动执行体不休升级迭代的过程 ,,,,,,,即沿着“大脑先杏注感知突破、身段美满”的方向迭代发展。。。。。。 。

image.png

大脑方面 ,,,,,,,GPT、数据、算力等技术的发展给大脑提供了极佳的泥土 ,,,,,,,已高度智能化。。。。。。 。谷歌和微软的AI团队走在前列 ,,,,,,,2023年3月 ,,,,,,,谷歌和柏林工业大学的团队沉磅推出了史上最大的视觉-说话模型——PaLM-E(Pathways Language Model with Embodied) ,,,,,,,参数量高达5620亿(GPT-3的参数量为1750亿)。。。。。。 。该模型不仅能够理解图像 ,,,,,,,还能理解、天生说话 ,,,,,,,能够执行各类复杂的机械人指令而无需沉新训练。。。。。。 。谷歌钻研人员打算索求PaLM-E在现实世界场景中的更多利用 ,,,,,,,例如家庭自动化或工业机械人。。。。。。 。微软团队也在索求若何将OpenAI研发的ChatGPT扩大到机械人领域。。。。。。 。

目前 ,,,,,,,已经有更为轻量化的大模型可能独立运行在边缘端(如机械人、手机)上 ,,,,,,,为其提供"大脑"职能。。。。。。 。这些大模型在某些专业领域通过专门训练 ,,,,,,,能够靠近人类的智能水平 ,,,,,,,占有百亿级甚至更低的参数 ,,,,,,,使得它们能够在边缘设备和终端上运行 ,,,,,,,不依赖云端推算能力 ,,,,,,,从而让终端设备也能具备智能决策的能力。。。。。。 。好比目前已经能够在手机上运行的大模型有:MobileBERT(Bidirectional Encoder Representations from Transformers) ,,,,,,,TinyBERT ,,,,,,,MobileNet等。。。。。。 。

紧随其后的 ,,,,,,,将是人为智能“眼睛”的发作式发展。。。。。。 。


3、机械人视觉的发展及将来趋向

3.1通用大模型往多模态大模型方向演进 ,,,,,,,机械视觉向机械人视觉进化

ChatGPT通用大模型仅支持天然说话处置 ,,,,,,,然而机械人大脑所要处置的信息是多模态的 ,,,,,,,例如文本、视觉图像、语音等等 ,,,,,,,因而大模型也正逐步往多模态大模型方向演进。。。。。。 。多模态大模型可能将分歧模态的信息融合在一路 ,,,,,,,实现跨模态的理解、天生和推理 ,,,,,,,与人类大脑的职能最为靠近。。。。。。 。近期 ,,,,,,,Meta推出了多模态大模型ImageBind ,,,,,,,可能处置文本、音频、3D视觉、温度、IMU信息;; ;; ;;华为也将在2023年7月推出 “盘古Chat” 多模态大模型。。。。。。 。

image.png

随着多模态大模型的发展 ,,,,,,,当“大脑”具备对视觉信息处置、推理等能力 ,,,,,,,对“眼睛”的需要便跃然纸上 ,,,,,,,一方面视觉信息是多模态信息的必要组成部门 ,,,,,,,二是与人类类比来看 ,,,,,,,视觉信息在所有感知信息中占比超过70% ,,,,,,,也将是人为智能感知世界最沉要的信息源。。。。。。 。传统机械视觉普遍是2D的?????榛泳跎璞 ,,,,,,,利用在相对固定的环境 ,,,,,,,而具身智能机械人所必要的机械人视觉则是类人眼的幼型化、3D的嵌入式器件 ,,,,,,,且面向的是复杂变动的环境 ,,,,,,,因而在产品状态以及技术实现上都与传统机械视觉存在巨大差距 ,,,,,,,机械视觉将向机械人视觉不休进化。。。。。。 。

3.2产品状态上 ,,,,,,,机械人视觉相比传统机械视觉越发 3D化、高度集成化、场景复杂化

(1)      2D视觉向3D视觉进化 ,,,,,,,3D视觉具备毫米级甚至更高精度的视觉能力 ,,,,,,,能够对真实物体场景进行高精度扫描与还原。。。。。。 。传统2D视觉只能利用在“可控规范”的环境中 ,,,,,,,好比工业产线 ,,,,,,,而具身智能机械人所面对的是不成控规范的场景 ,,,,,,,2D视觉无法满足。。。。。。 。

(2)      ?????榛蚋叨燃汕度胧浇 ,,,,,,,传统机械人例如部门工业机械人所建设的视觉设备多数是?????榛纳璞 ,,,,,,,普遍蕴含光源、镜头、相机、图像采集卡、机械视觉算法、利用软件等????? ,,,,,,,其中光源跟相机分隔 ,,,,,,,相机跟镜头分隔 ,,,,,,,相机跟图像采集卡分隔 ,,,,,,,各个部件体积重大 ,,,,,,,导致整体体积大、成本高 ,,,,,,,无法利用于必要宽泛遍及的具身智能机械人中。。。。。。 。

image.png

(3)      单一场景到复杂场景(变动场景)进化 ,,,,,,,具身智能机械人所面向的是未知的复杂场景或变动场景 ,,,,,,,这就导致单一视觉传感器无法满足需要 ,,,,,,,另表为了应酬变动场景 ,,,,,,,要求具备极高鲁棒性的智能视觉算法。。。。。。 。

因而 ,,,,,,,具身智能机械人所必要的“眼睛” ,,,,,,,肯定是3D的、高度集成的、适应复杂变动场景的智能化“眼睛”。。。。。。 。

3.3技术实现上 ,,,,,,,机械人视觉相比传统机械视觉更注沉多专业融合、底层元器件定造与集成、以及高度依赖智能视觉算法

(1)      多专业、跨学科、高精尖。。。。。。 。3D视觉相对2D视觉固然多了一个维度的信息 ,,,,,,,但要支出的是技术价值是 ,,,,,,,全新的系统架构设计、被精密编码的光学发射器、颠覆性的芯片像素架构设计、高不变性的光电结构设计、高精密的造作产线 ,,,,,,,必要从系统、芯片、光学、结构、算法多专业进行逐一突破后进行高度融合。。。。。。 。

(2)      定造化、集成化。。。。。。 。设计出切合具身智能机械人的视觉系统 ,,,,,,,必要对所有主题元器件进行特殊定造 ,,,,,,,蕴含机械人视觉专用芯片 ,,,,,,,要求企业具备底层创新能力 ,,,,,,,并进行高度集成 ,,,,,,,能力在机能、成本、体积上实现最优 ,,,,,,,以满足具身智能机械人必要。。。。。。 。

(3)      高度依赖智能视觉算法。。。。。。 。面对复杂变动场景 ,,,,,,,好比高温环境下必要适应温度变动、在光照变动场景下必要不变输出数据、多视觉传感器之间必要高度同步与配准、在遭逢进攻跌落时能够实时复原视觉能力 ,,,,,,,这里面将使用多种智能视觉算法 ,,,,,,,好比HDR、AF、复杂材质成像、温度赔偿算法、光照自适应算法、同步配准算法、抗变形算法等等 ,,,,,,,这些智能视觉算法都是传统机械人视觉所不涉及的。。。。。。 。

因而 ,,,,,,,随着机械人向具身智能机械人发展 ,,,,,,,机械人视觉也朝着3D、高度集成、适应复杂变动场景的方向进化 ,,,,,,,对有关研发机构也提出了全新的能力诉求 ,,,,,,,多专业融合、底层创新能力、智能视觉算法将成为企业的主题技术竞争力。。。。。。 。


4、z6娱乐中光的机械人视觉技术布局、产品与利用

z6娱乐中光经过10多年的发展 ,,,,,,,致力于让所有终端看懂世界 ,,,,,,,高度符合当下具身智能机械人视觉发展必要 ,,,,,,,面向具身智能机械人 ,,,,,,,已布局了全方位的机械人视觉技术与产品规划。。。。。。 。

image.png

4.1全球率先实现具身智能机械人视觉的主题技术布局

针对具身智能机械人视觉 ,,,,,,,z6娱乐中光着眼于中持久技术发展与需要进行了全方位的技术路线布局以及技术能力布局 ,,,,,,,其中技术路线覆盖单目结构光、双目视觉、TOF、LIDAR ,,,,,,,技术能力覆盖机械人视觉芯片、智能视觉算法、模组及规划以及规模唬 ;; ;;坎饶芰。。。。。。 。

image.png

image.png

4.2     已推出面向具身智能机械人所必要的多种系统布局产品

基于机械人自身算力差距 ,,,,,,,布局了两种系统规划 ,,,,,,,一种是针对机械人自身具备较高推算能力的 ,,,,,,,仅提供低成本的嵌入式视觉传感器 ,,,,,,,传感器自身不带智能视觉算法;; ;; ;;二是自带边缘算力的智能视觉传感器 ,,,,,,,传感器可自行执行算法及软件 ,,,,,,,能够利用在本体不具备额表算力的机械人上。。。。。。 。

image.png

4.3全球领域内成功落地多种机械人视觉利用

z6娱乐中光在从前的十年里 ,,,,,,,一向致力于给机械人提供智能化眼睛 ,,,,,,,推动机械人视觉发展 ,,,,,,,相应视觉产品已经在商用清洁、配送、迎宾、教育、仓储物流等多个领域成功落地 ,,,,,,,服务于各种类型的机械人 ,,,,,,,蕴含轮式机械人、机械臂、多足机械人以及人形机械人。。。。。。 。

1)        在商用清洁领域 ,,,,,,,搭载z6娱乐中光DaBai双目结构光相机的高仙清洁机械人能够自动鉴别、算帐垃圾 ,,,,,,,并在复杂的户表环境中自动避障 ,,,,,,,极大地提升了清洁效能。。。。。。 。

2)        在送餐领域 ,,,,,,,搭载z6娱乐中光DaBai Pro双目结构光相机的普渡送餐机械人可实此刻餐厅复杂环境下遇障即停 ,,,,,,,随转即走 ,,,,,,,做到3D全向避障。。。。。。 。

3)        在工业领域 ,,,,,,,搭载z6娱乐中光DaBai DCW双目结构光相机和MS500单线激光雷达的AMR可实此刻智慧工厂环境下的货物自动转运 ,,,,,,,极大提逾越产效能。。。。。。 。

4)        CES2023 ,,,,,,,由z6娱乐中光和微软、英伟达结合研发造作的深度相机Femto Mega初次亮相 ,,,,,,,该相机融合微软第一代深度相机Azure Kinect的全数机能 ,,,,,,,并集成英伟达Jetson Nano深度算力平台 ,,,,,,,成为物流、机械人、造作、工业、零售、医疗保健和健身解决规划等领域3D视觉开发的梦想选择。。。。。。 。

5)        COMPUTEX 2023(台北国际电脑展)正式进行。。。。。。 。NVIDIA首创人兼CEO黄仁勋在 COMPUTEX 2023大会主题演讲中介绍了NVIDIA全球产业数字化生态布局,作为其合作同伴,z6娱乐中光正式颁发将Femto Mega和其它3D相机集成到NVIDIA Omniverse生态开发平台中。。。。。。 。NVIDIA Omniverse是一个盛开的开发平台,用于构建和运行元宇宙利用。。。。。。 。在z6娱乐中光3D相机集成到Omniverse后,使用NVIDIA Isaac Sim(一种机械人模拟工具包)的客户就可能急剧设计其3D视觉系统,提高AI系统设计和测试的真实性和精确性。。。。。。 。


结语

毋庸置疑 ,,,,,,,具身智能机械人将开启全新机械人革命、引领新一代人为智能海潮 ,,,,,,,通用大模型向多模态大模型发展 ,,,,,,,机械视觉向机械人视觉进化 ,,,,,,,站在新一轮科技革命汗青机赶上 ,,,,,,,z6娱乐中光将通过主题技术打造机械人视觉产品 ,,,,,,,通过产品的推广利用助力具身智能机械人视觉技术进取与行业发展。。。。。。 。


【网站地图】【sitemap】