当前位置:首页 > 休闲 > 98年哈工大教授创业,要做人形灵巧操作世界模型 正文

98年哈工大教授创业,要做人形灵巧操作世界模型

来源:星锐云联资讯网   作者:探索   时间:2026-07-17 05:08:20

允中 发自 凹非寺量子位 | 公众号 QbitAI

VLA(视觉-语言-动作)和世界模型已将机器人推向了“看懂世界”与“预测世界”的年哈新阶段。

然而,教授界模当模型真正深入物理世界时,创业挑战变得具体而严峻:

它靠什么学习这个世界?做人作世靠什么执行动作?又该如何感知真实的接触反馈?

前两个问题分别指向数据本体,而第三个问题则直指触觉。形灵型

本周,巧操哈尔滨工业大学(深圳)杨朔团队发布了 TouchWorld——一个专为灵巧操作设计的年哈触觉世界模型。

其核心突破在于:让机器人不仅预测视觉画面的教授界模变化,更能预测接触状态的创业发生,并在真实操作中利用触觉反馈实时修正动作。做人作世

TouchWorld并非孤立的形灵型研究成果。此前,巧操杨朔团队已相继推出 EgoTouchTouchAnything

  • EgoTouch:解决灵巧操作中的年哈触觉数据采集难题;
  • TouchAnything:尝试从第一人称视频中恢复触觉信息,实现低成本的教授界模触觉数据增广。

这三项工作串联起一条清晰的创业技术路线:先采集触觉数据,再恢复/对齐触觉信息,最终让具身智能模型真正应用触觉。

沿着这条路径,出生于1998年的年轻教授杨朔创立了 破晓智能(PHANES AI)

破晓智能的目标是融合人类视频数据与触觉感知模态,构建人形机器人的全身移动灵巧操作世界模型

具体而言,该公司不只专注于单一触觉模型或硬件,而是旨在围绕“机器人如何真正学会操作”这一核心,搭建从数据、模型到控制的完整能力闭环。

“破晓”之名,寓意解决当前人形机器人走向真实操作前的技术混沌:触觉数据匮乏、触觉世界模型缺失、灵巧手反馈控制不成熟、全身移动操作尚未打通。

破晓智能希望从触觉数据切入,重新串联上述能力,推动机器人从“看见世界”迈向真正“接触世界、操作世界”。

从Data-Centric AI到机器人真实数据

杨朔现任哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博士生导师,同时也是破晓智能创始人兼CEO。

公开资料显示,他26岁即获评哈工大(深圳)长聘教授、博导,曾获Google Ph.D. Fellowship,入选国家级高层次青年人才、深圳市“高精尖缺”人才及广东省重大人才工程。

△杨朔,破晓智能(PHANES AI)创始人、哈工大(深圳)长聘教授、博导

在学术研究中,杨朔长期深耕多模态大模型、Data-Centric AI(以数据为中心的人工智能)、可信AI、计算机视觉及具身智能等领域。

与直接切入机器人硬件创业不同,他的路径是从“数据问题”逐步延伸至“物理世界”:

模型究竟该用什么数据学习?在机器人领域,这转化为:机器人该用什么数据来学习真实操作?

在传统机器学习中,该问题聚焦于数据质量、样本选择、噪声标签处理及数据压缩。

而在具身智能领域,数据不再局限于图像、文本和标签,而是人类在真实世界中的连续操作过程

近期,人类数据已成为机器人学习复杂操作的关键入口。

  • NVIDIA EgoScale证明,第一人称人类操作数据在灵巧操作训练中遵循Scaling Law(缩放定律);
  • Generalist / Gen-1进一步显示,大规模人类数据预训练结合少量真机数据微调,可显著提升机器人在长程、复杂任务中的成功率。

这两类研究共同揭示了一个趋势:相比完全依赖昂贵的真机采集,让机器人先通过大规模人类数据学习动作模式、物体交互及任务结构,再用少量机器人数据进行对齐适配,是一条更具可扩展性的数据路径。

然而,这条路线仍缺失关键一环:触觉

第一人称视频让机器人“看到”了人类如何观察、接近、抓取和使用工具,但人与物体间真实的物理交互细节在视频中并不完整。

手指按压位置、受力大小、物体是否滑动、接触是否稳定——这些信息仅靠视觉难以准确判断。

破晓智能给出的答案是:仅有视觉不够,仅有动作轨迹也不够。机器人需要触觉,需要理解手与物体接触时的物理状态。

这也是杨朔团队从EgoTouch、TouchAnything演进至TouchWorld的根本原因。

Touch系列:从采集触觉,到对齐触觉,再到使用触觉

从破晓智能的技术图谱来看,Touch系列模型并非并列的几篇论文,而是一条从数据到世界模型、再到全身控制的能力链。

EgoTouch:解决触觉数据怎么采

EgoTouch构建了一套第一人称视觉-触觉数据采集系统,将第一人称视频、腕部视角、手部姿态和双手压力图整合在一起,为人类操作视频赋予接触和压力信息。

团队围绕刚性/柔性物体、抓取、捏取、拧动、工具使用等任务,采集了人类在真实操作中的视觉与触觉数据。

△EgoTouch第一人称视觉-触觉数据采集系统

TouchAnything:解决如何让更多视频补上触觉

带触觉标注的数据始终稀缺。佩戴传感器采集的人类操作数据成本高、规模小,且难以覆盖所有场景。

然而,互联网上存在海量第一人称人类操作视频(如拿水壶、抓球拍、拧瓶盖、使用工具等)。

问题在于,这些视频只有画面,没有触觉。

TouchAnything旨在利用EgoTouch等视觉-触觉对齐数据,训练模型从第一人称视频中估计双手接触区域和压力分布

换言之,它赋予模型从视觉中“恢复触觉”的能力:仅凭视频即可推断手指接触点、施力情况及压力分布。

这一步的价值不仅在于构建触觉估计模型,更在于将少量带传感器数据扩展为大规模触觉监督信号。原本仅具外观动作的人类视频,被补上接触信息,转化为更适合机器人学习灵巧操作的高质量数据。

在破晓智能的技术路线中,TouchAnything充当数据放大器角色:

  1. 承接EgoTouch采集的人类视觉-触觉数据;
  2. 将触觉监督扩展至更多第一人称视频;
  3. 为TouchWorld学习预测接触、使用触觉提供数据基础;
  4. 为HumanWBC将触觉引入全身移动、双臂协同及灵巧手控制提供支持。

△TouchAnything多视角触觉预测模型架构。模型输入头戴第一人称视角、左右腕部视角和双手3D姿态,通过多视角视觉特征融合与姿态感知融合,预测双手压力分布图,从而从纯视觉视频中恢复触觉信息

TouchWorld:解决触觉如何进入世界模型和操作策略

TouchWorld并非简单接入触觉输入,而是让触觉深入两个关键环节:提前预测未来接触状态,以及在执行中根据触觉反馈修正动作

机器人不仅要预测“下一帧画面”,更要预测“下一步接触状态”。

HumanWBC:全身移动灵巧操作控制

这是该路线的下一步:基于人类数据训练全身移动灵巧操作控制模型,将感知理解、自主移动、全身控制、双臂协同和灵巧手操作整合至同一系统。

所谓全身移动灵巧操作(loco-manipulation),不仅是让机器人站在桌前完成抓取,更是让机器人实现“走过去、抓起来、做完事”的完整闭环。

因此,这条路线并非“做一个触觉模型”,而是以触觉为核心,串联感知、仿真、决策和控制,推动机器人全身移动灵巧操作大脑的进化。

TouchWorld:把“手感”写进世界模型

TouchWorld的核心可概括为两个词:Predictive(预测)Reactive(反应)

△TouchWorld 三层架构:高层规划并预测目标,中层生成动作,高频触觉反馈实时纠偏

Predictive:触觉目标预测

机器人不仅要预测视觉变化,还要预测理想的接触状态。

△TouchWorld通过触觉世界模型预测机器人任务子目标

以按喷壶按钮为例:

  • 视觉层面:手接触按钮与按下按钮的画面差异极小,尤其当手遮挡按钮时,图像难以判断任务完成度。
  • 触觉层面:手指是否接触、压力是否到位,是更直接的判断依据。

TouchWorld通过预测触觉目标,让机器人明确:若子任务完成,手指应呈现何种接触和压力状态。

这对灵巧操作至关重要,因为许多任务的完成状态并不完全体现在视觉上,而是体现在手与物体的接触关系中。

Reactive:高频触觉反馈修正

真实操作中,物体可能滑动、接口可能偏移、抓握可能不稳,灵巧手本身也存在定位误差。机器人无法每次都等待上层模型重新规划,而需像人类一样,在接触瞬间根据触觉反馈快速调整。

人类抓取湿滑物体时,不会重新计算每个关节角度,而是依据触感即时调整姿态。TouchWorld的Reactive模块遵循此逻辑:

  • 上层模型输出粗动作;
  • 底层根据实时触觉反馈输出修正量,在接触过程中不断纠偏。

在TouchWorld设计中,Reactive模块的推理频率是Tactile World Model的4倍。中间策略每输出一个动作,底层均进行多次细微调整,每次输出的是Delta修正量,而非重新生成完整动作。

这套机制使触觉从被动记录转变为参与动作生成和执行控制的核心要素。

实验验证

TouchWorld在六项真实机器人任务中进行了测试:浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾

△TouchWorld在浇花、抽纸巾等六项真实机器人任务中完成测试

这些任务虽不炫目,却是检验触觉价值的理想场景:

  • 浇花:需按压喷壶按钮;
  • 插头/杯子插入:考验精密接触;
  • 擦锅:需持续调节压力;
  • 抽纸巾:涉及柔性物体与稳定拉取;
  • 桌面清理:要求多子任务切换及抓取稳定性。

实验结果:

  • 在Clean Setting(清洁设置)下,平均成功率达 65.0%
  • 在人为扰动场景下,平均成功率达 57.2%

相比Pi-0.5、FTP-1、GR00T N1.7等基线方法,TouchWorld在两种设置下分别高出最强Baseline 15.716.0个百分点。

这一结果并不意味着灵巧操作问题已彻底解决,65.0%的成功率也表明系统距离大规模泛化仍有长路要走。

但它验证了一个关键事实:当任务进入接触阶段,触觉目标预测和高频反馈修正确实能提升机器人操作的稳定性。

对破晓智能而言,这比单点成功率更重要。TouchWorld证明了触觉可以进入机器人世界模型和操作策略,而不仅仅停留在传感器读数层面。

△HumanWBC采集人类视觉、动作与触觉数据,并对齐至机器人执行

冲破黎明前的黑暗

“破晓智能”之名,蕴含其成立初衷:机器人行业不缺Demo,也不缺关于通用智能的宏大叙事。但当机器人从展示走向真实场景,许多基础设施仍处于技术收敛前的混沌状态。

五指灵巧手加触觉便是其中之一:

  • 高自由度、带全掌触觉的灵巧手方案尚不成熟;
  • 触觉数据采集困难;
  • 真机灵巧操作数据稀缺;
  • 触觉手套噪声大;
  • 不同传感器数据表示不统一;
  • 缺乏统一的Benchmark。

这些看似琐碎的问题相互制约,决定了触觉灵巧操作能否真正落地。

在杨朔团队的研究过程中,为采集高自由度灵巧手的触觉数据,团队曾将触觉手套裁剪后硬套在五指灵巧手上,自行搭建真机采集方案。

然而,手套易损、灵巧手发热、标定漂移导致数据噪声大、采集效率低。

这些工程难题强化了一个判断:触觉灵巧操作不是单点模型问题,而是一个系统问题。

这也是破晓智能不能仅停留在模型侧或研发侧的原因。

在触觉灵巧操作中,数据本身就是基础设施。破晓智能正在搭建面向人类操作的多模态数据采集平台,致力于实现低成本、无感便携、全场景的数据采集,将第一人称视觉、腕部视角、手部姿态、全掌触觉、全身姿态等信息整合至同一系统。

这些工作指向同一目标:让机器人不仅“看到”人类如何操作,更能获得接近“人手真实感觉”的数据。

只有数据足够丰富,TouchAnything才能从视频中恢复触觉,TouchWorld才能进一步学习预测和使用触觉。

破晓智能的目标不仅是发布模型,更是围绕人形机器人全身移动灵巧操作,补齐一套系统能力:

  1. 触觉数据采集
  2. 触觉估计
  3. 触觉世界模型
  4. 遥操与硬件基础设施
  5. 评测体系
  6. 面向人形机器人的全身移动灵巧操作模型

如果说EgoTouch和TouchAnything解决了“触觉数据从哪来”,TouchWorld解决了“机器人如何预测和使用触觉”,那么HumanWBC则指向破晓智能的最终闭环:让机器人将感知理解、自主移动、全身控制和灵巧操作连接起来,从“能看懂”走向“能走过去、抓起来、做完事”。

这一步将问题从桌面灵巧操作推向更复杂的人形机器人任务:移动、平衡、双臂协同、长程任务、全身控制,以及触觉反馈与整体动作系统的结合。

破晓智能旨在让机器人从“看见世界”,走向“理解接触世界”。

未来,人形机器人进入家庭、服务、工业等真实场景,不能仅靠视觉和语言。它必须知晓:是否碰到、是否抓稳、是否滑动、力度是否合适,以及动作偏差后如何修正。

从EgoTouch到TouchAnything,再到TouchWorld,杨朔团队已将这条路线推进至真实机器人操作系统中。

破晓智能的首次亮相,抛出一个明确判断:机器人基础模型的下一层能力,是触觉。

而冲破黎明前黑暗的第一步,就是让机器人真正知道自己碰到了什么。

TouchWorld 论文:https://arxiv.org/abs/2607.07287
Tech Blog:https://phanes-lab.github.io/TouchWorld-website/

TouchAnything 论文:https://arxiv.org/abs/2605.13083
官方项目主页:https://jianyi2004.github.io/TouchAnything-Website/

本文系量子位获授权刊载,观点仅为原作者所有。

标签:

责任编辑:焦点