今日论文速览
抓取时间(北京时间):2026-09-10 01:10:51
1. GoDeep: Annotation-Free Open-Vocabulary 3D Scene Understanding via Language-Space Lifting
- ArXiv: https://arxiv.org/abs/2609.09082v1
- 发布时间: 2026-09-09 01:31:51 (北京时间)
- 作者: Thodoris Betsas, Anastasios Doulamis, Andreas Georgopoulos
- 标签: 检测
AI 深度解析
TL;DR:GoDeep提出一种免标注的开放词汇3D场景理解方法,通过将视觉-语言模型作为翻译器生成结构化实体描述,并在纯语言嵌入空间中直接聚合,无需3D训练语料或专用编码器,实现了超越CLIP-based方法的物理内容跟踪精度和可解释性。
核心贡献:
- 提出语言空间提升(Language-Space Lifting)范式:将视觉-语言模型仅用作翻译器,生成逐图像的结构化实体级描述,并在纯语言嵌入空间中完成grounding、投影和聚合,彻底摆脱对3D训练语料和专用3D编码器的依赖。
- 系统性词汇校正机制:发现语言空间嵌入比CLIP-based嵌入更忠实地反映物理内容,通过单一系统性词汇校正即可逆转基准排名,并在不同类别上得到二次独立验证。
- 免标注的OOV(Out-of-Vocabulary)物体定位与可解释聚合策略:在ScanNet++上实现对真正词汇外物体的锐利区分与场景内定位,同时利用启发式权重(偏好精确而非频繁观测)与逐点可解释性,提出一种偏向细粒度元素定位的聚合策略。
方法类型:其他(基于视觉-语言模型的翻译与语言空间嵌入,非传统分割架构)
适用场景:通用分割(开放词汇3D场景理解)、其他(文化遗产基准)
评估指标:其他(在ScanNet++上与强免标注基线对比;在5建筑文化遗产基准上报告原始分数与词汇校正后的排名变化;OOV物体定位效果)
代码可用性:未提及
领域启发:GoDeep对图像分割与目标识别研究及工程落地具有三重价值:其一,它示范了如何将大规模视觉-语言模型从“特征提取器”角色解放为“语义翻译器”,从而规避了CLIP特征在组合任务上的词袋局限,这一思路可迁移至2D开放词汇分割任务,以提升对复杂场景中实体关系的建模能力;其二,其“语言空间嵌入比联合视觉-语言空间更忠实于物理内容”的发现,提示研究者在设计跨模态分割系统时应重新审视嵌入空间的选择,而非默认使用CLIP空间;其三,免标注、无需3D编码器的特性大幅降低了数据与算力门槛,结合逐点可解释性,为文化遗产数字化、机器人导航等标注稀缺的垂直场景提供了高可信、可审计的落地路径。