阿里巴巴联合学界开源大型3D场景数据集

云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

源于阿里巴巴淘系的工业生产流程,兼具质量与数量,模型包含丰富的几何与纹理细节,阿里巴巴联合学界开源的场} 8 2 . ! /布局数据集 3D-FRONT 将填补大规模高质量 3D 场景布局数据集} ) ; r Q空白的现状。

近期,阿里巴巴淘系技术部门的赵斌强、贾荣飞等与西蒙弗雷泽大学的= | p +张皓教授以及中科院计算所的高林、张凌霄多方共同合Z l x A | 7作,在 CVPR 2020 的 Worksu 9 % n z @ {hop“Learning 3D Generative” 中开源了大型 3D 场景数据集 3D-FRONT(3D Furnished Rooms wi^ N s Y , 8 b M =th layOuts anu ! 8 D v c V qd semaNTics),以填补目 * - 7前学界在大规模高质量 3D 场景布局数据集上E z y K j V f B j空白的现状。其中,张皓教授是 CVPR 2020“Learning 3D Generative”Workshop 的核心组织者之一。

接下来我们来看 3D-FRONT 的技术细节。

3D 场景数据将推动基于 AI 的 3D 应用研究

阿里巴巴联合学界开源大型3D场景数据集
图 1:三维室内场景研究与应用。

3D 与 2D 场景理解是打造未来 AI 世界所研究8 : s的基础核心课题,涵盖机器人室内寻路、线上商城、室内设计等室内场 # s 5 S z n 1景相关的应用。这些应用的背后涉及到语义分割、物体: Q } 4识别、场景生成等深度学习相关的理论与技术,而这些技术都是需要依赖o { a ] 8大量数据. N w ) h : d r 2N l * # a M训练相关深度模型从而发挥作用。

因此,高质量的大型 3D 场景数据集对于上述相关* d g研究的推动具有重大意义。

然而,现阶段学术界亟须大规模高质量的 3D 场景数据集以支持和推动数据驱动的智能化 3D 场景的相关研究,特别是具有高质量布局与室内设计3 b $ k % C R @的 3D 场景数- K b B据集。

% Z u O ) I n q前,相关的数据集有,例如:普林斯顿大) e j 3 C提出的 SUNCG、斯坦福大学提出的 ScanNet、上海科技大学提出的 structured3D 等,但是这些数据集存在场景内容不够丰富,数据规模不够庞大的问题。比如,structured3D 数据集中虽然提供了 3 千多个场景,但是未能提供具有高质量纹理的三维模型数据。

阿里巴巴联合学界开源大型3D场景数据集
图 2:3D-FRONT 数据采集流程。

阿里巴巴作为 9 { 2 D D世界级的电商互联网巨头,其官方家装家居设计平台 - 躺平设计家积N P o c ;累了海量高质量家居设计方案。

以这些真实家居场景为基础,阿里巴巴淘系技术部结合 3D 人工智能技术( 1 P r 5 )初步打造了场景化数字营销,推出了智能设计搭配服务,并创造了大量精美场景布局与设计数据。这些场景数据很好地契合了学术界的需求。

一言以蔽之,3D-FRONT 数据集源于阿里巴巴淘系的工业生产流程,兼具质量与数量。

3D-FRONT 填补学术界 3D 场景布局数据空白

阿里巴巴联合学界开源大型3D场景数据集
图 3:3D-FR) i | s aONT 数据4 _ n u X 8 M s Q集属性。

3D-FRONT 包含 6,813 个真实户型,平均每个户型包含 7 个房间场景,其中 19,775 个房间场景具有人工验证过的精美室内设计信息2 b O W $ F。每个房间内涉及的家具均来自于阿里巴巴已开源的 3D 模型数据集 3D-p @ 5 k )FUTURE(3D FUrniture shapes with TextURE),该数据集的模型都包含丰富的几何与纹理细节。

相比L * l 4于其他 3D 场景数据集,Q S d H 3 ~ { 03D-FRONT 在以下指标处于领先地位,包括户型数目、房间场景数目和房间类型等,并且还提供了q q , L +高质量硬装模型和家具模型。

场景中的 3D 几何模型具有丰富的几何细节与高质量的纹理图,这些几何模型来自于阿里巴巴已开& | K源的 3D 模型库数据集 3D-FUa % ! 0 I ( | 9 PTURE。


图 4:3D-FRONT 与其他场景数据集对比。

目前,3D-FRONT 与 3D-FUTURE 数据集已对外开放并提供f w ~下载,同时,淘系技术部与今年 3 月v 8 7 t a同步发起第一届阿v x ] [ . d ` n里巴2 u A . 4 R T I U巴 3D 人工智能挑战赛,目前初赛报名阶段已结束,共吸引来自c M _ ; % N o全球 1300 多支队伍报名,共同参与T F : 6 1 v j 8并建立学术L M a [ O c 3研究与工业应用的桥梁。大赛将于 8 月 21 日决出赛道名次,后续结果敬请关注。

3D-FRONT 数据集主页:h5 M h ^ 9ttps://tianchi.aliS 7 n / D #yun.com/specials/promotion/alibaba-3d-scene-dataset

3D-FUTURE 数据集主页:httpW F n Q ~s://tianchi.aliyun.com/specials/promotion/alibaba-3d-future

Learning 3D GeN u ( ? * Gnerative Models CVPR 2020 Workshop: https://learn3dg% z 9 ) genU p x #.github.io/

3D-FRONT 数据集贡献者

3D-FRONT数据集的贡献者共有7位,分别是来自阿里巴巴的Huan Fu、Bowen Cai、贾荣飞和赵斌强,中科院计算技术研究所的高林和张凌霄,以及西蒙弗雷泽大学的张o a F h n皓。

阿里巴巴联合学界开源大型3D场景数据集

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动/ u O K : A L态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-07-27
本文作者:机器之心编辑部
本文来自:“51CT1 a w 6 j kO”,了解相关信息可以关注“51CTO”