(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211073242.4 (22)申请日 2022.09.02 (71)申请人 浙江工商大 学 地址 310018 浙江省杭州市下沙高教园区 学正街18号 (72)发明人 宋超　王捷　杨柏林　 (74)专利代理 机构 杭州奥创知识产权代理有限 公司 33272 专利代理师 王佳健 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/27(2020.01) G06N 5/04(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习和细粒度优化的室内场 景合成方法 (57)摘要 本发明公开了一种基于深度学习网络和细 粒度优化的室内场景合成方法。 本发 明首先划分 数据集， 后通过特征编码分支， 得到家具和场景 的特征序列。 其次采用随机置换函数将家具的特 征序列进行打乱和场景特征序列进行拼接， 放入 特征融合编码器得到全局特征， 并利用残差结构 将家具种类特征输入到特征解码分支中， 得到位 置分布和角度分布。 然后对网络进行训练， 再提 取数据集中不同类型家具的绝对位置分布和相 对位置分布， 进行前向推理； 并利用碰撞检测模 块初步筛选预测结果。 最后对预测结果进行细粒 度优化。 本发 明在不增加整个网络模块以及不影 响预测速度的前提下， 提高了室内场景合成任务 的精确度。 权利要求书2页 说明书7页 附图8页 CN 115422640 A 2022.12.02 CN 115422640 A 1.一种基于深度学习和细粒度优化的室内场景合成方法， 其特征在于包括以下具体步 骤： 步骤1、 将室内家具场景 数据集划分为训练集、 验证集和 测试集； 将测试集室内场景的二进制俯视图及用户指定的家具模型组的信 息， 输入至特征编码 分支， 进行 特征编码， 分别得到家具和场景的特 征序列； 步骤2、 采用随机置换函数将家具的特征序列进行打乱， 之后和场景特征序列进行拼 接， 放入到特 征融合编码器t ransformer ‑encoder中， 得到全局特 征； 步骤3、 将全局特征输入特征解码分支， 并利用残差结构将家具种类特征输入到特征解 码分支中， 分别得到家具位置分布和角度分布； 步骤4、 对网络进行训练， 多分类损失为负对数似然损失； 步骤5、 提取 数据集中不同类型家具的绝对位置分布和相对位置分布； 对于每一个家具的绝对位置和不同家具之间的相对位置， 分别利用四维高斯混合模型 和六维高斯混合模型对这两个属性进行建模； 步骤6、 使用训练好的网络进行前向推理， 对得到的家具位置和角度分布采用多分类的 形式采样， 得到网络对每一个家具 预测的位置和角度； 利用碰撞检测模块对所有家具进行计算， 挑出碰撞最小的一个场景作为初步筛选的预 测结果； 步骤7、 利用高斯混合模型以及碰撞检测模块构造损失函数， 对预测结果进行细粒度优 化， 得到优化后每一个家具的位置 。 2.根据权利要求1所述的一种基于深度学习和细粒度优化的室内场景合成方法， 其特 征在于： 步骤2所述特征融合编码器由自注意力Self ‑Attention层、 Add&Norm层和FNN层组 成； 特征融合编码器主 要工作流 程如下： S1,通过自注意力层， 分别计算场景特征及所有家具特征对应 的Query、 Key和Value矩 阵； 通过不同家具以及场景特征之间的Query与Key矩阵相乘， 得到相关性权重矩阵， 然后根 据相关性权重矩阵乘上对应位置的Value矩阵值， 得到每一个家具根据场景特征和其它家 具特征预测出的高维特 征； S2,通过Add&Norm层， 其 中Add是采用残差结构将自注意力层的输入和预测后的高维特 征直接相加； N orm是将相加后的结果进行归一 化处理； S3,通过FNN层， 即通过全连接层将S2的输出进行映射， 并通过Relu激活函数后再降维， 得到最终每一个家具的特 征； S4,通过Ad d&Norm层， 具体操作步骤与S2相同。 3.根据权利要求1所述的一种基于深度学习和细粒度优化的室内场景合成方法， 其特 征在于： 步骤3所述特征解码分支包括位置解码 器和角度解码器， 分别对特征融合编 码器融 合后的特 征进行解码。 4.根据权利要求1所述的一种基于深度学习和细粒度优化的室内场景合成方法， 其特 征在于： 步骤7所述构造损失函数， 是将预测位置放入高斯混合模型中得到预测值相较于先 验的偏移量函数， 将此偏移量函数与碰撞检测模块根据权重结合起来， 得到最终的损失函 数；权　利　要　求　书 1/2 页 2 CN 115422640 A 2采用L‑BFGS算法对最终的损失函数进行优化。 5.根据权利要求1所述的一种基于深度学习和细粒度优化的室内场景合成方法， 其特 征在于： 构建并行的特征融合编 码器架构， 并构建 并行的特征解码分支， 对经过特征融合编 码器融合的特 征直接解码。权　利　要　求　书 2/2 页 3 CN 115422640 A 3