早在2021 年，苹果公司申请了一项名为“基于房间扫描的平面图生成”的专利。随后在 2022 年，苹果推出了“RoomPlan”，这是一个全新的 Swift API，可利用 iPhone 和 iPad 上的摄像头和LiDAR扫描仪创建房间的 3D 平面图，包括尺寸和家具类型等关键特征。
近日，美国专利商标局授予了苹果公司这项专利，该专利涵盖了利用基于传感器数据生成的物理环境3D表示法，来生成平面图和测量值的设备、系统和方法。
基于房间扫描生成平面图
苹果公司获得的专利涵盖了利用物理环境的3D表示生成平面图和测量结果的设备、系统和方法。物理环境的3D表示可以根据传感器数据（如图像和深度传感器数据）生成。在某些实施方案中，使用物理环境的语义标签3D表示法可方便生成平面图和测量结果。一些实施方案对物理环境的3D点云进行语义分割和标记。通过使用语义3D表示法，例如将语义标注的3D点云编码到2D横向域上，本专利公开的技术具有许多优势。在2D横向域中使用语义3D表示法可促进有效识别用于生成平面图或测量结果的结构。
专利指出，可以通过各种格式提供平面图。在某些实施方案中，平面图包括房间的2D俯视视图。平面图可以以图形方式描述房间的边界，例如，使用线条或其他图形特征以图形方式描述墙壁、障碍物或房间范围的其他限制。平面图可以用图形描述墙壁边缘、门和窗等墙壁特征的位置和几何形状。平面图可以用图形描述房间内的物体，如沙发、桌子、椅子、电器等。平面图可包括识别房间内边界、墙壁、门、窗和物体的标识符，例如，包括识别这些元素的文本标签或参考数字。平面图可包括房间中边界、墙壁边缘、门、窗和物体的测量指示，例如，包括指定墙壁长度、桌子直径、窗户宽度等的数字。
根据某些实施方案，平面图的创建基于用户执行的房间扫描，例如，移动设备以捕捉房间中用户周围的图像和深度数据。在房间扫描过程中，一些实施方案会提供初步2D平面图的预览。例如，当用户在房间内走动捕捉传感器数据时，用户的设备可以显示正在生成的初步2D平面图的预览。该预览是“实时”的，因为它是在持续捕捉用于生成初步2D平面图的传感器数据流或数据集的过程中提供的。
为实现对初步2D平面图的实时预览，预览的生成方式（至少最初）可能与最终的扫描后平面图不同。在一个示例中，生成预览时不使用某些后处理技术（如微调、角校正等），而这些技术被用于生成最终的扫描后平面图。在其他示例中，实时预览可以使用计算密集度低于生成最终扫描后平面图的神经网络。使用2D语义数据（例如，房间的不同层）也有助于使预览确定足够高效，以进行实时显示。
在某些实施方案中，可以根据分别识别墙壁结构（如墙壁边缘、门和窗户）和检测物体（如家具、电器等）的边界框来生成平面图。可以使用不同的技术分别检测墙壁结构和物体，然后将检测结果合并，生成同时表示墙壁结构和物体的平面图。
在某些实施方案中，平面图创建流程根据多层3D语义数据编码的2D表示法来识别墙体结构（例如墙边）。例如，3D语义数据可以分割成多个水平层，用于识别房间墙壁边缘的位置。
图源：patentlyapple
苹果专利图 1 是操作环境 #100 的示例框图。用户可以使用 iPhone、iPad 或 Apple Vision Pro 扫描房间；图 4 是使用3D数据和基于深度和光强图像信息的语义分割生成语义3D表示的示例系统流程图；图 6 是基于物理环境的3D表示生成物理环境的2D平面图的实时预览的示例系统流程图。
想了解更多专利详细信息，请查阅苹果公司的授权专利 11715265。
来源：patentlyapple
