酷游九州训练分割模型的设备和方法pdf
九州酷游 九州酷游ku 体育九州酷游 九州酷游ku 体育公开了一种用于训练分割模型的设备和方法，其中，训练分割模型的方法包括：分割模型(204)为数字图像(106)生成分割图像(206)，该分割图像(206)包括描述数字图像(106)中的至少一个对象(202)的片段(208)；根据分割图像(206)的片段(208)来确定数字图像(106)的可预测性(212)；训练分割模型(204)，以减少根据分割图像(206)的片段(208)的数字图像(106)的可预测性(212)。
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112529000 A (43)申请公布日 2021.03.19 (21)申请号 4.0 G06N 3/08 (2006.01) (22)申请日 2020.09.18 (30)优先权数据 2 2019.09.19 EP (71)申请人 罗伯特 ·博世有限公司 地址 德国斯图加特 (72)发明人 M ·诺鲁齐 (74)专利代理机构 中国专利代理(香港)有限公 司 72001 代理人 周学斌申屠伟进 (51)Int.Cl. G06K 9/34 (2006.01) G06K 9/62 (2006.01) G06K 9/00 (2006.01) G06N 3/04 (2006.01) 权利要求书2页 说明书11页 附图10页 (54)发明名称 训练分割模型的设备和方法 (57)摘要 公开了一种用于训练分割模型的设备和方 法，其中，训练分割模型的方法包括：分割模型 (204)为数字图像(106)生成分割图像(206)，该 分割图像(206)包括描述数字图像(106)中的至 少一个对象(202)的片段(208)；根据分割图像 (206)的片段(208)来确定数字图像(106)的可预 测性(212)；训练分割模型(204)，以减少根据分 割图像(206)的片段(208)的数字图像(106)的可 预测性(212)。 A 0 0 0 9 2 5 2 1 1 N C CN 112529000 A 权利要求书 1/2 页 1.一种计算机实现的分割模型的训练的方法，所述方法包括： • 分割模型为数字图像生成分割图像，所述分割图像包括描述所述数字图像中的至少 一个对象的片段； • 根据分割图像的片段来确定数字图像的可预测性； • 训练分割模型，以减少根据分割图像的片段的数字图像的可预测性。 2.根据权利要求1所述的方法，其中，根据分割图像的片段来确定数字图像的可预测性 包括： • 使用分割图像的片段和数字图像来生成数字图像的片段；以及 • 根据数字图像的片段来确定数字图像的可预测性；以及 • 其中，分割模型被训练成减少根据数字图像的片段的数字图像的可预测性。 3.根据权利要求2所述的方法，其中，根据数字图像的片段来确定数字图像的可预测性 包括： • 生成模型为数字图像的片段生成重建的数字图像，其中，重建的数字图像是数字图 像的预测； • 其中，分割模型被训练成增加重建的数字图像与数字图像之间的差异。 4.根据权利要求2所述的方法，其中，根据数字图像的片段来确定数字图像的可预测性 包括： • 生成模型为数字图像的片段生成重建的数字图像，其中，重建的数字图像是数字图 像的预测； • 判别模型确定重建的数字图像属于包括所述数字图像的类别的概率； 并且其中，分割模型被训练成增加由判别模型确定的概率。 5.根据权利要求2所述的方法，其中，分割图像进一步包括片段的背景；所述方法进一 步包括： 使用数字图像为分割图像的背景生成数字图像的背景； 其中，根据数字图像的片段来确定数字图像的可预测性包括根据数字图像的片段来确 定数字图像的背景的可预测性；以及 其中，分割模型被训练成减少根据数字图像的片段的数字图像的背景的可预测性。 6.根据权利要求5所述的方法，其中，根据数字图像的片段来确定数字图像的背景的可 预测性包括： • 使用分割图像的背景和附加数字图像来生成附加数字图像的背景； • 为数字图像的片段和附加数字图像的背景生成组合数字图像； • 判别模型确定组合数字图像属于包括数字图像和附加数字图像的类别的概率； 并且其中，分割模型被训练成增加由判别模型确定的概率。 7.根据权利要求1至8中任一项所述的方法，进一步包括： • 经训练的分割模型生成训练数据； • 使用训练数据来训练附加模型。 8.一种训练设备，其被配置成实行根据权利要求1至6中任一项所述的方法。 9.一种设备，其包括通过权利要求7所述的方法训练的附加模型。 10.一种系统，其包括： 2 2 CN 112529000 A 权利要求书 2/2 页 权利要求8或9所述的设备； 至少一个传感器，其被配置成为设备提供数字图像。 11.一种包括生成对抗网络(GAN)的系统，其中，所述GAN包括多个生成器网络，并且其 中，多个生成器网络中的至少一个生成器网络包括通过权利要求1至6中任一项所述的方法 训练的分割模型。 12.一种车辆，其包括： 至少一个成像传感器，其被配置成提供数字图像； 驾驶辅助系统，其包括通过权利要求1至6中任一项所述的方法训练的分割模型，其中， 所述分割模型被配置成为每个数字图像提供分割图像，并且其中，所述驾驶辅助系统被配 置成使用分割图像来控制车辆。 13.一种车辆，其包括： 至少一个成像传感器，其被配置成提供数字图像； 驾驶辅助系统，其包括分割模型，其中，所述分割模型被配置成为每个数字图像提供分 割图像，并且包括通过权利要求7所述的方法训练的附加模型，其中，所述附加模型被配置 成处理多个分割图像，并且其中，所述驾驶辅助系统被配置成使用经处理的分割图像来控 制车辆。 3 3 CN 112529000 A 说明书 1/11 页 训练分割模型的设备和方法 技术领域 [0001] 各种实施例一般涉及训练分割模型的设备和方法。 背景技术 [0002] 作为示例，对于自主驾驶，可以使用诸如相机传感器和/或视频传感器之类的成像 传感器来提供车辆周围环境的数字图像。该数字图像可以图示对象（诸如汽车、自行车、行 人、路牌等），并且可以使用分割模型通过语义分割来进行分割和分类，并且可以取决于经 分割和分类的数字图像来控制车辆。因此，出于安全原因，分割模型有必要能够为数字图像 中的对象提供具有清晰边界的片段。 [0003] 诸如神经网络之类的各种模型被应用于计算机视觉领域。作为示例，神经网络可 以被用来使用由成像传感器检测到的图像来生成分割图像。然而，分割图像的片段还可以 包括不属于检测到的图像中示出的对象的像素。因此，可能有必要提供一种能够为检测到 的图像生成具有分割对象的清晰对象边界的分割图像的模型。 [0004] 在Arandjelovic等人的《具有复制粘贴GAN的对象发现》(arXiv：1905.11369， 2019)中描述了一种生成对抗网络，其中，图像的分割部分被复制到另一幅图像中。 [0005] 具有独立权利要求1（第一示例）和11（二十二示例）的特征的方法和设备使得能够 对模型进行训练以生成具有改善的分割对象的对象边界的数字图像的分割图像。 [0006] 模型可以是为输入数据提供输出数据的任何种类的算法。模型可以是差分模型。 例如，模型可以是神经网络。 [0007] 分割图像可以进一步包括片段的背景。本段中提到的特征结合第一示例提供了第 二示例。 [0008] 分割图像可以是二进制分割图像。分割图像可以包括用于片段的第一二进制值 “1”和用于背景的第二二进制值“0”。在本段中提到的特征结合第一示例或第二示例提供了 第三示例。 [0009] 该数字图像可以是彩色图像，例如是RGB图像。在本段中提到的特征结合第一示例 至第三示例中的任一个提供了第四示例。 [0010] 根据分割图像的片段来确定数字图像的可预测性可以包括：使用分割图像的片段 和数字图像来生成数字图像的片段。根据分割图像的片段来确定数字图像的可预测性可以 进一步包括：根据数字图像的片段来确定数字图像的可预测性。分割模型可以被训练成减 少（例如，最小化）根据数字图像的片段的数字图像的可预测性。因此，数字图像的片段的像 素共享更高级别的抽象，该抽象更独立于其他像素。这具有的效果是，分割方法是在无监督 的情况下训练的，即，仅使用数字图像而无人工监督。在本段中提到的特征结合第一示例至 第四示例中的任一个提供了第五示例。 [0011] 根据数字图像的片段来确定数字图像的可预测性可以包括：生成模型，其为数字 图像的片段生成重建的数字图像。重建的数字图像可以是数字图像的预测。分割模型可以 被训练成增加重建的数字图像与数字图像之间的差异。例如，训练分割模型以增加重建的 4 4 CN 112529000 A 说明书 2/11 页 数字图像与数字图像之间的差异可以包括通过将重建的数字图像与数字图像进行比较来 确定第一损失值，并且可以通过增加（例如，最大化）第一损失值来训练分割模型。在本段中 提到的特征结合第五示例提供了第六示例。 [0012] 该方法可以进一步包括通过减小（例如，最小化）第一损失值来训练生成模型。本 段中提到的特征结合第六示例提供了第七示例。 [0013] 根据数字图像的片段来确定数字图像的可预测性可以包括：生成模型为数字图像 的片段生成重建的数字图像。重建的数字图像可以是数字图像的预测。根据数字图像的片 段来确定数字图像的可预测性可以进一步包括：判别模型确定重建的数字图像属于包括该 数字图像的类别的概率。分割模型可以被训练成增加由判别模型确定的概率。例如，训练分 割模型以增加由判别模型确定的概率可以包括：使用由判别模型确定的概率来确定第二损 失值，并且可以通过增加（例如，最大化）第二损失值来训练分割模型。在本段中提到的特征 结合第五示例提供了第八示例。 [0014] 该方法可以进一步包括：通过减小（例如，最小化）第二损失值来训练生成模型。在 本段中提到的特征结合第八示例提供了第九示例。 [0015] 该方法可以进一步包括：通过增加（例如，最大化）第二损失值来训练判别模型。在 本段中提到的特征结合第八示例或第九示例提供了第十示例。 [0016] 根据分割图像的片段来确定数字图像的可预测性可以包括：根据分割图像的片段 来确定分割图像的背景的可预测性。分割模型可以被训练成减小（例如，最小化）根据分割 图像的片段的分割图像的背景的可预测性。在本段中提到的特征结合第二示例并且可选地 结合第三示例和/或第四示例提供了第十一示例。 [0017] 该方法可以进一步包括：使用数字图像为分割图像的背景生成数字图像的背景。 根据分割图像的片段来确定分割图像的背景的可预测性可以包括：根据数字图像的片段来 确定数字图像的背景的可预测性。分割模型可以被训练成减少（例如，最小化）根据数字图 像的片段的数字图像的背景的可预测性。在本段中提到的特征结合第十一示例提供了第十 二示例。 [0018] 根据数字图像的片段来确定数字图像的背景的可预测性可以包括：使用分割图像 的背景和附加图像来生成附加数字图像的背景。根据数字图像的片段来确定数字图像的背 景的可预测性可以进一步包括：为数字图像的片段和附加数字图像的背景生成组合数字图 像。根据数字图像的片段来确定数字图像的背景的可预测性可以包括：判别模型确定组合 数字图像属于包括数字图像和/或附加数字图像的类别的概率。分割模型可以被训练成增 加由判别模型确定的概率。例如，将分割模型训练成增加由判别模型确定的概率可以包括： 使用由判别模型确定的概率来确定第三损失值，并且可以通过增加（例如，最大化）第三损 失值来训练分割模型。这具有的效果是：分割模型被训练成片段区域，使得如果将它们粘贴 到附加图像，则组合图像看起来像是真实的传感器检测到的图像。因此，分割模型提供了独 立于片段的背景的片段。在本段中提到的特征结合第十二示例提供了第十三示例。 [0019] 该方法可以进一步包括：通过减小（例如，最小化）第三损失值来训练判别模型。在 本段中提到的特征结合第十三示例提供了第十四示例。 [0020] 该方法可以进一步包括：传感器检测数字图像。在本段中提到的特征结合第一示 例至第十四示例中的任一个提供了第十五示例。 5 5 CN 112529000 A 说明书 3/11 页 [0021] 传感器可以包括相机传感器、视频传感器、雷达传感器、LiDAR传感器、超声传感 器、运动传感器或热传感器。在本段中提到的特征结合第十五示例提供了第十六示例。 [0022] 该数字图像可以包括多个对象。分割模型可以为多个对象中的每个对象生成分割 图像，其中，每个分割图像可以包括描述对象的片段。可以为多个分割图像中的每个分割图 像实行该方法。在本段中提到的特征结合第一示例至第十六示例中的任一个提供了第十七 示例。 [0023] 分割模型的至少一部分可以由一个或多个处理器实现。在本段中提到的特征结合 第一示例至第十七示例中的任一个提供了第十八示例。 [0024] 分割模型可以是神经网络。在本段中提到的特征结合第一示例至第十八示例中的 任一个提供了第十九示例。 [0025] 该方法可以进一步包括：经训练的分割模型生成训练数据。该方法可以包括：使用 训练数据来训练附加模型。在本段中提到的特征结合第一示例至第十九示例中的任一个提 供了第二十示例。 [0026] 一种计算机程序产品可以存储被配置成在被执行的情况下实行第一示例至第二 十示例中的任一个的方法的程序指令。在本段中提到的特征提供了第二十一示例。 [0027] 一种设备可以包括通过第二十示例的方法训练的附加模型。在本段中提到的特征 提供了第二十三示例。 [0028] 一种系统可以包括第二十二示例或第二十三示例的设备。该系统可以进一步包括 至少一个传感器。该至少一个传感器可以被配置成为设备提供数字图像。在本段中提到的 特征提供了第二十四示例。 [0029] 一种系统可以包括生成对抗网络(GAN)。该GAN可以包括多个生成器网络，其中，多 个生成器网络中的至少一个生成器网络可以包括通过第一示例至第十九示例中的任一个 的方法训练的分割模型。在本段中提到的特征提供了第二十五示例。 [0030] 一种系统可以包括生成对抗网络(GAN)。该GAN可以包括多个生成器网络，其中，多 个生成器网络中的至少一个生成器网络可以包括通过第二十示例的方法训练的附加模型。 在本段中提到的特征提供了第二十六示例。 [0031] 一种车辆可以包括被配置成提供数字图像的至少一个成像传感器。该车辆可以进 一步包括驾驶辅助系统。该驾驶辅助系统可以包括通过第一示例至第十九示例中的任一个 的方法训练的分割模型。该分割模型可以被配置成为每个数字图像提供分割图像。该驾驶 辅助系统可以被配置成使用分割图像来控制车辆。因此，该车辆能够以改善的方式检测周 围对象。换句话说，经训练的分割模型能够提供具有清晰对象边界的分割图像，从而改善了 分割对象的分类，并且因此改善了车辆的控制。在本段中提到的车辆提供了第二十七示例。 [0032] 一种车辆可以包括被配置成提供数字图像的至少一个成像传感器。该车辆可以进 一步包括驾驶辅助系统。该驾驶辅助系统可以包括分割模型，其中，该分割模型可以被配置 成为每个数字图像提供分割图像。该驾驶辅助系统可以包括通过第二十示例的方法训练的 附加模型。该附加模型可以被配置成处理多个分割图像，并且该驾驶辅助系统可以被配置 成使用经处理的分割图像来控制车辆。在本段中提到的车辆提供了第二十八示例。 [0033] 参照附图描述了本发明的各种实施例，在附图中： 图1示出了根据各种实施例的设备； 6 6 CN 112529000 A 说明书 4/11 页 图2示出了根据各种实施例的用于训练分割模型的处理系统； 图3示出了根据各种实施例的用于训练分割模型的处理系统； 图4示出了根据各种实施例的用于训练分割模型的处理系统； 图5示出了根据各种实施例的用于训练分割模型的处理系统； 图6示出了根据各种实施例的用于训练分割模型的处理系统； 图7示出了根据各种实施例的用于训练分割模型的处理系统； 图8示出了根据各种实施例的训练分割模型的方法； 图9示出了根据各种实施例的包括分割模型的系统； 图10示出了根据各种实施例的车辆。 [0034] 在实施例中，“电路”可以被理解为任何种类的逻辑实现实体，其可以是硬件、软 件、固件或其任何组合。因此，在实施例中，“电路”可以是硬线逻辑电路或可编程逻辑电路， 诸如可编程处理器，例如，微处理器（例如，复杂指令集计算机(CISC)处理器或精简指令集 计算机(RISC)处理器）。“电路”也可以是由处理器实现或执行的软件，例如，任何种类的计 算机程序，例如，使用诸如例如Java之类的虚拟机代码的计算机程序。根据替代实施例，将 在下面更详细描述的各个功能的任何其他种类的实现方式也可以被理解为“电路”。 [0035] 在计算机视觉领域中，将分割模型应用于图像分割，并且可以基于分割的图像来 控制各种系统。然而，分割图像的片段还可以包括不属于经处理的图像中所示的对象的像 素，这可能导致对各个系统的不想要的控制。说明性地，分割模型被训练成为数字图像提供 分割图像，其中，描述数字图像中的各个对象的片段表示具有清晰对象边界的对象。 [0036] 图1示出了根据各种实施例的设备100。设备100可以包括一个或多个传感器102。 传感器102可以被配置成提供（数字）图像，例如，包括数字图像106的多个数字图像104。传 感器102可以是能够提供（数字）图像的任何种类的传感器，例如成像传感器（诸如相机传感 器或视频传感器）、雷达传感器、LiDAR传感器、超声传感器、运动传感器、接收器传感器等。 多个传感器可以是相同类型的传感器或属于不同的传感器类型。设备100可以进一步包括 存储器设备108。存储器设备108可以包括例如在处理器执行的处理中使用的存储器。在实 施例中使用的存储器可以是易失性存储器，例如DRAM（动态随机存取存储器）或非易失性存 储器，例如PROM（可编程只读存储器）、EPROM（可擦除PROM）、EEPROM（电可擦除PROM）或闪速 存储器，例如，浮栅存储器、电荷捕获存储器、MRAM（磁阻随机存取存储器）或PCRAM（相变随 机存取存储器）。存储器设备108可以被配置成存储由一个或多个传感器102提供的多个数 字图像104，诸如数字图像106。设备100可以进一步包括至少一个处理器110。如上所述，至 少一个处理器110可以是任何种类的电路，即，任何种类的逻辑实现实体。在各种实施例中， 处理器110可以被配置成处理数字图像106。 [0037] 图2示出了根据各种实施例的用于训练分割模型的处理系统200。处理系统200可 以包括存储器设备108。存储器设备108可以存储数字图像106。数字图像106可以包括至少 一个对象202。处理系统200可以进一步包括至少一个处理器110。处理器110可以被配置成 处理数字图像106。处理器110可以被配置成实现分割模型204的至少一部分。分割模型204 可以是神经网络，其中，该神经网络可以是任何种类的神经网络，诸如卷积神经网络。该神 经网络可以包括任何数量的层，并且神经网络的训练（即，适配神经网络的层）可以基于任 何种类的训练原理，诸如反向传播，即，反向传播算法。 7 7 CN 112529000 A 说明书 5/11 页 [0038] 分割模型204可以被配置成处理数字图像106，并且可以进一步被配置成为数字图 像106生成分割图像206。分割图像206可以包括片段208，该片段208描述了数字图像106中 的至少一个对象202。分割图像206可以进一步包括片段208的背景210。换句线，其描述数字图像中的至少一个对象202；以及背景210，其描述数字 图像中至少一个对象202的背景212。数字图像106可以是彩色图像（例如，RGB），并且分割图 像206可以是二进制图像。分割图像206可以包括用于片段208的第一二进制值“1”和用于背 景210的第二二进制值“0”，或者可以包括用于片段208的第一二进制值“0”和用于背景210 的第二二进制值“1”。换句线可以均包括多个像素，其中，分 割图像206的片段208可以包括：与数字图像106中的第一多个像素相关联的第一多个像素， 其中，数字图像106中的第一多个像素可以描述数字图像106中的至少一个对象202。分割图 像206的背景210可以包括：与数字图像106中的第二多个像素相关联的第二多个像素，其 中，数字图像106中的第二多个像素可以描述数字图像106中的至少一个对象202的背景。因 此，例如，由分割图像206中的第一多个像素描述的片段208可以包括第一二进制值“1”，而 由分割图像206中的第二多个像素描述的背景210可以包括第二二进制值“0”。 [0039] 处理器110可以进一步被配置成根据分割图像206的片段208来确定数字图像106 的可预测性214。处理器110可以被配置成适配（即，训练）分割模型204以减少（例如，最小 化）根据分割图像206的片段208的数字图像106的可预测性214。 [0040] 图3示出了根据各种实施例的用于训练分割模型的处理系统300。处理系统300可 以基本上对应于处理系统200，其中，处理器110被进一步配置成生成数字图像106的片段 302。可以使用分割图像206的片段208和数字图像106来生成数字图像106的片段302。数字 图像106的片段302 可以由用于数字图像106的分割图像206 和数字图像 106（X）的哈达玛积确定，其中，数字图像106可以是彩色图像，并且其中，分割图像206可以 包括用于片段208的第一二进制值“1”和用于背景210的第二二进制值“0”。换句线相关联的像素的第一二进制值“1”和用于与背景210相关 联的像素的第二二进制值“0”。说明性地，分割图像206可以被用作掩模，并且数字图像106 的片段302可以是从数字图像切出的一部分。处理器110可以进一步被配置成根据数字图像 106的片段302来确定数字图像106的可预测性304。根据数字图像106的片段302的数字图像 106的可预测性304可以由等式(1)确定： 。 [0041] 处理器110可以被配置成通过减少（例如，最小化）根据数字图像106的片段302的 数字图像106的可预测性304来训练分割模型204，其中，该训练可以包括由等式(2)给出的 目标函数： 其中，S是分割模型204，其为数字图像106 X生成分割图像206 S(X) 。 [0042] 图4示出了根据各种实施例的用于训练分割模型的处理系统400。处理系统400可 以基本上对应于处理系统300，其中，处理器110可以进一步被配置成实现生成模型402的至 少一部分。生成模型402可以是神经网络，例如生成器。生成模型402可以被配置成处理数字 图像106的片段302。生成模型402可以被配置成为数字图像106的片段302生成重建的数字 8 8 CN 112529000 A 说明书 6/11 页 图像404。重建的数字图像404可以是数字图像106的预测。换句线的背景212以重建数字图像106。换句线的背景的Inpainter模型。处理器110可以被配 置成通过将重建的图像404与数字图像106进行比较来确定第一损失值406。第一损失值406 可以由均方误差(MSE)确定。因此，MSE可以被用作对根据数字图像106的片段302的数字图 像106的可预测性304的量化。第一损失值406（L ）可以由等式(3)确定： 1 其中，S是分割模型204，并且G是生成模型402。 [0043] 处理器110可以进一步被配置成通过增加（例如，最大化）第一损失值406来训练分 割模型204。处理器110可以被配置成通过减小（例如，最小化）第一损失值406来训练生成模 型402。因此，通过增加（例如，最大化）第一损失值406来降低（例如，最小化）根据数字图像 106的片段302的数字图像106的可预测性304。换句线可以被训练成减少 （例如，最小化）所生成的重建的数字图像404与数字图像106之间的损失，并且分割模型204 可以被训练成增加（例如，最大化）所生成的重建的数字图像404与数字图像106之间的损 失。说明性地，通过生成该生成模型402未能根据数字图像106的片段302来重建数字图像 106的分割图像206，来改善由分割模型204生成的分割图像206的片段208的质量。换句线的一部分（例如，数字图像106的背景212）可以被隐藏，使得生成模型402无 法重建数字图像106。因此，如果由分割模型204生成的片段208包括清晰的对象边界，则生 成模型402可能无法根据数字图像106的片段302来重建数字图像106。换句线相关联的像素，并且并 不包括与数字图像106的背景212相关联的像素，则生成模型402可能无法根据数字图像106 的片段302来重建数字图像106。 [0044] 可以通过等式(4)来描述用于训练分割模型204(S)和生成模型402(G)的目标函 数： 图5示出了根据各种实施例的用于训练分割模型的处理系统500。处理系统500可以基 本上对应于处理系统300，其中，处理器110可以进一步被配置成实现生成模型402的至少一 部分，并且可以被配置成实现判别模型502的至少一部分。判别模型502可以是神经网络，例 如判别器。生成模型402可以被配置成处理数字图像106的片段302。生成模型402可以被配 置成为数字图像106的片段302生成重建的数字图像404，其中，重建的数字图像404可以是 数字图像106的预测。判别模型502可以被配置成确定重建的数字图像404属于包括数字图 像106的类别的概率504。换句话说，判别模型可以包括第一类别，并且第一类别可以包括数 字图像106。判别模型502可以进一步包括第二类别，其中，第二类别可以包括由诸如生成模 型402之类的生成模型所生成的至少一个图像。因此，第一类别可以与诸如传感器检测到的 图像之类的“真实”图像相关联，并且第二类别可以与诸如所生成的图像之类的“伪造”图像 相关联。说明性地，判别模型502可以被配置成确定重建的数字图像404为“真实”图像（即， 传感器检测到的图像）的概率。因此，处理系统500可以包括：生成对抗网络(GAN)，其包括生 成模型402和判别模型502。GAN的目标函数可以由等式(5)描述： 9 9 CN 112529000 A 说明书 7/11 页 其中，D是判别模型，其中， 是“真实”图像（例如，数字图像106）的分布，并且其中， 是随机分布。 [0045] 考虑最佳判别模型D*，最佳判别模型和生成模型的损失 可以由等式(6) 描述： 其中，JSD是Jensen-Shannon散度，并且其中， 是所生成的图像（例如，重建的数字 图像404）的分布。 [0046] 生成模型402可以被配置成为数字图像106的片段302生成重建的数字图像404。因 此， 可以通过减少（例如，最小化）等式(6)来确定（例如，近似） ，其中，为 使用分割图像206的片段208所生成的数字图像106的片段302的清晰对象边界减小（例如， 最小化）了 ，其中，JSD可以被视为对根据数字图像106的片段 302的数字图像106的可预测性304的量化。因此，相对熵可以被用作对根据数字图像106的 片段302的数字图像106的可预测性304的量化。根据各种实施例，如果分割模型204生成了 具有清晰对象边界的分割图像206的片段208，则减小（例如，最小化）了等式(6)。说明性地， 生成模型未能为具有清晰对象边界的分割图像206的片段208根据数字图像的片段302来重 建数字图像106。处理器110可以被配置成使用由判别模型502确定的概率504来确定第二损 失值506。第二损失值506（L ）可以由等式(7)确定： 2 处理器110可以进一步被配置成通过增加（例如，最大化）第二损失值506来训练分割模 型204。如上所述，通过训练分割模型204以增加（例如，最大化）第二损失值506，来降低（例 如，最小化）根据数字图像106的片段302的数字图像106的可预测性304。处理器110可以被 配置成通过减小（例如，最小化）第二损失值506来训练生成模型402。可以使用logD技巧来 使第二损失值506最小化。可以使用Wasserstein距离来确定根据数字图像106的片段302的 数字图像106的可预测性304。处理器110可以进一步被配置成通过增加（例如，最大化）第二 损失值506来训练判别模型502。换句线可以被训练成根据数字图像106的 片段302来生成重建的数字图像404，对于该重建图像，判别模型502确定其属于与“真实”图 像相关联的第一类别的高概率504；判别模型502可以被训练成确定重建的数字图像404属 于第一类别的低概率504；并且分割模型204可以被训练成生成分割图像206，对于该分割图 像，判别模型502确定重建的数字图像404属于第一类别的低概率504。 [0047] 因此，可以通过等式(8)来描述用于训练分割模型204(S)、生成模型402(G)和判别 模型502(D)的目标函数： 图6示出了根据各种实施例的用于训练分割模型的处理系统600。处理系统600可以基 本上对应于处理系统300，其中，处理器110可以进一步被配置成生成数字图像106的背景 602。可以使用分割图像206的背景210和数字图像106来生成数字图像106的背景602。数字 10 10 CN 112529000 A 说明书 8/11 页 图像106的片段302的背景602 可以由用于数字图像106和数字图像106（X）的分 割图像206（S (x)）的哈达玛积确定，其中，数字图像106可以是彩色图像，并且其中，分割图 像206可以包括用于该片段的第一二进制值“0”和用于背景的第二二进制值“1”。换句线可以由用于该片段的第一二进制值“1”和用于背景的第二二进制值“0”的1-S (X)来 描述。换句线-S (X)，与分割图像206的背景210相关联的像素可以包括：第一二进 制值“1”，并且与分割图像206的片段208相关联的像素可以包括第二二进制值“0”。因此，数 字图像106的背景602可以由 来描述。说明性地，分割图像206可以被用作掩模， 并且数字图像106的背景602可以是从数字图像106切出的一部分。 [0048] 处理器110可以进一步被配置成根据数字图像106的片段302来确定数字图像106 的背景602的可预测性604。根据数字图像106的片段302的数字图像106的背景602的可预测 性604可以由等式(9)确定： 处理器110可以被配置成通过减少（例如，最小化）根据数字图像106的片段302的数字 图像106的背景602的可预测性304来训练分割模型204，其中，该训练可以由等式(10)给出 的目标函数描述： 根据数字图像106的片段302的数字图像106的背景602的可预测性604可以通过数字图 像106的背景602和数字图像106的片段302的互信息(I)来量化，并且可以由等式(11)确定： 图7示出了根据各种实施例的用于训练分割模型的处理系统700。处理系统700可以包 括存储器设备108。存储器设备108可以存储数字图像106。存储器设备108可以进一步存储 附加数字图像702。附加数字图像702可以由一个或多个传感器102提供。附加数字图像702 可以具有与数字图像106相同的尺寸，即，相同的分辨率。处理系统700可以进一步包括至少 一个处理器110。处理器110可以被配置成实现分割模型204的至少一部分，其中，分割模型 204可以被配置成为数字图像106生成分割图像206。处理器110可以被配置成使用分割图像 206和数字图像106来生成数字图像106的片段302。 [0049] 处理器110可以进一步被配置成生成附加数字图像702的背景704。处理器110可以 被配置成使用分割图像206的背景210和附加数字图像702来生成附加数字图像702的背景 704。分割图像206的背景210可以由 描述，其中，与分割图像206的背景210相关 联的像素可以包括第一二进制值“1”，并且其中，与分割图像206的片段208相关联的像素可 以包括第二二进制值“0”。附加图像702的背景704可以由分割图像206的背景210 (1-S (X)) 和附加数字图像702的哈达玛积确定，其中，附加数字图像702可以由Y描述。因此，附加数字 图像702的背景704可以由 描述。说明性地，分割图像206可以是掩模，并且数 字图像106的背景704可以是使用掩模从附加数字图像702切出的一部分。 [0050] 处理器110可以进一步被配置成生成组合数字图像706。处理器110可以被配置成 使用数字图像106的片段302和附加数字图像702的背景704来生成组合数字图像706。换句 线可以包括：与描述至少一个对象202的片段208相关联的数字图像 11 11 CN 112529000 A 说明书 9/11 页 106的像素，并且可以包括与附加数字图像702的背景704相关联的附加数字图像702的像 素。说明性地，数字图像106的片段302可以是使用分割图像206从数字图像106切出的第一 部分，并且附加数字图像702的背景704可以是使用分割图像206从附加数字图像702切出的 第二部分。换句线的多个像素中的每个像素可以与数字图像106或与 附加数字图像702相关联。 [0051] 处理器110可以被配置成实现判别模型502的至少一部分。判别模型502可以被配 置成确定组合数字图像706属于包括数字图像106和/或附加数字图像702的类别的概率 708。换句线可以包括第一类别，并且第一类别可以包括数字图像106和/或 附加数字图像702。判别模型502可以进一步包括第二类别，其中，第二类别可以包括由生成 模型生成的至少一个图像。因此，第一类别可以与诸如传感器检测到的图像之类的 “真实” 图像相关联，并且第二类别可以与诸如所生成的图像之类的“伪造”图像相关联。说明性地， 判别模型502可以被配置成确定组合数字图像706为“真实”图像（即，传感器检测到的图像） 的概率708。处理器110可以被配置成使用由判别模型502确定的概率708来确定第三损失值 L ）可以由等式(12)确定： 710。第三损失值710（ 3 处理器110可以进一步被配置成通过增加（例如，最大化）第三损失值710来训练分割模 型204。如上所述，根据数字图像106的片段302的数字图像106的背景602的可预测性604可 以通过数字图像106的背景602和数字图像106的片段302的互信息(I)来量化。可以通过生 成组合数字图像706来减少（例如，最小化）数字图像106的背景602和数字图像106的片段 302的互信息，以及因此减少根据数字图像106的片段302的数字图像106的背景602的可预 测性604，对于该组合数字图像706，判别模型502确定其属于与“真实”图像相关联的第一类 别的高概率708。因此，可以通过减小（例如，最小化）第三损失值710来训练分割模型204。判 别模型502可以被训练成确定组合数字图像706属于第一类别的低概率708。因此，可以通过 增加（例如，最大化）第三损失值710来训练判别模型502。 [0052] 因此，可以通过等式(13)来描述用于训练分割模型204(S)和判别模型502(D)的目 标函数： 通过增加（例如，最大化）第三损失值710来训练分割模型204具有以下效果：由分割模 型204生成的分割图像206的片段208包括清晰的对象边界。换句线相关联的像素，并且并不包括与数字图像 106的背景212相关联的像素。 [0053] 图8示出了根据各种实施例的训练分割模型的方法800。方法800可以包括：分割模 型204为数字图像106生成分割图像206（在802中）。分割图像206可以包括：描述数字图像 106中的至少一个对象202的片段208。方法800可以进一步包括：根据分割图像206中的片段 208来确定数字图像106的可预测性212（在804中）。方法800可以包括：训练分割模型204以 减少（例如，最小化）根据分割图像206的片段208的数字图像106的可预测性212（在806中）。 [0054] 方法800可以包括：使用分割图像206的片段208和数字图像106来生成数字图像 106的片段302。方法800可以包括：根据数字图像106的片段302来确定数字图像106的可预 12 12 CN 112529000 A 说明书 10/11 页 测性304。方法800可以包括：训练分割模型204以减少（例如，最小化）根据数字图像106的片 段302的数字图像106的可预测性304。 [0055] 方法800可以包括：使用分割图像206和数字图像106来生成数字图像106的背景 602。方法800可以包括：根据数字图像106的片段302来确定数字图像106的背景602的可预 测性604。方法800可以包括：训练分割模型204以减少（例如，最小化）根据数字图像106的片 段302的数字图像106的背景602的可预测性604。 [0056] 数字图像106可以包括多个对象，并且可以为多个对象中的每个对象实行方法 800。数字图像106可以由处理系统400、处理系统500和/或处理系统700处理，其中，分割模 型204可以为数字图像中的多个对象中的每个对象生成分割图像206。换句线为多个对象生成的多个分割图像中的每个分割图像206可以包括：描述数字图像106 中的多个对象中的一个对象的片段208，并且可以进一步包括相关联的对象的片段208的背 景210。 [0057] 图9示出了根据各种实施例的包括分割模型的系统900。系统900可以包括第一设 备902。第一设备902可以是计算机控制的设备，比如机器人、车辆、家用电器、电动工具、制 造机器、个人助理、访问控制系统等。第一设备902可以是用于传送信息的设备，比如是监视 系统或医疗（成像）系统。系统900可以进一步包括传感器904。传感器904可以被配置成检测 与第一设备902相关联的数字图像。系统900可以包括第二设备906。第二设备906可以被配 置成处理由传感器904提供的数字图像。第二设备906可以包括分割模型，诸如分割模型 204。第二设备906可以被配置成实行训练分割模型的方法800，并且可以使用处理系统400、 处理系统500和/或处理系统700。第二设备906可以被配置成为数字图像106提供分割图像 206。系统900可以进一步包括控制设备908。控制设备908可以被配置成使用第二设备906提 供的分割图像来控制第一设备902。 [0058] 根据各种实施例，第二设备906包括：由方法800训练的经训练的分割模型，诸如经 训练的分割模型204，并且控制设备908可以被配置成使用由经训练的分割模型提供的分割 图像来控制第一设备902。 [0059] 图10示出了根据各种实施例的车辆1000。车辆1000可以是具有内燃机的车辆、电 动车辆、混合动力车辆或它们的组合。另外，车辆1000可以是汽车、卡车、轮船、无人机、飞机 等等。车辆1000可以包括至少一个传感器1002。传感器1002可以是成像传感器，诸如相机传 感器或视频传感器，其中，传感器1002可以被配置成提供多个数字图像104（诸如数字图像 106），其中，每个数字图像可以包括至少一个对象202。车辆1000可以包括驾驶辅助系统 1004。驾驶辅助系统1004可以包括存储器设备108。驾驶辅助系统1004可以进一步包括至少 一个处理器110。处理器110可以实现分割模型。该分割模型可以被配置成处理由传感器 1002提供的多个数字图像104，并且为多个数字图像104生成多个分割图像（诸如分割图像 206），其中，每个分割图像可以包括：描述相关联的数字图像中的至少一个对象202的片段。 该分割模型可以是经训练的分割模型204。 [0060] 根据各种实施例，根据训练分割模型的方法800来训练分割模型，使得经训练的分 割模型能够为数字图像提供分割图像，其中，分割图像中的片段描述了相关联的数字图像 中具有清晰对象边界的对象。驾驶辅助系统1004可以被配置成使用经处理的多个数字图像 104（即，使用所生成的多个分割图像）来控制车辆1000。换句线 页 被配置成使用所生成的多个分割图像来处理多个数字图像104并且向车辆1000的一个或多 个致动器输出控制命令。因此，驾驶辅助系统1004可以使用经处理的多个数字图像104来影 响当前的车辆操纵，例如，可以维持或改变当前的车辆操纵。由于诸如紧急制动之类的安全 原因，改变当前的车辆操纵例如可以是对车辆操纵的干预。 14 14 CN 112529000 A 说明书附图 1/10 页 图 1 15 15 CN 112529000 A 说明书附图 2/10 页 图 2 16 16 CN 112529000 A 说明书附图 3/10 页 图 3 17 17 CN 112529000 A 说明书附图 4/10 页 图 4 18 18 CN 112529000 A 说明书附图 5/10 页 图 5 19 19 CN 112529000 A 说明书附图 6/10 页 图 6 20 20 CN 112529000 A 说明书附图 7/10 页 图 7 21 21 CN 112529000 A 说明书附图 8/10 页 图 8 22 22 CN 112529000 A 说明书附图 9/10 页 图 9 23 23 CN 112529000 A 说明书附图 10/10 页 图 10 24 24
2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。
3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
用于车辆车载电池充电器的保护接地电阻检查中的噪声消除的系统和方法.pdf
原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者
