(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210432671.X (22)申请日 2022.04.21 (71)申请人 京东科技控股 股份有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一 街18号C座2层2 21室 (72)发明人 孙亮　雷寿国　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 孙蕾 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01) (54)发明名称 数据处理方法、 数据处理装置、 电子设备和 存储介质 (57)摘要 本公开提供了一种数据处理方法， 包括： 响 应于触发定时任务， 获取缓存数据库中配置的多 个键值； 分别针对每个键值， 基于键值和键值中 所存储的属性数据来生成消息数据； 以及将多个 消息数据发送至分布式消息队列中， 以便消费者 在从分布式消息队列中接收到消息数据后， 对消 息数据中包含的属性数据进行处理， 并将处理后 的属性数据写入搜索引擎集群的存储设备中。 此 外， 本公开还提供了一种数据处理装置、 一种电 子设备和一种可读存 储介质。 权利要求书2页 说明书12页 附图4页 CN 114780564 A 2022.07.22 CN 114780564 A 1.一种数据处 理方法， 包括： 响应于触发定时任务， 获取缓存数据库中配置的多个键值； 分别针对每个键值， 基于所述键值和所述键值中所存储的属性数据来生成消息数据； 以及 将多个所述消息数据发送至分布式消息队列中， 以便消费者在从所述分布式消息队列 中接收到所述消息数据后， 对所述消息数据中包含的属 性数据进行处理， 并将处理后的属 性数据写入搜索引擎 集群的存 储设备中。 2.根据权利要求1所述的方法， 还 包括： 在预设时间段内， 获取数据库中产生的变更数据， 其中， 所述预设时间段包括所述定时 任务的触发间隔； 对于获取的每 个变更数据， 从所述缓存数据库的多个键值中确定目标键值； 以及 将所述变更 数据作为所述目标键值的属性数据， 存 储至所述缓存数据库中。 3.根据权利要求2所述的方法， 其中， 所述在预设时间段内， 获取数据库中产生的变更 数据， 包括： 在所述预设时间段内， 获取 所述数据库中生成的日志信息； 以及 解析所述日志信息， 得到所述变更 数据。 4.根据权利要求2所述的方法， 其中， 所述变更 数据配置有业 务线标识和客户编号； 所述缓存数据库的多个键值分别归属于多个业 务线的键值组。 5.根据权利要求4所述的方法， 其中， 所述对于获取的每个变更数据， 从所述缓存数据 库的多个键值中确定目标键值， 包括： 基于所述变更 数据的业 务线标识， 确定目标键值组； 以及 基于所述变更 数据的客户编号， 从所述目标键值组的多个键值中确定所述目标键值。 6.根据权利要求4所述的方法， 其中， 所述消费者在从所述分布式消息队列中接收到所 述消息数据后， 对所述消息数据中包含的属 性数据进行处理， 并将处理后的属 性数据写入 搜索引擎 集群的存 储设备中， 包括： 在所述消费者接收到所述消息数据后， 响应于成功获取分布式锁， 从所述消息数据中 包含的属性数据中取 出预设数量的属性数据， 得到多个第一目标属性数据； 对多个所述第一目标属性数据进行处 理， 得到第二目标属性数据； 将所述第二目标属性数据通过预设数据接口写入所述搜索引擎集群的存储设备中； 以 及 释放所述分布式锁。 7.根据权利要求6所述的方法， 其中， 所述属性数据包括主数据和多个维度的子数据， 同一键值中所存 储的属性数据具有预设顺序； 所述对多个所述第一目标属性数据进行处 理， 包括： 基于所述预设顺序， 对多个所述第 一目标属性数据中具有相同的所述主数据和所述子 数据的属性数据进行去重， 得到多个第三目标属性数据； 以及 对于每个第 三目标属性数据， 基于所述第 三目标属性数据的主数据对所述第 三目标属 性数据的子数据进行处 理。权　利　要　求　书 1/2 页 2 CN 114780564 A 28.根据权利要求7所述的方法， 其中， 所述对于每个第三目标属性数据， 基于所述第三 目标属性数据的主数据对所述第三目标属性数据的子数据进行处 理， 包括： 对于每个第 三目标属性数据， 在所述第 三目标属性数据的主数据确定为新增操作类型 的主数据的情况下， 删除所述第三 目标属性数据中的子数据， 并从所述数据库中补充与所 述主数据对应的所有维度的子数据； 在所述第三目标属性数据的主数据确定为修改操作类型的主数据的情况下， 保留所述 第三目标属性数据的子数据的维度， 并从所述数据库中补充与所述主 数据对应的所有维度 的子数据； 在所述第三目标属性数据不包含主数据的情况下， 保留所述第 三目标属性数据的子数 据的维度， 基于所述第三目标属性数据的业务线标识和客户编号从所述数据库中补充得到 主数据， 并从所述数据库中补充与所述主数据对应的所有维度的子数据。 9.根据权利要求6所述的方法， 还 包括： 在从所述消息数据中包含的属性数据中取出预设数量的属性数据之后， 所述消息数据 中仍包含属 性数据的情况下， 将完成取出操作的消息数据发送至所述分布式消息队列中， 以便所述消费者再次消费所述完成取 出操作的消息数据。 10.一种数据处 理装置， 包括： 第一获取模块， 用于响应于触发定时任务， 获取缓存数据库中配置的多个键值； 生成模块， 用于分别针对每个键值， 基于所述键值和所述键值中所存储的属性数据来 生成消息数据； 以及 第一处理模块， 用于将多个所述消息数据发送至分布式消息队列中， 以便消费者在从 所述分布式消息队列中接收到所述消息数据后， 对所述消息数据中包含的属性数据进 行处 理， 并将处 理后的属性数据写入搜索引擎 集群的存 储设备中。 11.一种电子设备， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个指令， 其中， 当所述一个或多个指令被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现权利要求1至9中任一项所述的方法。 12.一种计算机可读存储介质， 其上存储有可执行指令， 所述可执行指令被处理器执行 时使处理器实现权利要求1至9中任一项所述的方法。 13.一种计算机程序产品， 所述计算机程序产品包括计算机可执行指令， 所述计算机可 执行指令在被执 行时用于实现权利要求1至9中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114780564 A 3