(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210434341.4 (22)申请日 2022.04.24 (71)申请人 平安科技 (深圳) 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 周永雄  (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰 于志光 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01) (54)发明名称 数据库与缓存一致性同步方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及人工智能技术, 揭露了一种数据 库与缓存一致性同步方法, 包括: 获取数据更新 请求, 根据所述数据更新请求更新预设数据库数 据, 生成二进制日志数据; 将所述二进制日志数 据解析为结构化数据; 将所述结构化数据发送给 对应消息中间件, 基于预设时间窗口及预设数量 窗口汇聚所述结构化数据, 得到结构化数据集; 消费所述结构化数据集, 得到缓存数据; 根据所 述缓存数据, 基于消息响应机制更新预设缓存。 此外, 本发明还涉及区块链技术, 结构化数据可 存储于区块链的节点。 本发明还提出一种数据库 与缓存一致性同步装置、 电子设备以及存储介 质。 本发明可以提高数据库与缓存同步时的数据 一致性。 权利要求书2页 说明书9页 附图3页 CN 114706870 A 2022.07.05 CN 114706870 A 1.一种数据库 与缓存一 致性同步方法, 其特 征在于, 所述方法包括: 获取数据更新请求, 根据所述数据更新请求更新预设数据库数据, 生成二进制日志数 据; 将所述二进制日志数据解析为结构化数据; 将所述结构化数据发送给对应消息中间件, 基于预设时间窗口及预设数量窗口汇聚所 述结构化数据, 得到结构化数据集; 消费所述结构化数据集, 得到缓存数据; 根据所述缓存数据, 基于消息响应机制更新预设缓存。 2.如权利要求1所述的数据库与缓存一致性同步方法, 其特征在于, 所述将所述二进制 日志数据解析为结构化数据, 包括: 利用预设解析器将对所述 二进制日志数据进行协议 解析, 得到 字段信息集; 将所述字段信息集 填充到预设的结构化模板中, 得到结构化数据。 3.如权利要求2所述的数据库与缓存一致性同步方法, 其特征在于, 所述将所述结构化 数据发送给对应消息中间件, 包括: 统计所述消息中间件中主题个数; 提取所述结构化数据中的数据主键, 将所述数据主键与所述主题个数取模, 得到数据 主键取模值; 将所述结构化数据发送给 所述消息中间件中编号 为所述数据主键取模值的主题。 4.如权利要求1所述的数据库与缓存一致性同步方法, 其特征在于, 所述基于预设时间 窗口及预设数量窗口汇聚所述结构化数据, 得到结构化数据集, 包括: 对所述结构化数据进行去重处 理, 得到非重复结构化数据; 利用预设时间窗口及预设数量窗口汇聚所述非重复结构化数据, 得到结构化数据集。 5.如权利要求1所述的数据库与缓存一致性同步方法, 其特征在于, 所述消费所述结构 化数据集, 得到缓存数据, 包括: 根据预设消费者数量对所述主题中所述结构化数据集进行分区, 得到分区数据; 消费所述分区数据, 得到消费后分区数据; 对所消费后分区数据进行 过滤及汇聚操作, 得到缓存数据。 6.如权利要求1至5中任一项所述的数据库与缓存一致性同步方法, 其特征在于, 所述 消费所述结构化数据集, 所述方法还 包括: 设置自动停止读取 所述结构化数据的开关, 统计消费所述结构化数据的消费时间; 当所述消费时间超过 预设时间阈值时, 打开所述 开关, 停止读取 所述结构化数据; 消费完所述结构化数据之后, 统计所述结构化数据的总消费时间, 根据所述总消费时 间及所述预设时间阈值, 对所述主题个数进行扩容处 理。 7.如权利要求6所述的数据库与缓存一致性同步方法, 其特征在于, 所述根据 所述缓存 数据, 基于消息响应机制更新预设缓存, 包括: 计算所述缓存数据的key值; 根据所述 key值更新预设缓存; 判断所述缓存数据是否更新成功; 当所述缓存数据更新成功, 则利用消息响应机制, 通知所述消息中间件所述预设缓存权 利 要 求 书 1/2 页 2 CN 114706870 A 2更新成功; 当所述缓存数据更新失败, 则不通知所述消息中间件, 返回所述消费所述结构化数据 集, 得到缓存数据的步骤, 直至所述缓存数据更新成功。 8.一种数据库 与缓存一 致性同步装置, 其特 征在于, 所述装置包括: 日志数据获取模块, 用于获取数据更新请求, 根据所述数据更新请求更新预设数据库 数据, 生成二进制日志数据; 日志数据解析模块, 用于将所述 二进制日志数据解析为结构化数据; 数据汇聚模块, 用于将所述结构化数据发送给对应消息中间件, 基于预设时间窗口及 预设数量窗口汇聚所述结构化数据, 得到结构化数据集; 数据消费模块, 用于消费所述结构化数据集, 得到缓存数据; 缓存更新模块, 用于根据所述缓存数据, 基于消息响应机制更新预设缓存。 9.一种电子设备, 其特 征在于, 所述电子设备包括: 至少一个处 理器; 以及, 与所述至少一个处 理器通信连接的存 储器; 其中, 所述存储器存储有可被所述至少一个处理器执行的计算机程序, 所述计算机程序被所 述至少一个处理器执行, 以使 所述至少一个处理器能够执行如权利要求 1至7中任意一项 所 述的数据库 与缓存一 致性同步方法。 10.一种计算机可读存储介质, 存储有计算机程序, 其特征在于, 所述计算机程序被处 理器执行时实现如权利要求1至7中任意 一项所述的数据库 与缓存一 致性同步方法。权 利 要 求 书 2/2 页 3 CN 114706870 A 3

PDF文档 专利 数据库与缓存一致性同步方法、装置、设备及存储介质

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据库与缓存一致性同步方法、装置、设备及存储介质 第 1 页 专利 数据库与缓存一致性同步方法、装置、设备及存储介质 第 2 页 专利 数据库与缓存一致性同步方法、装置、设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:46:28上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。