读数据质量管理:数据可靠性与数据质量问题解决之道17数据网格
1. 要点 1.1. 实现数据质量不能纸上谈兵,而获得“可靠数据”取决于数据分析和工程实践中的其他几个要素 1.2. 数据网格以及数据质量适用的地方 1.3. 数据质量在基于云的数据栈旅程中的作用 1.4. 知...
海港企业数据财物消费实践,系统化整理数据财物、深度开释数据要素潜力
港口企业作为交通运输枢纽,需要借助数字化手段提升管理水平、优化生产流程、提高运营效率,以适应日益增长的业务量和竞争压力。为了指导各地智慧港口的建设工作,交通运输部等多部门联合发布了《智慧港口建设指南》,明确了智慧港口建设的目标、原则、路径及重点任务,为港口的数据化、智能化提供了具体指导。随着物联网、...
读数据质量管理:数据可靠性与数据质量问题解决之道18数据发现
1. 让元数据为业务服务 1.1. 在过去十多年中,数据团队越来越擅长收集大量的数据 1.2. 公司如今正在收集越来越多关于其数据的数据,也就是元数据 1.2.1. dbt等ETL解决方案让跟踪和使用元数据变得容易,而云服务提供...
读数据质量管理:数据可靠性与数据质量问题解决之道19数据未来
1. 开创可靠数据系统的未来 1.1. 数据作为一个行业很可能正在经历一场巨大且不可逆转的巨变 1.2. 分析型数据正变成现代企业最关键和最具竞争力的核心资产 1.2.1. 不再是公司是否依赖数据的问题 1.2.2.&#...
【金猿人物展】白鲸开源CEO郭炜:未来数据范畴的PK是大模型Transformer vs 大数据Transform
本文由白鲸开源CEO郭炜撰写并投递参与“数据猿年度金猿策划活动——2024大数据产业年度趋势人物榜单及奖项”评选。 去年是大模型蓬勃兴起的一年,热度席卷全球,仿佛AI已经可以解决一切问题。今年随着热潮退去,大模型开始进入深水区,试图深入改造各行各业的底层逻辑。而在大数据处理领域,大模型与传统ETL的...
动力出资工程VS智能驾驭,DolphinScheduler怎么当好传统职业与前沿科技的桥梁?
在数字化转型的浪潮中,Apache DolphinScheduler以其强大的调度能力,成为连接传统行业与前沿科技的桥梁。2024年12月17日14:00, Apache DolphinScheduler社区将举办一场线上用户交流活动,届时将邀请来自能源投资工程和智能驾驶领域的专家,分享Dolphi...
Redis 业务
概述 Redis 支持分布式环境下的事务操作,其事务可以一次执行多个命令,事务中的所有命令都会序列化地顺序执行。事务在执行过程中不会被其他客户端发送来的命令请求打断,服务器在执行完事务中的所有命令之后,才会继续处理其他客户端的其他命令。Redis 的事务操作分为开启事务、命令入队列、执行事务三个阶段...
Redis 发布订阅形式
概述 Redis 的发布/订阅是一种消息通信模式:发送者(Pub)向频道(Channel)发送消息,订阅者(Sub)接收频道上的消息。Redis 客户端可以订阅任意数量的频道,发送者也可以向任意频道发送数据。在发送者向频道发送一条消息后,这条消息就会被发送到订阅该频道的客户端(Sub) Redis...
建立Redis“主-从-从”形式集群并运用 RedisTemplate 完成读写别离
一、理论相关 我们知道,Redis具有高可靠性,其含义包括: 数据尽量少丢失 - AOF 和 RDB 服务尽量少中断 - 增加副本冗余量,将一份数据同时保存在多个实例上,即主从库模式 Redis主从库模式 - 保证数据副本的一致(读写分离): 读操作:主库、从库都可以接收 写操作:首先到主库执行,然...
Redis的ZSet底层数据结构,ZSet类型全面解析
Redis的ZSet底层数据结构,ZSet类型全面解析;应用场景、底层结构、常用命令;压缩列表ZipList、跳表SkipList;B+树与跳表对比,MySQL为什么使用B+树;ZSet为什么用跳表,而不是B+树、红黑树、二叉树...