当前位置:首页 > 数据库 > 正文内容

【技巧帖】 DolphinScheduler 使命数据整理与备份战略,保证页面不卡顿

邻居的猫1个月前 (12-09)数据库2133

问题描绘

因为 Apache DolphinScheduler 长时间运转,使命数量不断添加,相关使命数据首要存储在数据库中的 t_ds_task_instancet_ds_process_instance 两张表中。

跟着这两张表数据量的持续增长,导致体系页面呈现卡顿现象。

处理方案

为处理上述问题,采纳的办法是定时整理数据库中 t_ds_process_instancet_ds_task_instance 两张表中一个月之前的数据。

数据备份

在进行数据整理之前,首要备份原表数据,以保证数据安全。

use dolphinscheduler;
-- 创立备份表 t_ds_process_instance_backup20241120 和 t_ds_task_instance_backup20241120
CREATE TABLE t_ds_process_instance_backup20241120 LIKE t_ds_process_instance;
CREATE TABLE t_ds_task_instance_backup20241120 LIKE t_ds_task_instance;

-- 将原表数据备份到相应的备份表中
INSERT INTO t_ds_process_instance_backup20241120
SELECT * FROM t_ds_process_instance;

INSERT INTO t_ds_task_instance_backup20241120
SELECT * FROM t_ds_task_instance;

查看备份状况

为了保证备份操作成功,能够查看备份表和原表的数据行数。

-- 查看备份表的数据行数
SELECT COUNT(*) FROM t_ds_process_instance_backup20241120;
SELECT COUNT(*) FROM t_ds_task_instance_backup20241120;

-- 查看原表的数据行数
SELECT COUNT(*) FROM t_ds_process_instance;
SELECT COUNT(*) FROM t_ds_task_instance;

数据整理

在备份完结并承认无误后,履行整理操作,删去 2024年10月19日 23:59:59 之前 的数据。

-- 删去 t_ds_task_instance 表中 2024年10月19日 23:59:59 之前的数据
DELETE FROM t_ds_task_instance
WHERE submit_time < '2024-10-19 23:59:59';

-- 删去 t_ds_process_instance 表中 2024年10月19日 23:59:59 之前的数据
DELETE FROM t_ds_process_instance
WHERE end_time < '2024-10-19 23:59:59';

参阅:https://blog.csdn.net/weixin_40255084/article/details/141442462

本文由 白鲸开源 供给发布支撑!

扫描二维码推送至手机访问。

版权声明:本文由51Blog发布,如需转载请注明出处。

本文链接:https://www.51blog.vip/?id=521

标签: 大数据
分享给朋友:

“【技巧帖】 DolphinScheduler 使命数据整理与备份战略,保证页面不卡顿” 的相关文章

时序数据库排名,性能与功能的较量

时序数据库排名,性能与功能的较量

根据多个来源的信息,以下是时序数据库的排名和性能评测情况: 全球时序数据库排名根据DBEngines的最新排名,以下是2024年4月10日更新的全球时序数据库排名:1. InfluxDB 2013年发布,主要用于存储时间序列数据,适用于物联网、分析和监控软件。2. Prometheus...

备份oracle数据库,深入解析Oracle数据库备份策略与实施

备份oracle数据库,深入解析Oracle数据库备份策略与实施

备份Oracle数据库是一个重要的维护任务,它确保了数据的安全性和可恢复性。以下是备份Oracle数据库的一些基本步骤:1. 确定备份类型: 完全备份:备份整个数据库,包括所有数据文件、控制文件和归档日志。 增量备份:只备份自上次备份以来更改的数据。 差异备份:备份自上次完全备份以...

docker安装oracle, 准备工作

docker安装oracle, 准备工作

安装Oracle数据库到Docker容器中是一个相对复杂的过程,因为Oracle数据库本身对硬件和内存有较高的要求。以下是使用Docker安装Oracle数据库的一般步骤:1. 获取Oracle官方镜像: 你可以从Oracle官方的Docker Hub页面获取Oracle数据库的Docker镜...

oracle rac是什么,什么是Oracle RAC?

oracle rac是什么,什么是Oracle RAC?

Oracle RAC(Real Application Clusters)是一种Oracle数据库集群解决方案,它允许多个数据库实例运行在同一组物理服务器上,同时访问同一组共享磁盘。这种架构提高了数据库的可用性和可扩展性,因为它可以提供高可用性、负载均衡和故障转移功能。在Oracle RAC环境中,...

如何打开数据库,全面指南

打开数据库通常需要遵循特定的步骤,这些步骤可能因数据库类型(如 MySQL、PostgreSQL、MongoDB 等)和所使用的工具(如命令行、图形界面工具或编程语言)而有所不同。以下是一个通用的步骤指南,适用于大多数关系型数据库管理系统(RDBMS):1. 确定数据库类型: 常见的数据库类型...

镜像数据库,数据安全与高可用性的双重保障

镜像数据库(Mirroring Database)是一种数据库备份和灾难恢复技术,它通过在主数据库服务器和备用数据库服务器之间创建一个实时复制的数据库副本来实现数据保护。在镜像数据库中,所有的数据库操作(如插入、更新、删除等)都会在主数据库服务器上执行,同时这些操作会被实时地复制到备用数据库服务器上...