【技巧帖】 DolphinScheduler 使命数据整理与备份战略,保证页面不卡顿
问题描绘
因为 Apache DolphinScheduler 长时间运转,使命数量不断添加,相关使命数据首要存储在数据库中的 t_ds_task_instance
和 t_ds_process_instance
两张表中。
跟着这两张表数据量的持续增长,导致体系页面呈现卡顿现象。
处理方案
为处理上述问题,采纳的办法是定时整理数据库中 t_ds_process_instance
和 t_ds_task_instance
两张表中一个月之前的数据。
数据备份
在进行数据整理之前,首要备份原表数据,以保证数据安全。
use dolphinscheduler;
-- 创立备份表 t_ds_process_instance_backup20241120 和 t_ds_task_instance_backup20241120
CREATE TABLE t_ds_process_instance_backup20241120 LIKE t_ds_process_instance;
CREATE TABLE t_ds_task_instance_backup20241120 LIKE t_ds_task_instance;
-- 将原表数据备份到相应的备份表中
INSERT INTO t_ds_process_instance_backup20241120
SELECT * FROM t_ds_process_instance;
INSERT INTO t_ds_task_instance_backup20241120
SELECT * FROM t_ds_task_instance;
查看备份状况
为了保证备份操作成功,能够查看备份表和原表的数据行数。
-- 查看备份表的数据行数
SELECT COUNT(*) FROM t_ds_process_instance_backup20241120;
SELECT COUNT(*) FROM t_ds_task_instance_backup20241120;
-- 查看原表的数据行数
SELECT COUNT(*) FROM t_ds_process_instance;
SELECT COUNT(*) FROM t_ds_task_instance;
数据整理
在备份完结并承认无误后,履行整理操作,删去 2024年10月19日 23:59:59 之前 的数据。
-- 删去 t_ds_task_instance 表中 2024年10月19日 23:59:59 之前的数据
DELETE FROM t_ds_task_instance
WHERE submit_time < '2024-10-19 23:59:59';
-- 删去 t_ds_process_instance 表中 2024年10月19日 23:59:59 之前的数据
DELETE FROM t_ds_process_instance
WHERE end_time < '2024-10-19 23:59:59';
参阅:https://blog.csdn.net/weixin_40255084/article/details/141442462
本文由 白鲸开源 供给发布支撑!