后台多任务同时运行如何批量监控?
怎样在任务隐患发生前提前预知?
如何在故障发生时快速获取系统日志?
......
对于前端的用户体验和开发运维者来说,都至关重要。

而现实中,很多的IT运维者依然在做着,一对一查看任务运行情况、手工记录系统运维日志、偶尔充当各个部门救火队员的工作。

如何打破这种困局,让IT运维人员从“救火员”变成“排雷兵”?观远数据针对此类问题正式发布“BI平台运维套件1.0”,用BI平台监控BI运维任务。

“BI平台运维套件1.0”包含了「任务监控」、「任务管理」、「日志检索」、「信息通知」、「超时任务贴标」等功能。可以帮助IT运维通过可视化图表批量监控任务的运行状态和整体安全指数;快速洞察系统的高峰时段以及高耗时任务;通过预警功能及时发现失败和超时任务,并采取措施,从而降低观远数据分析平台运维的门槛,提升观远数据分析平台的运维效率。

具体每个组件解决了什么问题,有哪些价值亮点,可以通过下文详细了解。

任务监控

现状痛点

在过去,运维部门只能通过ETL或者抽取任务历史记录的方法,一个个分析企业内部重点任务运行状态。或者开发特定的看板来输出重要的日常任务运行报表,以便分析评估任务整体运行状况。

新功能亮点

新增的任务监控模块可对某个时间段(特别是凌晨时间)大批量的ETL任务/抽数任务进行监控,每一次监控将生成一份可视化的监控分析图表报告。报告包含“任务运行总览情况分析”、“异常任务分析”、“单个任务运行情况分析”、“数据质量相关分析”(例如行数全量和增量变化率)等动态分析图表。可以帮助使用者快速总揽全局,实时洞悉异常任务。

任务管理

现状痛点

企业运维人员常常需要直观了解当前系统内哪些时间段处于任务高峰期,哪些任务耗时长,而之前也只能依赖人肉一个个去获取每个任务的运行时长并按照时间进行排序,耗时耗力又无法进行可视化分析。

新功能亮点

新增的任务管理甘特图模块,可以按时间轴直观依次展示每日各个时间段内任务状态及执行时长,帮助企业运维人员快速定位任务运营的高低峰时段和高耗时任务。此外,新组件增加了已成功运行的ETL任务消耗CPU资源的数据,可帮助用户分析哪些ETL任务存在计算资源消耗过大问题,并进行及时优化。

日志检索

现状痛点

当系统故障发生时,企业运维人员通常需要登录多个服务后台查看报错时段的日志来定位故障,沟通成本高,耗时耗力。

新功能亮点

新日志检索提供日志一键检索下载功能,运维人员无需登录后台,就可以集中管理所有日志,并快速获取相关日志,提高故障排查效率。

信息通知

现状痛点

当ETL/数据集更新任务出现异常工作状态时(比如失败或超时),只能依赖于企业运维人员人肉去发现异常,常常无法及时响应从而影响重点任务的产出。

新功能亮点

新增的信息通知模块可以支持,当任务出现异常状态时,系统可通过多种通知渠道(邮件、企业微信、钉钉等常见OA系统)自动发送预警信息及时通知相关人员快速处理,从而减少危险事故。

ETL超时任务贴标

现状痛点

当前,ETL耗时异常只能依靠运维人员人肉去发现,很难及时去提醒数据开发者对耗时久的ETL任务进行优化,以至于该类ETL任务一直不断被执行,增加了系统不稳定性。

新功能亮点

新增ETL超时任务采取打标签机制,当一个ETL任务执行时长超过2小时,系统将自动取消该任务并给该任务添加“存在超时问题”标签。此外当某一个ETL任务被用户手动取消时,系统将自动分析该ETL任务执行时长,如果超过系统默认设定的超时阈值时,则该任务同样会被打上“存在超时问题”标签。当ETL任务被打上标签时,系统将禁止该任务再次运行,以避免该任务一直不断地被调度,直至用户对该任务进行优化时才可重新运行。

优秀的IT产品
不仅需要丝滑的用户体验
还需要简便易用的IT维护
用BI思维维护BI平台

观远产品黑科技