传统系统运维:
针对独立的数据处理框架(数据库、搜索引擎)
基础系统和软件是稳固的(经历数十年的发展)
结构化数据为主
故障和问题的定位相对容易(大部分由于程序相对稳定不够)
容易评估运维工作的成果
大数据系统运维:
面对并行完全不同的数据处理框架(数据库、搜索引擎在一个体系上)
DeepOne分布式文件系统本身并不稳定(实际应用不到5年)
多源异构海量数据存储,如何有效的管理存储
分布式架构,处理时节点故障是常态
到底是程序问题,还是大数据系统自身问题,还是两个都有
运维人员技术要求大幅提升
运维工作的成果评估没有明确的标准
要做好大数据运维的工作,需要对集群进行技术上和业务上的合理规划,从技术上,可以充分利用和理解现有的资源调度系统。大数据分析师认为大数据运维和传统系统运维相比,关键点是大数据平台相对于传统数据库来讲,有着明显的不稳定性,数据的处理框架变得更为多样化和复杂化,问题边界更难界定,最后重要的一点,大数据项目大部分在探索阶段,信息部门和运维部门如何汇报工作如何出成绩,也是需要思考的。