创建企业数据分析决策平台,要实现内部自下而上、自上而下的管理结合,只有获得业务层、领导层的认可和支持才能实现数据运营的持续发展。———青岛航空数据架构师战学超
数据平台其实就是将公司所有的数据,包括销售数据、财务数据、客户数据,还有一些行业数据,进行收集整理,按照一定的主题展示。比如财务分析的主题,会囊括一些财务相关的报表,包括公司的盈利分析、亏损点分析等等。通过对这些主题的分析和展示,去准确分析与展示公司的经营情况,以及行业动态,从而为公司的经营提供比较准确的科学指导,进而实现持久的盈利。
数据平台会有一些原始数据,主要是销售、财务等等及一些其他数据,还有一些行业数据,比如家电行业的商业数据。数据加工和数据展示方面,除了平常的日报、月报、年报等报表展示,还有对应的销售趋势分析,库存预警以及产品个性化推荐。
搭建过程中,我们总结了这两个经验
搭建数据平台的首要前提,就是要有自己的原始数据积累,并且要有数据生产系统,包括历史数据的积累。
1、方法:自下而上与自上而下结合
「下」是指公司的技术团队、业务团队、销售等等,以及业务部门和IT部门。「上」是指部门的领导以及公司的高层,让IT团队和业务团队一起来推动这个事情,并与公司的领导层紧密地结合,上下一起参与到数据平台的搭建,只有这样才能实现数据平台的持久发展。
搭建的过程,沟通很重要。
也许业务人员和IT团队对于数据平台的搭建有自己的想法,也想通过数据来给公司去做一些事情,但是公司的领导层可能多的依赖于自身的经验,不一定会去相信数据平台反馈的信息。得不到上层领导的支持,很容易导致搭建数据平台过程中的疲惫。
此外,上层领导可能希望去做一个数据平台的加工,将所有的数据做一个统一的整理和展示。但是传接到IT团队和业务部门时,在实际应用中并不是很重视,比如IT人员做的报表,并不是业务人员想要的,导致彼此之间沟通不畅,导致数据平台搭建缓慢。
2、原则:快速迭代
在创建数据平台时,可以不断定一些目标,定一些主题,做成果展示,和业务人员以及领导分享,让其参与评价和建议,不断优化和改善,当相关人员都有参与感时,数据平台才会持久发展。
· 确定数据平台技术架构与确定分析主题并行。
· 快速迭代,缓解业务部门手动分析压力。
· 先出报表,积累业务经验创建模型进行分析并不断改进。
· 注意技术准与业务知识准备,以备滞后的巨量数据分析平台和业务建模。
看得到,更用的起来的成果
数据源方面,青岛航空有B2C的官网、运行控制系统、MIS系统、调用中心、OTA和OA平台。数据类型涵盖Oracle、mysql、SqlServer、 Excel、TXT等,ETL工具采用Kettle,全量DB和数据仓库以及数据集市采用MyOracle。
架设全量DB是为了减轻直接读取生产环境的数据压力,并且统一数据类型,方便跨库,跨数据库和文档的查找处理。
数据仓库是数据平台必不可少的,但不是优先的。数据仓库创建耗时费力,可以逐步进行。
根据公司实际情况划分数据集市,并且根据业务规则结合自身经验,创建起数据分析模型。
当ETL不足以支撑或是实时要求高SQL难以实现的时候,考虑Hadoop等分布式计算。
数据平台的搭建并不是一蹴而就的,需要循序渐进不断快速迭代。同时也要有长远眼光,尽量避免推到重构。此外一定要注意时间控制和里程碑创建。
通过帆软报表工具FineReport创建数据平台,采用数据仓库创建+报表展示+业务建模同时并行。现阶段主要定了两大集市,创建了财务对账和收益分析两种模型。
使用帆软作为统一数据可视化展示平台。
旅客分布图可以更清晰的帮助规划航线。
销售趋势实时报表可以有效的预测公司的销售,为公司其他部门提供准备依据。
通过对账系统可以解决财务流水与各销售接口的明细,快速有效的解决死账,坏账等问题。
利用Finereport动态报表与BI商业智能工具的调度邮件功能可以监控短信平台的发送情况。
航空运输企业需要做那些主题分析,每个主题分析哪些详细的指针,Finereport动态报表与BI商业智能软件根据之前的行业积累,提供了一份方案,青岛航空再结合自身的具体情况,与业务结合进行调整,很快确定出公司需要的分析主题。