8月2日,观远数据2019智能决策峰会在上海举行,本次峰会由国内零售智能分析领域的领先企业观远数据主办。

峰会上,400+来自连锁零售、快消品牌、鞋服箱包、购物中心、新经济消费等国内外知名零售企业高层领导共聚一堂,深入探讨零售各细分业态的转型痛点与创新实践,共谋零售数据智能的未来发展。

观远数据联合创始人张进在现场分享了观远数据过去三年的总结和沉淀,同时介绍了2019年最新的观远智能分析产品与平台。

他表示,虽然观远数据只是一家不到三岁的公司,但是,“我们产品与研发团队会秉承着用户至上、敏捷创新、工匠精神,不断去提炼,不断去总结,使得我们的产品变得更好。”

以下为张进演讲摘要

今天非常有幸能够在这里和大家分享我们过去三年的总结和沉淀,同时也非常非常开心能够和大家介绍2019年最新的观远智能分析产品与平台。首先先做一个简单的自我介绍,就像刚才提到的,早年我也是在MicroStrategy工作,之后就成为了离他而去的男人之一,我们在一起会聊智能分析与决策产品,当然对这个赛道我是无比认可和无比有信心,处于私心来讲我也是希望我们作为中国人也能够去打造一款世界级的数据分析产品,所以我们在2016年的9月创立了观远数据。

观远数据的产品理念与信念

参加去年峰会的朋友可能对这个场景有点印象,我在观远数据另一个角色是演员,去年由我饰演的钢铁侠将5A路径传授给了苏春园。作为产品研发的负责人,最重要的一点是什么呢?是我们需要打造我们自己的产品理念与信念。对于观远数据的研发和产品团队我们的信念是什么,我们想打造什么样一款产品,什么样的热情,什么样的动力在支撑着我们。今天跟大家做一些分享。

第一,用户至上。大家就会有一些疑惑,做企业服务的一般不是讲客户吗?为什么这里是用户?因为我想让我们的产品研发的每一位伙伴知道我们观远数据打造出来的产品希望在我们的企业客户当中被真正使用起来,一定要用起来,客户为什么没有用,用的频率如何,用的好还是不好,我们都需要深刻了解,必须细微观察。

只有这样我们才能够不断提炼、不断总结,不断的将真实用户的需求回馈到我们的产品之中。

第二,敏捷创新。为什么创新之前要加“敏捷”两个字呢?大家可能知道技术人员会有一个误区就是喜欢憋大招,这对我们的警示是什么呢?我们在做创新的时候一定要快速迭代,快速试错,快速验证。

因为创新不是一夜之间诞生的,它是在我们的日积月累过程中,在我们发布的每一个方案中,由量变引起质变,将来某一个时刻回望的时候我们突然发现我们打造的是这样一款颠覆式的产品,然而在每天的动作中你可能感受不到它的力量是如此巨大。所以说这就是我们需要敏捷创新。

第三,工匠精神。在这样敏捷分析,在这样智能决策的道路上,我们是非常笃定非常有信心的。我们也一定要有着精益求精的心态好好打磨我们的产品,因为我们知道我们将来的产品一定是世界级的,一定要让我们的用户非常非常喜爱,非常非常热爱使用我们观远数据的产品,因为它是真正能够带来用户价值、企业价值的产品。这就是我们的理念,用户至上、敏捷创新、工匠精神。

回到我们的产品形态,我们是如何落地的呢?这里我们会有一个理念,是说我们的产品必须能够覆盖从数据到决策全部的生命周期,从数据的接入存储到之后的加工融合,再到之后的可视化,再到之后的分析协作,直到决策追踪,我们必须都应该有相应的产品模块可以去覆盖。在今天非常非常高兴的跟大家拉开我们的帷幕。

从平台1.0到平台2.0

这就是我们观远数据智能分析平台2.0,这是我们经过过去三年的锤炼,经过我们平台1.0之后在这一年多以来不断迭代与更新才产生了这样一套完整的产品矩阵。从最下方大数据平台到在此之上的分析平台、应用平台,我们都有相应的产品以及模块提供支撑,这背后是什么呢?

这背后就是我们产品研发团队大家在过去一年多时间所做的66次发布,所做的272个新功能点,422个新优化点,当然还有无数个修复与更新。大家可以看到我们的产品在每一周内部都会有一个发版,这就是我们所讲的一定要敏捷创新。

作为数据平台,仅仅有功能是不够的。还需要有高性能的支撑,才能够使得我们面对如今的海量数据能够快速决策与分析。今天非常开心和大家来讲我们在平台1.0时代告诉大家我们支撑最大的数据量是单表1亿行,今天我们平台2.0现在可以支持到单表10亿行,同时我们对计算引擎也做了深度的优化与更新,在我们的平台2.0速度是1.0的5倍,同时我们也不断优化与更新我们终端的页面渲染的速度,使得是之前速度的两倍。

作为产品的发布会,还是要跟大家详细介绍每一个产品模块到底是在做什么,它解决了什么样的问题。由于时间有限,我这里先挑三个从我们1.0时代进化到2.0时代非常非常受到客户和用户认可的一些产品。

首先在大数据平台层是我们的离线大数据引擎,大家都知道在传统时代数据量并不是那么大的,也没有碰到像今天这么海量的数据,它所支撑的是用传统的DB,而传统的DB是为了OLTP快速的增删改茬服务的。

面对复杂分析查询的时候经常碰到数据库无响应,也是为什么业务人员经常抱怨说为什么IT不给我们开数据库的访问权限,因为开了之后有可能引起数据库的宕机。另外是什么呢?

会走到另外一个方向,面向数据分析师的,比如某些友商,他们是C/S架构,本身面向数据分析师提供的产品,它所能够承载的大数据分析是在利用我们业务人员电脑的内存,但是我们知道电脑的内存和服务器的内存以及性能是不可比的。所以经常在分析的中间突然出现应用无响应,之前做的很多工作成果很有可能就毁于一旦了,更别提传统的DB和这一类敏捷BI产品,其实是没有AI的扩展与支撑的。

我们是怎么解决的?我们是使用了眼下在大数据行业里最流行、最先进的Spark,当然我们也做了深度的二次开发、加工和优化,这才能使得刚才提到单表10亿行求和计算中可以得到秒级响应。

仅运算速度快是不够的,我们知道我们的离线计算系统负载高峰是每天凌晨,前一天的营业已经结束,需要在凌晨将前一天的增量数据抽取到平台上然后再做计算加工和运算,以便业务人员在每天早上打开电脑时可以看到最新的数据。

在这样的场景里抽取的速度也是非常重要,所以说即便是在这样24列千万行大数据量我们也可以让它在半个小时之内完成。留给我们后面的计算更多的时间。这就是我们的离线大数据引擎。

接下来是一个非常受欢迎的产品,叫做智能ETL,智能ETL所面对的场景是什么呢?其实我们知道在做一个分析场景的时候,大多数的时间是花在洗数据,10个小时的分析七八个小时都在洗数据。

不仅仅是我们的IT,写好之后形成的表,业务人员还要放在EXCEL里面分析,非常非常麻烦与烦琐,而且也容易出错。对于这些工程师掌握的技能是什么呢?

掌握的技能是技术,但是洗数据最关键的点是逻辑、是业务。业务人员想要把自己的想法给到IT人员很容易出现问题,出现问题又得全链路排查,更别提当工程师发生工作交接,新的工程师入职的时候,当他碰到年久失修的脚本的时候第一心态是什么?

我先要去烧香,我怕把这个东西改错引起部门领导的不满意。我们是怎么解决这个问题的呢?不就是业务逻辑吗?业务逻辑最好的方式是由谁来完成呢,是我们的业务人员。

我们的智能ETL可以使得我们在业务逻辑处理过程的每一步操作都给他细化成最原子的操作。

例如去重,把一些空值做填充,将我的库存数据和销售数据进行关联,并且每一步都可以实时预览,哪怕没有做完可以保存,第二天打开就知道前一天做到哪里了,可以继续完成。这背后的本质是说我们的业务知识也是企业非常重要的数据资产,也需要有相应的产品与功能承载。

所以我们开发了文档化编辑界面,可以使得企业将这样的业务逻辑沉淀在我们的平台里,这就是智能ETL。

在此之上,还有一个在最近饱受表扬的产品是我们的用户行为模块,用户行为模块是在帮助我们运营我们的产品,任何一个数据产品上线的那一刻不是终点,它只是一个起点。如果没有运营很容易就变成了我们的IT团队,我们的数据团队当看到系统里有几千张报表的时候他的疑问是说都有人在用吗?

谁在看哪些报表,频率如何,有哪一些可以合并,我没有必要造成这么大的系统负载。但是这个时间已经为时已晚,很多是陈年旧事谁也想不起来。我们打造产品的时候我们也不想这么先进的智能分析产品在没有运营的时候就变成了被马拉的汽车,是因为我们没有教会用户怎么开车,它只能沿用之前的办法。

我们怎么做的呢?我们在观远智能分析平台中内置了用户行为监控模块,大家可以很清晰看到谁在用产品,用的频次如何,他在看什么。

有哪一些客户频繁把数据导出我们的系统,导出一方面是安全隐患,另外一方面是什么,可能是有一些细节的功能没有满足我们的业务需要,还是需要导出在EXCEL进行加工操作,我们就要捕捉到这些点,是他没有了解我们的功能特性呢,还是真有某一些非常宝贵、非常有价值的场景并没有放到我们的产品里可以加速我们的产品迭代,这就是我们的用户行为模块。

刚才这三点都是我们饱受好评的一些产品的特性,当然还有一些在这一年多的过程中,我们也听到非常多客户的反馈,用户的一些建议说你们在这些点可以做的更好,首先就是实时分析。

大家知道Spark本质上是为了离线计算的,我们的数据集在平台1.0时代默认一天只能更新4次,但是在如此高频的业务变化场景中,我们需要无限制高频更新,需要每一天每时每刻去看业务KPI。

不是简单出现什么数据展示出来而已,而是要做累计计算,看今天累计营业额是多少,看今天有没有达标,看一下我这个店在整个区域、整个公司的排名是多少,这也是需要进行二次加工和二次分析。

还有我这个店额外的信息,这个店的店龄如何,位于哪个区域,在实时数据里也需要做到数据的融合。

我们是怎么解决的?今天非常开心和大家正式发布观远实时数据引擎,在实时数据引擎中,大家可以看到不仅数据可以无限制更新,像上面当天累计营业额和当天任务完成比以及门店的排名,复杂的计算逻辑都可以再实时分析引擎中得到解决。

接下来说到了不得不提的移动端,我们的移动端1.0在客户那里怎么打造的,我们会去想眼下的时代并不是APP时代,我们的企业避免员工安装APP,尽可能要做嵌入式方案,如果有企业OA或者企业微信、钉钉,希望使用HTML5方式嵌入进去。

这是我们在1.0时代所做的页面,得到的一致反馈是“不好看”,不好看这三个字是感性描述,作为产品研发是要分析不好看意味着什么呢?我们知道HTML5方案是嵌入到客户APP里,虽然我们从技术的角度阐述它是HTML5,但是它需要做到移动端体验。

今天非常开心跟大家宣布我们移动端2.0,首先可以做到像这样的导航栏,可以让大家有导航的体验。第二点在移动端由于屏幕非常小,空间非常有限,我们需要做到信息最大的传递,按照之前的做法我们的卡片是非常零散的,造成了不必要的空间的浪费。

在我们的移动端2.0,我们有这样的指标阵列可以最大化利用移动端的空间,可以展示给我们的业务人员,我们最终使用的消费者最多的数据承载。还有我在移动端的时候不仅仅是看,也要分析,分析的时候最多用的功能是筛选器,之前的筛选器并不像现在这样,也是像我们的指标卡一样有非常多的空间浪费。

今天我们做到了首先不仅仅是非常好的体验,同时也可以做到筛选器叠排,可以做到同样的环境内无缝上下关联的筛选,这就是我们移动端2.0。

还有一些是我们一直提到的AI的能力,大家一直需要观远数据赋能一些AI的产品,不需要像百威和联合利华深度AI场景应用。首先我们想现在的障碍是什么,现在最大的障碍是算法理论羁绊了我们算法的使用,我们造了一辆车的时候,我们只要教会用户你怎么开车就可以了,为什么还要他们学发动机原理或者维修技术呢。

国外有一家公司,你不需要写代码,把代码中的几行变成算子拖在这里就可以了。问题还是没有解决算法理论的问题。

我们在这么多的预测算法中,根据数据的特性,根据业务的特性,选取最合适的一类算法,做到算法融合,对于我们实际用户来讲只需要做简单的拖拽,我要知道什么是我的时间轴,我要预测什么指标,多长周期的,我是要预测企业全部的走势还是要细分到门店、品类。拖拽之间即可完成,这就是我们的一键预测。

今天由于时间关系,更多的产品功能希望大家接下来可以在我们的体验区和我们的小伙伴们做深入的交流与沟通。

这就是我们整个观远智能分析平台2.0的介绍,当然我们也知道我们公司也只是不到三岁的公司,我们的产品也处于非常早期。肯定是有一些点不那么尽如人意,还会有一些系统稳定性的问题,还会有系统的BUG。

但是我们要知道我们所处的时代,我们正在做的事情在将来我们希望能够改变这个行业,就如同莱特兄弟发明飞机一样,哪怕在它的第一版飞起来还需要人把它推着才能够飞向天空,而且只能坚持十几秒,飞机的机体也是非常简陋的。

但是他们知道心中飞翔的梦想是一直存在的,他们要打磨这样的产品。我们也是一样的,我们观远数据也是有着这样子的初心,我们也想做到企业的智能决策大脑,我们的产品与研发团队会秉承着用户至上、敏捷创新、工匠精神,不断去提炼,不断去总结,使得我们的产品变得更好。

我们需要什么呢?我们不需要完美,我们需要勇气,我们无所畏惧,我们面对困难不会退缩,我们奋力的去解决它。因为我们知道在未来我们会Become better。谢谢大家。