【第二期政府@@@@CIO论坛@@】万山数据鲁四海@@：政务@@大数据@@@@自助挖掘@@@@

 

中国新一代@@IT产业推进联盟技术分委会秘书长@@、

首席数据官@@联盟发起人@@、北京万山数据首席架构师鲁四海@@

 

　　各位朋友大家好@@，我这次@@主要汇报三个方向内容@@：第一是个人对大数据@@的@@理解@@@@；第二和政府@@合作通过大数据@@促进传统行业转型升级的@@案例@@；第三是我们在技术方面遇到的@@难点及我们的@@技术实现的@@路径@@，希望各位专家们能够给我们多提一些意见@@。

 

　　大数据@@应用有两个场景@@，AI与@@ BI。两者都是通对数据的@@感知@@、理解@@、挖掘@@，然后形成决策支持@@，最终反馈到@@“行动@@”中去@@；只不过@@AI对行动@@的@@@@“影响@@”是自动化的@@@@。不管是@@AI还是@@BI，都需要大数据@@回答我们这几个问题@@：过去发生了什么@@，现在正在发生什么@@，为什么发生@@，将来要发生什么@@。而这些又都是通过透视业务活动中产生的@@数据得到的@@@@。举例来说@@，未来的@@商业@@，谁能更多@@的@@搜集业务过程中的@@数据并加之有效分析挖掘@@@@，谁就占得先机@@；谁在产品运行过程记录了更多@@的@@数据@@，结合机器学习等技术进行深度挖掘@@@@，谁的@@产品就更有优势@@。

 

　　不难看出@@，大数据@@核心环节是数据理解@@@@、挖掘@@。对于政务@@大数据@@@@平台@@来说@@，除了考虑系统管理人员@@、政务@@管理人员两类用户外@@，更多@@得需要考虑数据分析人员的@@诉求@@。大数据@@平台@@的@@魅力所在是让分析人员便捷的@@进行数据挖掘@@@@。如果分析人员不能自主的@@进行数据挖掘@@@@，那么数据的@@价值@@@@、大数据@@平台@@的@@价值@@都将大打折扣@@。

 

　　下面我们举个例子来说@@，数据挖掘@@和数据分析人员在整个大数据@@利用过程中的@@重要性@@。鱼腥草@@，在我家乡有很多野生的@@@@，想吃的@@时候拿把锄头上山@@，很快就能背一背篓回去@@。但这确实是一个好东西@@，可以煮汤当茶水喝清热解暑@@，可以做成美味的@@凉菜@@，加到调料里更是别有一翻风味@@，还可以做成药品治病@@。我想说@@，这东西长在山上的@@时候毫不起眼@@，经过不同的@@工艺加工后@@，就完成不一样了@@。正如数据本身是没有@@“价值@@”的@@，只有经过不同角度的@@分析挖掘@@@@，反馈到不同的@@@@“行动@@”中去@@，才能将其价值@@发掘出来@@。

 

 

　　前段时间我们北大@@CIIM-泸州电子商务大数据@@开放实验室通过大数据@@对白酒电商行业发展进行分析@@。其中有一部分内容就是对各电子商务网站上陈列的@@产品信息@@、用户评论进行分析@@。就这个数据来讲@@，公开的@@@@，谁都见过@@，谁都能通过正常渠道获取@@。但不同的@@分析师分析出来的@@结果是大不相同的@@@@。我们一开始的@@时候就是自选一个熟悉的@@角度对这些数据进行分析@@，结果就这点数据@@，就出现了上百分析维度@@。

 

　　电子商务大数据@@开放实验室由北大@@CIIM中心和泸州电商产业园共建@@，很重要的@@一项功能就是提供一个能让分析师自助分析@@大数据@@平台@@@@，让分析师从不同的@@角度进行数据挖掘@@@@，为政府@@提供决策支持@@，为产业发展提供数据支撑@@，为传统行业转型提供建议@@。

 

　　在泸州白酒行业存在很大一批@@OEM厂商@@，由于供应链和品牌厂商@@的@@影响@@@@，转型压力巨大@@，也有不少想发展电商@@，但找不着好的@@路径和标杆@@，从这次@@的@@数据分析中就能看到如果有一定品牌知名度@@，洋河是一种不错的@@发展方式@@，如果从零拓展一个品牌@@，那么江小白无疑是值得学习的@@@@。

 

　　我们对互联网@@销售的@@白酒的@@酒精度分布进行分析@@，发现@@35度以下的@@酒呈明显的@@上升态势@@，这是为什么呢@@，通过对用户数据进行分析后发现@@@@，电商酒类消费者女性用户和@@85、90后用户越来越多@@。对于企业来讲就意味着市场需求要发生变化@@，产品要做出相应的@@调整@@。

 

　　对用户评论进行分析@@@@，我们发现@@影响@@用户体验最主要的@@三大因素是@@：真假@@、价格@@、包装@@，做电商产品@@，这几个方面的@@的@@保障@@，也就变得非常重要@@。

 

　　计划下一步和流通溯源大数据@@结合@@，开展更深度的@@分析@@，为企业@@、政府@@提供更有价值@@的@@数据@@。

 

　　前面讲到大数据@@的@@价值@@@@，需要分析师从不同的@@角度进行挖掘@@@@，分析师的@@精力要聚焦在数据挖掘@@上@@，所以需要一个敏捷分析平台@@@@。这个敏捷分析平台@@应该是什么样子@@，我们一开始也有一些争论@@，同时延伸到了对敏捷@@BI的@@思考@@。比如这个平台@@是不是就是敏捷@@BI？又是不是仅是一个在线的@@报表工具@@@@？是不是只要实现拖拽就意味着敏捷@@？最后发现@@没这么简单@@，我们真正需要的@@平台@@要具备以下特点@@：

 

　　1、实现可管控的@@开放数据集@@@@；

 

　　2、分析人员可以通过平台@@直接对开放数据集@@进行数据挖掘@@@@；

 

　　3、分析人员在平台@@上分析的@@结果可以进行分享@@交流@@，集体讨论并优化@@；

 

　　4、数据集@@、分析结果均可以实现动态更新@@；

 

　　5、移动化@@，一是操作界面可以自适应不同的@@屏幕@@，二是阅读界面能针对不能设备定制@@；

 

　　6、支持多租户@@@@@@；

 

　　7、我们需要系统安全可控@@、可以便捷地进行二次@@@@。

 

　　通过考察@@，我们最终选择了开源@@BI工具@@--SpagoBI。它是目前全球唯一一个@@100%开源的@@@@。它的@@主要功能有以下几点@@：

 

　　大数据@@支持@@：可以构建自己的@@大数据@@分析平台@@@@，处理任何格式的@@数据@@，甚至可以对非结构化数据进行分析@@。

 

　　内存计算@@：可以自己建立一个交互式的@@管理驾驶舱@@。通过一个动态的@@和交互的@@方式浏览你的@@数据@@，使您在业务的@@各个方面快速做出决策@@。

 

　　多租户@@@@：即单个@@ SpagoBI 实例服务多个组织@@（租户@@）。在多租户@@@@架构中@@，每个租户@@可独立拥有和管理自己的@@用户@@、文件@@、配置和参数@@。

 

　　自助分析@@：只要通过点击几下鼠标和简单拖拽动作@@，就可以立马得到您所要的@@分析报表@@。

 

　　即时分析@@、假设分析@@、地理位置分析等多功能@@。

 

　　SpagoBI各组件之前耦合度低@@，各种引擎均使用该领域内主流的@@开源工具@@进行集成@@，对于学习和应用的@@成本较低@@，同时解决了很多兼容性的@@问题@@。SpagoBI存在的@@问题现在还没有中文版@@，资料也基本是英文的@@@@。我们在做这个项目的@@过程中@@，同时对@@SpagoBI进行了汉化@@，重要的@@部署@@、操作资料也进行了翻译@@，很快整理之后都将通过@@Spago86社区进行公布@@。

 

 

　　我的@@汇报就到这@@，感谢各位@@。