摘要@@：大数据@@具有数量大@@、数据多@@样化@@、价值密度低@@、速度快@@的@@特征@@，通过技术提供独特的@@也是@@全新的@@思维奠定了我们的@@学习创新@@(深度学习@@)、科技创新和@@管理创新@@。大数据@@科学与@@管理科学的@@结合从@@而@@产生大数据@@的@@管理@@，大数据@@独特的@@收集功能@@、储存功能@@、分析@@功能@@、价值挖掘功能和@@预测@@功能@@，促使公共@@管理@@从@@封闭性的@@管理结构转向开放性的@@管理结构@@；从@@官僚科层制转向扁平化结构@@；从@@公共@@管理@@与@@政治管理边界模糊的@@结构转向公共@@管理@@与@@政治管理边界清晰的@@结构@@；从@@专注于对@@人的@@管理转变为对@@数据的@@管理并借助于大数据@@来为人服务@@的@@模式@@；从@@被动应对@@性的@@公共@@决策转向基于大数据@@之上的@@主动性的@@优化决策@@。当然@@，这些@@变革也就意味着风险@@@@，其中包括导致公共@@管理@@中的@@不确定性风险和@@不可靠性风险@@。
公共@@管理@@是@@公权力的@@行使者决定公共@@资源在@@公共@@领域配置的@@过程@@。公权力配置公共@@资源并不是@@随意性的@@@@，科学配置公共@@资源必须建立@@在@@对@@公共@@领域详细了解的@@基础上@@；否则@@，公共@@资源的@@配置就会出现扭曲@@，最终导致公共@@资源的@@浪费和@@无效配置@@。传统的@@公共@@管理@@是@@借助于历史经验的@@反复比较@@，正所谓@@“以@@史为鉴@@，可知兴替@@”。今天虽然历史纵向的@@比较仍然可以@@获得经验@@，但这并非唯一@@的@@方法@@，甚至可以@@说是@@一@@种陈旧的@@方法论@@。新的@@方法是@@基于大数据@@的@@公共@@管理@@@@@@，大数据@@将带来公共@@管理@@的@@重大革命@@。
一@@、大数据@@的@@内涵和@@特征@@
“大数据@@”是@@近年@@来@@的@@一@@个@@技术热词@@，也是@@一@@个@@学术热词@@，同时也是@@一@@个@@政府@@施政的@@热词@@①。大数据@@究竟是@@什么@@？并非一@@个@@人人都能回答的@@问题@@。有学者把大数据@@视为一@@种统计工具@@，并将大数据@@解释为@@“不是@@基于人工设计@@、借助传统方法而@@获得的@@有限@@、固定@@、不连续@@、不可扩充的@@结构型数据@@，而@@是@@基于现代信息@@技术与@@工具可以@@自动记录@@、储存和@@连续扩充的@@@@、大大超出传统统计记录与@@储存能力的@@一@@切类型的@@数据@@”[1]。在@@这些@@学者看来@@，大数据@@对@@人类思维的@@影响也仅仅是@@表现在@@@@“认识数据思维的@@变化@@”、“收集数据思维的@@变化@@”和@@“分析@@数据思维的@@变化@@”[1]。即@@便有学者对@@大数据@@有比前者更深入的@@理解@@，认为@@“大数据@@将深刻影响人类的@@决策模式和@@社会经济的@@运行模式@@”，但也仍然是@@从@@统计学的@@角度来思考大数据@@的@@意义@@[2]。从@@技术上来看@@，大数据@@可以@@归人统计工具之内@@，但大数据@@与@@统计工具是@@存在@@巨大差别的@@@@。传统统计工具是@@以@@传统统计方法为代表的@@@@“以@@算法为中心@@”的@@，而@@大数据@@是@@以@@数据挖掘为核心的@@@@“以@@数据为中心@@”的@@统计@@[3]。前者通常需要提前对@@数据分布和@@误差结构等@@做出假设@@，在@@某种意义上其结果只是@@人工拟合的@@近似世界而@@非真实世界@@，而@@后者基于总体数据可以@@给出更加精确的@@描述和@@预测@@@@[4]。由此@@可见@@，大数据@@虽然可以@@归入统计工具之内@@，但它不是@@一@@般意义上的@@统计@@@@，一@@般的@@统计@@只是@@基于既有数据的@@分析@@@@，而@@大数据@@是@@透过既有的@@数据可以@@挖掘出既有数据隐藏着的@@数据和@@价值@@。尤其是@@大数据@@中的@@非结构性数据@@本身就隐藏着巨大的@@价值@@，这是@@战略预测@@的@@重要依据@@；相反@@，传统统计工具一@@般不会对@@非结构性数据@@产生兴趣@@。也有学者认为@@@@，大数据@@既是@@数据@@，也是@@一@@种技术和@@能力@@，“是@@数据收集@@、分析@@的@@前沿技术@@，是@@从@@各种类型的@@庞大数据@@中快速@@获得有价值信息@@的@@能力@@”[5]。持这种观点@@的@@学者认为@@@@，大数据@@实际上是@@用来精准决策的@@工具@@。但是@@@@，大数据@@在@@于它的@@全数据@@、混杂性和@@相关性@@，大数据@@根本无法提供精准决策的@@工具@@。不过@@，大数据@@却能够提供一@@种独特的@@思维@@。也就是@@说@@，大数据@@并不是@@提供决策的@@具体工具的@@@@，而@@是@@提供全新的@@决策思维的@@@@。指望用大数据@@来提供一@@种精准的@@决策工具是@@不可能的@@@@，但大数据@@思维@@的@@确使决策对@@数据产生严重的@@依赖性@@，然而@@@@，正如舍恩伯格@@所说的@@那样@@，“数据远远没有我们想象的@@那么@@可靠@@”[6]208，“大数据@@为我们提供的@@不是@@最终答案@@，只是@@参考答案@@”[6]233。还有学者认为@@@@，大数据@@就是@@指人们借助于云技术运用数据的@@能力@@，当然@@这种数据不是@@一@@般的@@数据@@，而@@是@@海量数据包括结构性数据和@@非结构性数据@@@@@@。也即@@是@@人们借助于云技术使用结构型数据和@@非结构性数据@@的@@能力@@，而@@这种能力体现在@@国家治理@@、隐私保护@@、公共@@服务@@、医疗卫生等@@@@。这方面的@@成果不少@@，但基本上都是@@从@@集体的@@领域来分析@@的@@@@，这里不一@@一@@列举@@。
大数据@@固然是@@数据@@，也是@@技术@@、能力和@@价值@@，也正因为如此@@，人们都是@@从@@这些@@方面来认识大数据@@特征的@@@@，即@@通常用@@4个@@V(即@@Volume，Variety，Value，Velocity)来概括大数据@@的@@特征@@。
1.数据体量巨大@@(Volume)。据估计@@，人类生产的@@所有印刷材料的@@数据量是@@@@200PB(1PB=2[10]TB)，而@@历史上全人类说过的@@所有的@@话的@@数据量大约是@@@@5EB(1EB=2[10]PB)。当前@@，典型个@@人计算机硬盘的@@容量为@@TB量级@@，而@@一@@些@@大企业的@@数据量已经接近@@EB量级@@②。
2.数据类型繁多@@@@(Variety)。这种类型的@@多@@样性也让数据被分为结构化数据和@@非结构化数据@@。相对@@于以@@往便于存储的@@以@@文本为主的@@结构化数据@@，非结构化数据越来越多@@@@，包括网络日@@志@@、音频@@、视频@@、图片@@、地理位置信息@@等@@@@，这些@@多@@类型的@@数据对@@数据的@@处理能力提出更高的@@要求@@。
3.价值密度低@@(Value)。价值密度的@@高低与@@数据总量的@@大小成反比@@。以@@视频@@为例@@，一@@部@@1小时的@@视频@@@@，在@@连续不间断的@@监控中@@，有用数据可能仅有一@@两秒@@。如何通过强大的@@机器算法更迅速地完成数据的@@价值@@“提纯@@”，成为目前@@大数据@@背景下亟待解决的@@难题@@[7]。由于数据多@@@@、总量大@@、价值密度低@@，因此@@，人们对@@数据@@(信息@@)的@@关注@@度就非常低@@。正如约瑟夫@@·奈所说@@：“丰富的@@信息@@导致关注@@的@@贫乏@@。当我们被大量的@@信息@@淹没在@@其中之时@@，我们难以@@确定关注@@什么@@。注意力取代信息@@成为稀有资源@@，而@@可以@@将有价值的@@信号与@@白噪音区分开来@@的@@人就获得了权力@@@@。”[8]奈所说@@的@@@@“将有价值的@@信号与@@白噪音区分开来@@”，在@@大数据@@中就是@@数据挖掘@@；而@@“获得了权力@@”的@@意思在@@大数据@@中就是@@指获得价值@@。另外@@，Value还有一@@层意思是@@指大数据@@所蕴含的@@巨大价值@@。大数据@@虽然因信息@@超大规模而@@导致关注@@度降低@@，进而@@使数据的@@价值密度降低@@，但是@@@@，大数据@@之大在@@于数据具有@@“再生性@@”，数据的@@价值具有巨大的@@增值效应@@。大数据@@的@@使用者并非停留在@@对@@表层数据的@@使用和@@发现表层数据的@@价值@@，而@@是@@通过表层数据不断挖掘@@，既可挖掘更深层次@@的@@数据@@，也可通过深层次@@的@@各种数据@@(包括结构性数据和@@非结构性数据@@@@)，从@@而@@挖掘出更大的@@价值@@。
4.速度快@@(Velocity)。大数据@@框架内的@@速度包括两个@@方面@@：一@@方面@@，指如何加快数据的@@导入@@；另一@@方面@@@@，指如何加快分析@@和@@利用新导入的@@数据@@。前者的@@一@@个@@重要原因是@@大数据@@时代@@数据产生迅速@@，而@@大数据@@本身要求的@@是@@全数据@@，如果没有快速@@导入数据的@@技术@@，那么@@就很难做到@@全数据@@，不是@@全数据就不能成为大数据@@@@。后者则是@@由大数据@@的@@目标所决定的@@@@。大数据@@的@@目标是@@利用大数据@@进行科学分析@@和@@科学预测@@@@，新数据不断产生@@，那就意味着新问题@@、新情况也迅速产生@@。没有快速@@分析@@和@@利用新数据的@@能力@@，那么@@，所有的@@预测@@@@都是@@滞后的@@@@。滞后的@@预测@@@@会导致大数据@@丧失其预测@@功能@@。因此@@，在@@如此海量的@@数据面前@@，处理数据的@@效率就是@@一@@个@@机构的@@生命力所在@@@@。
除了上述四@@个@@特征@@，大数据@@更重要的@@还是@@提供一@@种独特的@@思维@@，即@@大数据@@思维@@@@。什么是@@大数据@@思维@@呢@@？(1)开放性思维@@。由于大数据@@的@@来源@@是@@多@@源性@@、多@@路径的@@@@，也就是@@说@@，数据本身是@@开放性的@@@@。因此@@，在@@分析@@数据和@@基于大数据@@进行预测@@@@的@@时候也需要一@@种开放性的@@思维来进行分析@@和@@预测@@@@。(2)非线性思维@@。这种思维要求我们在@@分析@@问题的@@时候不能仅仅凭几个@@要素来进行决策@@，而@@是@@要把所有相关性因素都要纳入分析@@框架@@。尤其是@@不能用简单的@@因果关系来进行决策@@，要充分考虑问题的@@复杂性@@。(3)价值思维@@，不能把数据仅仅看作数据@@，要认识到@@数据背后的@@巨大价值@@。传统的@@数据思维是@@数理统计思维@@，认为@@数据的@@本质在@@于统计@@，统计的@@目的@@是@@揭示历史过往中的@@基本特征和@@基本规律@@，根本没有通过数据来获得价值的@@思维@@。大数据@@思维@@就是@@通过数据的@@导人@@、分析@@，挖掘出巨大的@@价值@@。这种思维是@@完全不同于传统思维的@@全新思维@@。这种思维奠定了我们的@@学习创新@@(深度学习@@)、科技创新和@@管理创新@@。
二@@、大数据@@与@@公共@@管理@@的@@结合@@
公共@@管理@@的@@数据来自何处@@？弄清楚这个@@问题@@，首先要清楚数字和@@数据的@@区别@@，以@@及@@数据科学与@@管理科学是@@怎样结合在@@一@@起的@@@@。不但数字与@@数据有巨大的@@差别@@，而@@且传统数据与@@大数据@@也有本质的@@区别@@。一@@个@@数字只是@@一@@个@@符号@@，表现为一@@个@@数值或者是@@文本型数字@@，数字只是@@数据的@@一@@种形式@@。而@@数据则是@@一@@个@@很宽泛的@@概念@@，“只要是@@对@@客观事物记录下来的@@@@、可以@@鉴别的@@符号都可以@@称之为数据@@，包括数字@@、文字@@、音频@@、视频@@等@@等@@@@”[9]。也就是@@说@@，数据是@@关于某个@@@@(些@@)方面的@@一@@组数字@@，表现形式就不只是@@数字@@，而@@是@@有更多@@@@的@@表现形式@@。数字毫无疑问是@@统计科学的@@基本素材@@，但统计主要是@@对@@结构化数据进行统计分析@@@@，对@@非结构化数据一@@般都不会纳入传统统计之内@@，而@@实际上@@，云技术普及应用之后@@@@，90%的@@数据是@@非结构性数据@@@@，而@@且是@@富含大量价值的@@数据@@。由此@@可见@@，数字和@@数据不但在@@形式上完全不一@@样@@，而@@且在@@内容上也是@@大相径庭的@@@@。在@@云技术出现之前@@，数据仍然主要表现为以@@结构性数据为主的@@传统数据@@。这种数据虽然也会用于分析@@和@@研究@@，也表现为定量的@@微观分析@@@@，但它所诠释的@@仍然是@@一@@个@@问题的@@宏观和@@整体的@@状况@@，而@@且根据这种数据所进行的@@决策也仍然是@@宏观决策@@。这主要是@@受制于传统数据的@@采集方法@@、分类@@方法和@@采集标准@@。然而@@@@，云技术诞生以@@后@@，大数据@@的@@采集@@、分类@@、分析@@等@@方法和@@手段都彻底精细化@@，这样大数据@@才能对@@所涉及的@@对@@象进行微观性和@@个@@性化的@@分析@@@@。换言之@@，传统的@@数据只能算是@@小数据@@，小数据揭示问题的@@宏观现象@@，而@@大数据@@则可以@@揭示问题的@@内在@@本质@@。
大数据@@产生之后@@@@，数据科学迎来划时代的@@变革@@，这种变革的@@最大表现是@@数据科学与@@其他科学的@@内在@@结合@@，并形成基于大数据@@的@@新兴科学@@。数据科学最初与@@企业管理结合得最紧@@，主要原因是@@@@：随着社会化分工越来越细@@，企业生产的@@社会化程度也越来越高@@，因而@@@@企业的@@管理包括预测@@@@、决策等@@都越来越复杂@@，越来越依赖于完整的@@客观数据@@。而@@基于云平台@@和@@云计算的@@大数据@@@@可以@@为企业提供这种大数据@@服务@@。随着数据科学的@@迅速发展@@，公共@@管理@@、社会管理等@@也都全面引入数据科学@@。尤其是@@在@@新世纪@@@@，各国@@在@@继@@20世纪@@90年@@代推行的@@各行各业包括政府@@的@@@@“上网工程@@”之后@@，各国@@在@@新世纪@@又大力推行大数据@@战略@@。所以@@@@，大数据@@已经全面介入公共@@管理@@@@、社会管理之中@@@@。在@@这种情形下@@，数据科学与@@管理科学的@@高度相符嵌入而@@实现管理实践的@@巨大飞跃@@，尤其是@@使基于大数据@@之上的@@精细化管理和@@微观管理成为现实@@。在@@继西方各大国大数据@@战略之后@@@@，中国政府@@也颁布相应的@@大数据@@@@战略@@，制定@@“建立@@‘用数据说话@@、用数据决策@@、用数据管理@@、用数据创新@@’的@@管理机制@@，实现基于数据的@@科学决策@@，将推动政府@@管理理念和@@社会治理模式进步@@”的@@行动方案@@[10]。这也表明@@，大数据@@将在@@短期内成为公共@@管理@@等@@领域内的@@主要技术工具@@，也是@@提升政府@@治理能力的@@重要技术手段@@。
既然大数据@@全面嵌入公共@@管理@@@@，那么@@，公共@@管理@@所依赖的@@大数据@@@@又来自何处呢@@？众所周知@@，公共@@管理@@的@@内容非常广泛@@，公共@@管理@@以@@社会公共@@事务作为管理对@@象@@，而@@社会公共@@事务的@@具体内容分为公共@@资源@@、公共@@项目@@、社会问题@@等@@内容@@。因此@@，用于公共@@管理@@的@@大数据@@@@并不是@@单一@@性的@@@@，而@@是@@来自各个@@领域的@@大数据@@@@@@。几十年@@互联网@@的@@发展为数据积累提供了重要技术平台@@@@，加之大数据@@搜索@@引擎的@@发展@@，使社会产生的@@所有数据都能够获得迅速且有效的@@收集和@@储存@@。特别是@@世界各国@@的@@电子政务@@建设为公共@@管理@@积累了大量数字化的@@业务数据@@，既是@@政府@@大数据@@的@@重要来源@@@@，也是@@用于公共@@管理@@的@@大数据@@@@@@。这些@@数据主要来自以@@下四@@个@@方面@@：
1.来自互联网@@的@@大数据@@@@@@。这些@@数据大多@@分散在@@不同储存系统@@，包括数据库如@@@@Oracle、DB2、SQL Server等@@；Excel、电子邮件@@服务器等@@数据源上也积累不少数据源@@；Hadoop(分布式处理平台@@@@)系统如@@ApcheCloudea、Hortonworks、MapR，以@@及@@NoSQL数据库如@@Cassandra、HBase、MongoDB等@@也储存大量的@@数据@@。此外@@，云应用如@@Salesforce.com和@@社交网站如新浪微博@@@@、腾讯微博@@@@、搜狐微博@@等@@上也产生大量的@@数据@@[11]。当然@@，来自互联网@@的@@大数据@@@@@@必须基于搜集技术和@@保存技术@@。这种技术的@@发展是@@惊人的@@@@，例如@@对@@用户在@@网站上行为的@@记录@@(访问日@@记@@)在@@20世纪@@90年@@代中期@@，其保存率仅有@@1%，而@@在@@@@21世纪@@的@@第一@@个@@十年@@中的@@发展已经可以@@达到@@@@100%的@@保存率@@。这些@@数据虽然并非都可以@@用于公共@@管理@@@@，但公共@@管理@@已经越来越离不开来自互联网@@的@@数据@@。以@@新浪微博@@的@@数据为例@@，新浪微博@@中产生大量的@@关于政治参与@@@@、反腐倡廉@@、社会安全@@、社会问题@@、公共@@卫生事件@@、社会突发事件等@@的@@数据@@，而@@这些@@恰恰就是@@公共@@管理@@最重要的@@数据源之一@@@@，甚至这些@@数据在@@很大程度上影响公共@@决策@@。近年@@来@@，来自互联网@@的@@数据对@@公共@@决策的@@影响越来越大@@，有的@@公共@@决策甚至直接就是@@在@@网民的@@舆论压力之下@@进行决策的@@@@。例如@@，2012年@@8月@@26日@@凌晨@@，陕西省延安市境内发生重大车祸致@@36人死亡@@，2人重伤@@。陕西省安监局局长杨达才视察事故现场开心嬉笑的@@照片引发轩然大波@@，网友对@@他进行@@“上天入地@@”的@@人肉搜索@@@@，发现其曾佩戴过多@@款名表@@。2012年@@9月@@21日@@，陕西省撤销杨达才的@@所有职务@@，并对@@其严重违纪行为进一@@步调查@@。2012年@@11月@@28日@@，网民在@@微博@@上发布一@@组视频@@和@@照片@@，称山东省农业厅副厅长单增德与@@一@@单身女性保持不正当关系长达@@6年@@，如今想甩掉@@“包袱@@”，动用警力非法拘禁其情妇@@。山东省纪委调查后认定该情况属实@@，并对@@单增德立案调查@@。2012年@@11月@@下旬@@，网络爆料人士实名举报重庆市北碚区委书记雷政富@@，并发布其不雅视频@@@@。2012年@@11月@@23日@@，经重庆市纪委调查核实@@，互联网@@流传有关不雅视频@@中的@@男@@性确为北碚区委书记雷政富@@。重庆市免去雷政富北碚区委书记职务@@，并对@@其立案调查@@。随后@@，重庆市一@@次@@性免去牵涉不雅视频@@的@@@@10名厅级官员和@@国企高管的@@职务@@。2013年@@1月@@17日@@，一@@则有关陕西省神木县@@“房姐@@”的@@帖子网上热传@@，该网帖称陕西省神木县农村商业银行副行长龚爱爱在@@北京有@@20多@@套房产@@，总价值近@@10亿元@@，后又被曝有@@4个@@户口@@；1月@@24日@@，公安部成立工作组核查@@“房姐@@”户口问题@@；1月@@31日@@，北京警方证实@@，龚爱爱在@@京拥有@@41套住房@@，共@@9666.9平方米@@，还有奥迪轿车一@@辆@@；2月@@3日@@，龚爱爱在@@北京被专案组抓获@@，已按程序依法刑事拘留@@，而@@为其违法办户口的@@北京@@、山西和@@陕西@@4名民警也被刑拘@@。诸如此类的@@网络事件验证了来自互联网@@大数据@@的@@强大威力@@。
2.来自公权力运行@@(政府@@)过程中的@@大数据@@@@@@。根据社会过程论的@@观点@@@@，政治过程包括政治系统从@@输入到@@输出的@@全部活动@@，是@@二@@者一@@系列互动行为构成的@@动态系统@@[12]。政治系统的@@输入和@@输出@@，最重要的@@就是@@由话语@@、文件@@、口号@@、音频@@、视频@@等@@数据构成的@@信息@@输入和@@输出@@。这些@@数据是@@权力输入和@@输出的@@实际表现@@，因而@@@@也就是@@公共@@管理@@所依赖的@@大数据@@@@@@。政府@@数据的@@构成@@，从@@公开程度来看@@，可分为三@@层@@：第一@@层是@@免费公开@@、惠及民生的@@数据@@；第二@@层是@@有价值@@、有偿公开的@@数据@@；第三@@层是@@不能公开的@@数据@@。目前@@，中国有用信息@@的@@@@80%由政府@@掌握@@，长期以@@来@@，这些@@信息@@一@@方面@@大多@@处于不对@@外公开状态@@，严重地制约经济发展@@；另一@@方面@@@@，部门之间@@、上下级之间的@@政府@@信息@@相互割裂@@、数据之间无法有效共@@享@@，形成一@@个@@个@@信息@@孤岛@@，难以@@发挥应有的@@作用@@。从@@数据的@@性质来看@@，政府@@手里的@@大数据@@@@可以@@分为@@：(1)资产性数据@@，也就是@@直接表现为财产的@@数据@@，如国民收入@@、国债@@、对@@外贸易和@@投资等@@数据@@；(2)资源性数据@@，如自然@@资源@@、环境资源@@、政治资源@@、人口资源@@、教育与@@科研@@资源等@@数据@@；(3)互动性数据@@，也就是@@政府@@施政过程中与@@社会互动产生的@@数据@@，以@@及@@政府@@与@@市场主体@@互动产生的@@数据@@，包括宏观经济形势@@、居民健康状况@@、居民收入和@@社会保障等@@方面的@@数据@@。
3.来自企业的@@大数据@@@@@@。企业是@@大数据@@最重要的@@来源@@@@，它几乎每时每刻都在@@产生数据@@，而@@企业管理层是@@绝对@@不允许数据丢失的@@@@，另外@@，从@@行业机密来考虑@@，企业也不允许随意公开和@@丢失经营数据@@，因而@@@@企业的@@数据积累是@@最为全面的@@@@。更为重要的@@是@@@@，为防范风险@@，知名企业往往会通过建立@@容灾系统来备份自己的@@数据@@。“9-11”事件后@@，为了防备数据在@@企业遭受恐怖袭击@@、地震@@、火灾等@@重大事件被毁掉@@，各国@@、各企业都加大容灾系统的@@建设@@，以@@保护好这些@@数据@@。公共@@管理@@并非只是@@针对@@社会成员的@@@@，同样也针对@@企业主体@@@@。所以@@@@，企业的@@数据积累也是@@公共@@管理@@大数据@@的@@重要来源@@@@。
4.来自个@@人的@@大数据@@@@@@。个@@人的@@基本数据包括涉及个@@人隐私的@@所有数据@@，如健康状况@@、电话号码@@、银行账号等@@既是@@公共@@管理@@的@@依据@@，也是@@公共@@管理@@的@@对@@象@@。个@@人在@@日@@常生活@@中的@@活动行程数据包括上网@@、电子邮件@@、短信@@，以@@及@@博客@@、微博@@、微信等@@自媒体数据@@。例如@@，汽车传感数据用于评价司机行为会推动汽车保险业的@@深刻变革@@。此外@@，还有个@@人在@@其职业活动中形成的@@各种数据@@，如写作@@、科研@@、发明等@@@@，同样是@@公共@@管理@@数据的@@重要来源@@@@。
大数据@@客观上为公共@@管理@@提供处理公权力内部的@@权力运作问题@@、公权力对@@公共@@资源的@@配置问题@@，以@@及@@为我们维护社会安全@@@@、应对@@社会问题@@提供全新的@@思路和@@技术@@。这也是@@大数据@@时代@@公共@@管理@@与@@传统公共@@管理@@的@@最大区别@@。大数据@@公共@@管理@@更多@@@@的@@是@@处理数据@@，而@@对@@于不同来源@@的@@数据和@@不同性质的@@数据@@，公共@@管理@@的@@处理方式不一@@样@@。
三@@、大数据@@在@@促进公共@@管理@@变革中的@@重要功能@@
舍恩伯格@@和@@库克耶@@所著的@@@@《大数据@@时代@@》提出大数据@@时代@@的@@管理变革@@，但他们主要是@@从@@风险管理的@@角度来分析@@的@@@@。他们认为@@@@，在@@大数据@@时代@@@@，“我们时刻都暴露在@@@@‘第三@@只眼睛@@’之下@@：亚马逊监视着我们的@@购物习惯@@，谷歌监视着我们的@@网页浏览习惯@@，而@@微博@@似乎什么都知道@@，不仅窃听到@@我们心中的@@@@‘TA’，还有我们的@@社交关系网@@”，“我们的@@隐私被第二@@次@@利用了@@”，所以@@@@，他们提出@@“管理规范的@@革命@@”，并认为@@大数据@@将对@@管理带来五@@大方面的@@变革@@，即@@“个@@人隐私保护@@@@：从@@个@@人许可到@@让数据使用者承担责任@@；个@@人动因@@VS预测@@分析@@@@；大数据@@算法师的@@崛起@@；反数据垄断@@”③。但是@@@@，本文则是@@从@@管理的@@效率@@、效能来分析@@大数据@@为什么能够促进公共@@管理@@变革@@。大数据@@能够促进公共@@管理@@的@@变革@@，是@@因为大数据@@有其特殊的@@功能@@。
1.大数据@@具有强大的@@数据收集功能@@。当今时代@@，数据呈三@@维爆炸式增长@@，即@@同一@@类数据在@@快速@@增长@@、数据增长速度在@@加快@@、新的@@数据来源@@和@@新的@@数据种类在@@不断增加@@[13]。在@@这种情形下@@，传统的@@数据收集方式根本无能为力@@，而@@云平台@@支撑下的@@大数据@@@@技术却能够把海量@@、快速@@、多@@样的@@数据实现软件化@@、智能化@@。因而@@@@，大数据@@也就能够为公共@@管理@@提供多@@元化@@、多@@源性的@@信息@@@@，这样就能够呈现更为真实的@@客观实际@@。大数据@@为民意辩论和@@协商共@@识提供足够的@@信息@@@@。公共@@管理@@的@@重要环节是@@民众参与@@和@@通过协商来达成共@@识@@。而@@参与@@和@@协商的@@前提是@@民众的@@信息@@充分知晓@@，信息@@不对@@称的@@协商是@@不平等@@的@@协商@@，这种协商是@@难以@@达成共@@识的@@@@。在@@这种情形下@@，大数据@@就发挥提供多@@样化@@、多@@源性信息@@的@@功能@@。因此@@，大数据@@和@@云计算实现了彻底的@@大多@@数决策的@@范式@@。
2.大数据@@本身具有数据管理的@@功能@@。大数据@@的@@数据管理是@@依托于云平台@@的@@智能化@@管理@@。大数据@@的@@管理功能既包括对@@大数据@@的@@管理@@，也包括使用大数据@@结果的@@管理@@。从@@公共@@管理@@来看@@，对@@大数据@@本身的@@管理体现在@@政府@@能够拥有对@@云硬件进行虚拟化的@@虚拟技术@@、对@@各种数据进行编程的@@编程技术和@@提供大数据@@使用服务的@@云服务平台@@技术@@；对@@大数据@@使用结果的@@管理功能则体现在@@适应大数据@@时代@@大数据@@使用的@@国家立法能力上@@，也就是@@通过有效立法来加强对@@大数据@@使用结果的@@管理@@。简言之@@，数据管理是@@大数据@@时代@@公共@@管理@@最重要的@@内容之一@@@@。
3.大数据@@具有强大的@@分析@@功能@@@@。数据没有经过分析@@就是@@一@@组没有生命力的@@数据@@，只有经过技术分析@@的@@数据才能够@@“发声@@”，才能够用于预测@@和@@进行公共@@决策@@。没有大数据@@思维@@就难以@@获得大数据@@的@@分析@@功能@@@@。大数据@@的@@分析@@功能@@不仅是@@分析@@已经@@“发声@@”的@@大数据@@@@，还要有能力重组各种已经存在@@且即@@将被挖掘出来的@@数据@@。由于大数据@@的@@核心是@@预测@@@@，因此@@，大数据@@结合传统的@@分析@@方法之后@@@@，就是@@要@@“(1)使用全部或更多@@@@的@@数据来建立@@预测@@模型@@；(2)组合多@@种分析@@模型和@@技术来改善结果@@；(3)创造一@@个@@闭环的@@环境@@，让新知识运用在@@生产模型中@@；(4)构建实时性的@@预测@@@@模型@@；(5)专注于应用预测@@模型技术@@”[14]。在@@思维过程中对@@数据进行重组@@，从@@而@@挖掘出数据的@@新价值@@，是@@大数据@@分析@@功能@@的@@核心内容@@。
4.大数据@@具有数据挖掘和@@数据重组的@@功能@@。在@@公共@@管理@@过程中@@，我们往往重视重要数据和@@可以@@用二@@维表结构来逻辑表达实现的@@结构性数据@@，并依据这些@@数据来进行公共@@决策@@，从@@而@@忽视众多@@所谓的@@不重要的@@@@、非结构性数据@@，但这些@@数据客观上对@@公共@@决策是@@有重要影响的@@@@。不过@@，“孤立的@@数据是@@没有价值的@@@@”[15]。非结构性数据@@不能被发现其价值@@，就是@@因为它们是@@孤立的@@@@，但大数据@@技术却能够通过挖掘和@@重组功能对@@非结构性数据@@进行充分利用@@，尤其是@@通过算法来构建数据的@@相关关系并挖掘数据价值@@，把分散的@@数据整合起来@@，并在@@云平台@@上通过云技术处理@@，使之成为有内在@@相关性的@@大数据@@@@@@，最终应用到@@公共@@管理@@过程中@@。
5.大数据@@具有强大的@@预测@@@@功能@@。预测@@自古以@@来就存在@@@@，那么@@大数据@@时代@@的@@预测@@@@与@@以@@往的@@预测@@@@有何不同呢@@？其最大的@@区别在@@于@@“一@@”与@@“多@@”的@@关系不同@@。传统的@@预测@@@@是@@从@@@@“一@@”来预测@@@@“多@@”的@@，而@@大数据@@时代@@的@@预测@@@@则是@@相反@@@@，从@@“多@@”来预测@@@@“一@@”的@@。《吕氏春秋@@·察今@@》有段话说@@：“有道之士@@，贵以@@近知远@@，以@@今知古@@，以@@所见知所不见@@。故审堂下之阴@@，而@@知日@@月@@之行@@，阴阳之变@@；见瓶水之冰@@，而@@知天下之寒@@，鱼鳖之藏也@@。尝一@@脔肉@@，而@@知一@@镬之味@@，一@@鼎之调@@。荆人欲袭宋@@，使人先表澭水@@。澭水暴益@@，荆人弗知@@，循表而@@夜涉@@，溺死者千有余人@@，军惊而@@坏都舍@@。向其先表之时可导也@@，今水已变而@@益多@@矣@@，荆人尚犹循表而@@导之@@，此其所以@@@@败也@@。”这是@@典型的@@从@@@@“一@@”预测@@“多@@”的@@情形@@。以@@“一@@”预测@@“多@@”的@@误差比较大@@，也导致预测@@的@@结果具有相当大的@@不确定性@@。然而@@@@，大数据@@的@@预测@@@@完全不同@@，大数据@@预测@@是@@基于海量数据甚至是@@全数据来预测@@@@某一@@种趋势@@、某一@@种结果或某一@@种情形@@。在@@《三@@国演义@@》第四@@十六回中@@，周瑜问孔明@@：“即@@日@@将与@@曹军交战@@，水路交兵@@，当以@@何兵器为先@@？”孔明回答@@：“大江之上@@，以@@弓箭为先@@。”周瑜说@@：“但今军中正缺箭用@@，敢烦先生监造十万枝箭@@，以@@为应敌之具@@。此系公事@@，先生幸勿推却@@。”孔明毫不推却地说@@：“都督见委@@，自当效劳@@。”孔明之所以@@@@敢接这个@@常人不可能完成的@@任务@@，是@@因为孔明先前进行了相关的@@@@“大数据@@”分析@@。天气@@：“今日@@有大雾@@”；曹操的@@心理特点@@：“吾料曹操于重雾中必不敢出@@”；友军中的@@鲁肃@@：“子敬只得救我@@”。在@@这种情形下@@，诸葛亮也依据自己掌握的@@@@“大数据@@”进行预测@@@@。天气@@：“是@@夜大雾漫天@@，长江之中@@@@，雾气更甚@@，对@@面不相见@@”，即@@浓雾不会暴露目标@@；敌对@@方@@：“重雾迷江@@，彼军忽至@@”，也就是@@说@@，曹操因多@@疑@@，在@@浓雾之下@@必将按兵不动@@；盟友@@：“鲁肃私自拨轻快船二@@十只@@，各船三@@十余人@@”，这表明诸葛亮早就清楚鲁肃的@@职权和@@能力@@，以@@及@@他的@@为人@@。这一@@切都围绕着一@@个@@目标来分析@@和@@预测@@@@：造十万枝箭来攻打曹操@@。结果是@@众所周知@@的@@@@，几乎是@@完全按照诸葛亮预测@@的@@情形@@发展@@。“草船借箭@@”即@@为用@@“大数据@@思维@@”来进行预测@@@@的@@经典案例@@。大数据@@预测@@不是@@以@@随机样本为前提而@@是@@全数据@@，不追求数据的@@精确性而@@是@@在@@混杂性的@@数据中寻找相关关系@@。这就是@@诸葛亮所说的@@@@：“为将而@@不通天文@@，不识地利@@，不知奇门@@，不晓阴阳@@，不看阵图@@，不明兵势@@，是@@庸才也@@。”虽然是@@混杂的@@数据@@，但预测@@的@@结果却不是@@多@@样性的@@@@，而@@是@@单一@@性的@@结果@@。也就是@@说@@，大数据@@的@@预测@@@@追求预测@@结果的@@唯一@@性@@。这对@@于公共@@管理@@的@@意义而@@言@@，在@@于大数据@@的@@预测@@@@功能规避公共@@决策结果的@@不可预知性和@@结果的@@多@@样性风险@@。
四@@、大数据@@促进公共@@管理@@内涵的@@重大变革@@
大数据@@推动公共@@管理@@的@@变革并不是@@因为大数据@@提供了数据服务@@，而@@是@@因为大数据@@带来管理思维的@@变革@@、管理结构的@@变革@@、管理边界的@@进一@@步明晰@@，以@@及@@公共@@管理@@对@@象的@@变化和@@管理效能的@@重大变化@@。大数据@@技术运用和@@相应的@@大数据@@@@服务@@，使公共@@管理@@彻底革新@@。
1.大数据@@促使公共@@管理@@从@@封闭性的@@管理结构转向开放性的@@管理结构@@@@。传统的@@公共@@管理@@受制于公权力@@，而@@公权力的@@运行在@@客观上存在@@封闭性的@@特点@@，如所谓的@@保密性@@、国家安全等@@@@，社会组织的@@参与@@@@、市场组织的@@参与@@度比较低@@。这种封闭性决定公权力在@@进行公共@@资源配置的@@过程中存在@@权力寻租的@@现象@@，即@@便没有权利寻租问题@@，但由于其封闭性也会导致社会的@@不信任@@，使公权力本身陷入@@“塔西佗陷阱@@”之中@@。相反@@，大数据@@完全不一@@样@@，大数据@@是@@在@@互联网@@和@@云平台@@上运行的@@@@，大数据@@时代@@的@@公共@@管理@@存在@@天然的@@开放性@@。市场组织与@@社会组织@@，甚至民众个@@体都可以@@在@@公共@@管理@@的@@框架中游走@@。在@@这个@@过程中@@，普通公众成为管理框架中的@@一@@员@@，管理者与@@需求者瞬时转换@@，实现全民参与@@管理@@，管理主体@@与@@客体对@@象的@@边缘变得模糊@@。这种开放性表明@@，原来的@@单一@@治理模式向多@@元共@@治模式的@@重大变革@@。
2.大数据@@使公共@@管理@@由官僚科层制转向扁平化结构@@。官僚科层制管理是@@一@@种金字塔形的@@治理结构@@，其结果导致资源配置形成与@@之相反@@的@@倒金字塔形结构@@，离金字塔塔尖越近的@@部门获得的@@公共@@资源越多@@@@。这样的@@公共@@管理@@结果最终是@@难以@@持续的@@@@。社会的@@不满情绪也大多@@源于此@@。公共@@资源的@@分配强调在@@程序化基础上的@@公平@@，而@@官僚科层制管理虽然有程序但缺乏公平@@。所以@@@@，官僚体制内部的@@层级在@@公共@@资源分配中发挥决定性的@@作用@@。然而@@@@，大数据@@就完全不一@@样@@，大数据@@把横向分工合作与@@纵向科层制的@@僵化结构打破@@，政府@@内部的@@数据共@@享与@@共@@同决策将最终消除官僚层级对@@公共@@资源分配的@@决定性作用@@，同时也会消除部门之间@@的@@公共@@资源鸿沟@@。
3.大数据@@公共@@管理@@与@@政治管理的@@边界进一@@步得到@@明晰@@。传统的@@公共@@管理@@更多@@@@的@@是@@基于政治意识形态的@@安全而@@实施的@@过程@@，把一@@切涉及经济利益诉求的@@集体行动和@@个@@人维权行为都纳入到@@与@@政府@@对@@抗甚至视之为颠覆政府@@的@@政治诉求行动@@，所以@@@@刚性维稳成为公共@@管理@@的@@常态@@。其结果往往是@@与@@实际目标相去甚远@@，进一@@步激化社会矛盾@@。实际上大多@@数的@@集体行动和@@维权行动都是@@以@@经济利益为目标的@@@@，与@@政治诉求根本就没有关系@@。大数据@@的@@监控会把这一@@切都明明白白地告诉公共@@管理@@者@@。关于这方面的@@监控过去都是@@采取人对@@人的@@监控@@，而@@人往往会对@@一@@切都进行主观判断@@，甚至为某种目的@@而@@故意隐瞒客观事实@@，把经济诉求的@@社会行动上报成为政治诉求的@@社会行动@@，其结果不言自明@@。大数据@@不一@@样@@，大数据@@采取的@@是@@技术监控和@@技术分析@@@@，包括对@@人的@@行为的@@监控@@。技术只会告诉你数据@@，不会做出主观判断@@，技术用数据说话@@@@。大数据@@的@@公共@@管理@@@@就是@@要@@去政治化的@@管理而@@转变为社会化的@@管理@@。
4.大数据@@促使公共@@管理@@从@@强化对@@人的@@管理转变为对@@数据的@@管理@@，并借助于大数据@@来为人服务@@。传统的@@公共@@管理@@是@@为社会秩序服务的@@@@，所以@@@@专注于对@@人的@@行为进行规范化@@，使之合秩序化@@。在@@这种管理框架中@@，人是@@公共@@管理@@的@@目标@@，而@@不是@@管理服务的@@对@@象@@。大数据@@的@@公共@@管理@@@@，一@@是@@数据管理@@，因为数据是@@最为关键的@@管理对@@象@@，数据在@@云平台@@上安全运行是@@大数据@@条件下公共@@管理@@的@@前提条件@@，因此@@，对@@数据的@@管理是@@第一@@位的@@@@，只有对@@数据有效管理@@，才能实现有效的@@公共@@管理@@@@。也就是@@说@@，对@@数据的@@管理是@@公共@@管理@@最重要的@@一@@部@@分@@。二@@是@@用数据服务公众@@，即@@大数据@@的@@公共@@管理@@@@从@@直接对@@人的@@管理转变为直接对@@人的@@服务@@。这是@@公共@@管理@@根本性的@@变革@@。
5.从@@公共@@管理@@的@@效能来看@@，尤其是@@针对@@社会问题@@@@，公共@@管理@@决策应该是@@一@@种预测@@性的@@决策@@，而@@不是@@被动应对@@性的@@决策@@。传统的@@公共@@管理@@往往是@@一@@种被动应对@@性的@@公共@@决策@@，即@@只有当某种现象出现后@@，出于强化或防止该现象的@@再次@@发生的@@目的@@而@@进行公共@@决策@@。这种决策相当于用先前付出的@@代价来购买新的@@公共@@决策@@。大数据@@技术条件下可以@@避免这种用历史代价来购买未来公共@@决策的@@现象@@，那就是@@用大数据@@进行预测@@@@式决策@@。这是@@因为@@，大数据@@不但构筑规模庞大@@、类型多@@样的@@数据@@，而@@且云计算的@@快速@@计算能力@@，能够实现@@“全样本@@”的@@数据支撑@@，从@@而@@能够使公共@@管理@@更好地做出预测@@性优化决策@@。
五@@、大数据@@条件下公共@@管理@@面临的@@新挑战@@
变革也就意味着风险@@，其中包括不确定性的@@风险和@@不可靠性的@@风险@@。正如前文所述@@，大数据@@预测@@是@@以@@@@“多@@”对@@“一@@”的@@预测@@@@，其结果应该是@@确定性的@@@@。但是@@@@，传统的@@公共@@管理@@引入大数据@@之后@@使公共@@管理@@的@@新手段具有不确定性@@，同时公共@@管理@@的@@内容也具有不确定性@@，这样会导致公共@@管理@@的@@结果具有不确定性@@。不可靠的@@风险是@@指大数据@@作为全数据的@@可靠性问题@@，以@@及@@大数据@@带来的@@包括个@@人隐私保护@@@@等@@方面的@@问题@@，都会给公共@@管理@@提出全新的@@挑战@@。
1.大数据@@真的@@是@@全数据吗@@？所谓全数据都是@@相对@@的@@@@，但大数据@@条件下的@@公共@@管理@@对@@全数据具有天然的@@依赖性@@。因此@@，对@@大数据@@实际上就是@@全数据的@@依赖会导致公共@@管理@@为收集数据而@@收集数据@@，或者说是@@为追求全数据而@@导致公共@@管理@@因数据动态而@@困惑@@。虽然公共@@管理@@的@@目标是@@提高服务质量@@，但数据的@@大爆炸会导致公共@@管理@@者更多@@@@地应对@@数据爆炸带来的@@收集困惑@@，为如何收集瞬间即@@逝的@@非结构性数据@@而@@费尽周折@@。而@@公共@@管理@@的@@服务内容很有可能被数据收集过程冲淡甚至被忽视@@。对@@数据的@@执迷是@@大数据@@时代@@公共@@管理@@面对@@的@@第一@@大挑战@@。
2.大数据@@如何保护个@@人隐私@@？保护个@@人隐私虽然不是@@公共@@管理@@的@@目标@@，但它是@@公共@@管理@@的@@内容之一@@@@。传统的@@公共@@管理@@也包括对@@隐私权保护的@@内容@@，即@@任何个@@人隐私都必须得到@@公共@@管理@@行为的@@保护@@，公共@@管理@@过程不得侵犯个@@人隐私@@；否则@@，公共@@管理@@就会被认为@@是@@违背法律的@@@@。然而@@@@，大数据@@所收集的@@所有数据都存放在@@互联网@@之中@@和@@云平台@@之上@@，而@@技术的@@使用者是@@受到@@人性控制的@@@@，人性可以@@通过道德来进行制约@@，可是@@技术是@@不具有道德规制功能的@@@@。于是@@@@，掌握大数据@@技术的@@人并不会因为其技术水平的@@提高而@@提高其道德水准@@；相反@@，在@@巨大的@@利益诱惑下@@，技术会异化为攫取云平台@@之上的@@大数据@@@@特别是@@个@@人隐私方面的@@数据来牟取暴利@@，甚至是@@进行诈骗@@、勒索@@。近年@@来@@，网络诈骗@@、电信诈骗层出不穷@@，就是@@因为人追逐特殊利益的@@本性而@@导致大数据@@技术的@@异化@@。由此@@可见@@，大数据@@本是@@为了提高公共@@管理@@水平@@，但大数据@@技术的@@异化给公共@@管理@@带来新的@@难题@@。
3.大数据@@如何进行公共@@管理@@方面的@@立法@@？公共@@管理@@必须有法可依@@，但立法的@@原则不同@@，公共@@管理@@的@@内容是@@不一@@样的@@@@。例如@@，传统立法使用个@@人隐私数据必须征得个@@人同意@@。在@@大数据@@时代@@@@，大数据@@把个@@人隐私几乎完全暴露在@@互联网@@之中@@@@。因此@@，在@@立法管理上就要进行变革@@，即@@国家立法要从@@个@@人许可转变为让数据使用者承担责任@@[6]220。由于大数据@@的@@价值并不是@@从@@表面的@@数据直接体现出来的@@价值@@，而@@是@@通过挖掘之后@@而@@发现数据的@@价值进行二@@级使用@@，因此@@，个@@人许可的@@立法原则就难以@@获得全数据@@，但获得全数据之后@@@@，数据使用者是@@否主动要为使用数据负法律责任呢@@？这无疑是@@一@@个@@未知数@@。大数据@@的@@公共@@管理@@@@要促使数据使用者评估数据使用的@@风险@@、规避或减少潜在@@伤害@@，但数据使用者往往忽视法律的@@底线@@，从@@而@@使公共@@管理@@在@@大数据@@条件下存在@@数据使用者道德的@@不确定性风险@@。
①“大数据@@”作为一@@个@@技术方面的@@用词@@，是@@1980年@@著名未来学家托夫勒在@@其所著的@@@@《第三@@次@@浪潮@@》中首先提出来的@@@@，2008年@@9月@@《自然@@》杂志推出名为@@“大数据@@”的@@封面专栏@@。由此@@，“大数据@@”才成为互联网@@技术行业中的@@热门词汇@@，同时也成为一@@个@@学术热词@@。随着麦肯锡公司对@@大数据@@的@@应用@@，大数据@@迅速进入美国@@、德国@@、法国@@、英国@@、澳大利亚@@、日@@本等@@国的@@施政战略框架之中@@@@。2015年@@8月@@31日@@，中国制定@@@@《促进大数据@@发展行动纲要@@》的@@大数据@@@@发展战略规划文件@@@@。
②TB级数据就是@@@@2的@@40次@@方@@B，PB级数据就是@@@@2的@@50次@@方@@B，ZB级数据是@@@@2的@@70次@@方@@B。例如@@，2009年@@，美国国会图书馆相当于@@235TB，所有美国学术研究图书馆只有@@2PB，每天由@@Google处理的@@数据相当于@@24PB。到@@2020年@@全球数据量将达到@@@@44ZB。
③参见维克托@@·迈尔@@-舍恩伯格@@、肯尼斯@@·库克耶@@：《大数据@@时代@@：生活@@、工作与@@思维的@@大变革@@》，盛杨燕@@、周涛译@@，浙江人民出版社@@2013年@@版@@，第三@@部分@@。
作者@@简介@@：胡键@@(1968-)，男@@，湖南道县人@@，上海@@社会科学院研究员@@，博士研究生导师@@，从@@事中国软实力研究@@，上海@@ 200020
