网上科普有关“大数据发展的根基是什么”话题很是火热,小编也是针对大数据发展的根基是什么寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。
大数据发展的根基是什么
大数据活在“云端”!唯有云计算能让大数据找到自己的轨迹和存在的真正价值;但大数据不是无根的浮云,它有自己的根,源源不断输送数据的根。
那么,大数据的“根”在哪里?日前国务院出台的《促进大数据发展行动纲要》(以下简称《行动纲要》)或许可以让我们找到答案。
《行动纲要》明确提出了促进大数据发展的三大重点任务和十项工程。三大重点任务之首即加快政府数据开放共享,推动资源整合;十项工程前四大工程涉及政府信息,即:政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程。不难发现,三大重点任务、十项工程的关键词就是共享,而政府数据的开放共享是核心。
共享是大数据的“根”
大数据与云计算,或许就像一枚神奇的金币之正反面,让许多人感觉“云里雾里”、亦真亦幻,却又能真切地感受到金币的光芒。
什么是大数据?按照维基百科的定义,大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的基本特点可以概括为“4V”:大量化(Volume)多样化(Variety)、快速化(Velocity)、价值化(Value),即海量的数据规模、快速的数据流动和动态的数据体系、多样的数据类型、巨大的数据价值。
而《大数据时代》的作者维克托·迈尔·舍恩伯格给出的解释或许更易于理解,他认为,“大数据”并不是很大或者很多数据,并不是一部分数据样本,而是关于某个现象的所有数据。比如说关于一家企业的数据信息,除了企业名称、法定代表人、注册资本、经营范围等基本信息外,还包括财务信息、经营信息、外部关联关系、诚信状况等信息。大量、多维、立体、交织信息的汇集,就可以为不同主体、基于不同需求分析企业提供数据基础。
如果将单个或局部领域的数据及其挖掘处理视为小数据,那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合,就是大数据形成的根基。譬如一滴水,唯有与别的水滴融合在一起,才能形成水流,才能汇成江河、海洋,才能发挥水的价值。这种融合就是共享。没有小数据的共享,就没有大数据生长的“根”。
要从海量的数据中快速地分析、挖掘出有用的信息,单台计算机已难以胜任,必须采用分布式架构,依托云计算的分布式处理、分布式数据和云存储、虚拟化技术,即透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算、分析之后将处理结果回传给用户。这就是与大数据相依相存的云计算。显然,如果没有数据的共享,云计算也是“无米之炊”。
当然,数据能否共享,涉及到数据的开放性、法律边界、数据价值实现等问题,还面临诸多现实障碍。
谁阻碍了数据共享?
当我们沉醉于大数据的奇妙与魔法无边的时候,现实世界却给了我们一记响亮的耳光!我们会沮丧地发现,许多政府公共信息仍处于零散、分割、封闭状态!
各级政府部门在履职过程中掌握了大量的数据信息,其中涉及企业(个人)的数据最为丰富。目前普遍认为比较有用的企业信息大致包括四个方面。
一是反映企业基本情况的信息。包括:工商部门提供的企业注册登记信息,注册资本、股东及高管变更情况等;环保部门提供的企业环境违法处罚信息、环评审批、排污许可证和排污权抵押登记情况等;质监、安监、食品药监、卫生等部门提供的各项资质信息。
二是反映企业真实经营状况的信息。包括:税务部门提供的企业应税销售额,纳税、退税情况等;人力社保部门提供的企业社保缴纳、劳动争议情况、劳动保障书面审查信息等;海关部门提供的进出口信息、企业报关情况等;水、电、气部门提供的缴费及欠费情况等。
三是反映企业及企业主资信状况及守法情况的信息。包括:公安、法院等部门提供的企业或企业主的司法诉讼、执行、查封信息等;工商、环保、人社、税务、质监、安监、食品药监、卫生、海关等部门提供的处罚信息。
四是反映企业融资、财产抵质押、对外担保等情况的信息。包括:人民银行[微博]征信系统提供的贷款、质押信息,工商部门提供的股权转让、抵押、查封信息等;房产部门提供的房地产权属、抵押、查封、租赁信息等。
这些涉及企业的各种信息资源散落在不同的政府管理部门,总体处于彼此分割、孤立、封闭状态,没有实现数据之间的共享、连接和融合,更谈不上大数据价值的体现。
尽管近年来,各级政府都在积极搭建公共信用信息平台,推动社会征信体系建设,特别是《国务院关于印发社会信用体系建设规划纲要(2014—2020年)的通知》出台后,步伐进一步加快,各部门也大多建立了自身的信息管理系统,但部门之间信息不共享或共享不充分仍是常态。即使有一些全国性、地区性的统一信息平台,如“全国企业信用信息公示系统”“信用浙江”等,所含企业信息也非常有限,且不完整、不及时。
这种信息割裂的状态,不仅不利于大数据的发展,从眼前看,则对具体运用大数据的相关主体的发展形成阻碍。比如,银行业在服务实体经济特别是小微企业过程中,面临的突出瓶颈之一,就是信息瓶颈。银行业开展小微企业信贷业务面临的最大困惑是信息不对称。信息的不对称使银行在发放小微企业贷款时难免“如履薄冰”,顾忌甚多。因此,能否切实掌握和了解反映企业真实经营状况、企业及企业主资信状况等相关信息,在很大程度上决定了银行对小微企业放贷的意愿以及介入小微企业信贷领域的深度。
目前客观存在的企业信息难共享之格局,根源在于部门利益。相关政府部门在参与公共信用信息平台建设时,出于种种原因,往往叫得响、做得少。一些部门出于自身商业利益,将自身所拥有的大量公共信息视为“私有财产”,以有偿作为提供信息的条件;或以维护商业秘密、涉及部门机密为由,不愿将拥有的、本属于公共资源的企业信息与其他部门共享,或者象征性地扔几根“骨头”,人为造成了企业信息的分割、残缺,也造就了许多“僵尸”信息平台;有些信息的共享按说不应存在障碍,只因为一些数据拥有的部门感觉“吃力不讨好”,缺乏主动提供数据的动力。
当然,也不排除个别地方政府从局部利益出发,对可能影响当地企业发展的行政处罚类负面、失信信息的公开加以阻扰,影响信息数据的共享。深层的原因,则是社会信用体系建设法制化步伐缓慢,公共信息征集机制不健全,对相关部门提供、公开相关政务信息缺乏有效的约束,以及信用信息使用在公开与保密之间的法律边界不清晰。
怎样走向数据共享?
《行动纲要》把加快政府数据开放共享、推动资源整合列为首要任务,把推动政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程等工程建设作为促进大数据发展的基础设施工程。说明政府高层对信息共享问题的高度关注。
显然,推动数据共享的起点是政府部门间的信息共享,而这恰恰是难点所在。这是一个系统性艰巨工程,也是一个渐进的过程,既需要加快社会征信体系的法制化进程,更需要政府及相关部门创新思维。
搭建统一、公开、透明的社会信用信息共享平台,有效整合政府各部门信息。对于拥有各种管理资源的政府而言,搭建一个比较完备的信息平台框架似乎并不难,难就难在能否实现信息的充分共享。如何让信息平台所涉及的政府部门主动、及时、充分地将自身所拥有、可公开的数据信息共享到统一的信息平台,关键是要强化信息征集的行政约束力,建立公共信息共享平台的保障机制。
在现行体制下,笔者以为政绩考核“指挥棒”或是推动信息共享之“神器”。应以推动《社会信用体系建设规划纲要(2014—2020年)》实施、落实政务公开制度为抓手,将公共信用信息共享系统数据信息的报送纳入政府对相关部门的考核,前提是要充分研究和界定各类信息公开的法律边界,特别是在对各类违法违规信息、不诚信行为信息的公开方面,应明确可以采取的共享方式和程度,以打消信息发布各方的顾虑。在此基础上,制定清晰的公共信息共享清单,明确相应的责任与义务。
小数据不能共享,大数据必是空谈。所以,看大势、顾大局、破本位,推进小数据共享,是政府部门在大数据时代应有的思维。
以上是小编为大家分享的关于大数据发展的根基是什么的相关内容,更多信息可以关注环球青藤分享更多干货
作为一个广义的术语,云计算描述了一种范围广泛的服务。许多IT厂商都抓住了“云”这个概念,并将其作为产品的一种通用技术。对于公司而言,为了真正了解并利用云计算的价值,首先要了解什么是云计算,及其不同的组成部分。由于云服务是一个广泛的服务集合,因此用户可以选择何时、何地以及如何使用云计算。在这份报告中,我们将解释不同类型的云计算服务,包括软件即服务(SaaS),平台即服务(PaaS)和基础架构即服务(IaaS);并给出一些例子来说明他们如何工作。我们也将说明云计算在什么情况下,不是最好的选择。
云计算层次(Stack)
云计算常被描述为一个层次堆栈(Stack),每个层次建立在另一个层次的顶部,并向上提供服务接口,因此被称为“云”。通常,对于云计算的的定义来自于美国国家标准与技术研究院(NIST)。NIST将云计算定义为一个模型,简易的管理即可方便地按需配置网络访问,并可以配置计算资源(如网络,服务器,存储,应用程序和服务)。
这意味着最终用户可以方便快捷地利用大块资源。NIST还提供了几个特点,并且这些特点被认为是“云”服务中必不可少的。这些特征包括:
按需自助式服务。用户通过注册获得服务,而传统的IT技术需要很长时间才能为最终用户提供服务。 广泛的网络访问资源。可以通过标准平台(如台式机,笔记本电脑,手机等)来访问服务。 资源池。资源可被多个客户享用。 拥有快速的扩展性。可以随突发需求高峰来快速扩展。 计费服务。按照使用协定来进行计费。
近几年,向市场推出的“云计算”概念,已经被传统软件厂商普遍接受。下图描绘了云计算堆栈的三个不同的类别:软件即服务(SaaS),平台即服务(PaaS)和基础设施即服务(IaaS)。
在这份报告中,我们将对所有三个类别进行区分,而区分这三种方式有一个非常简单的方法:
SaaS通过网络运行,为最终用户提供应用服务。 PaaS是一套工具服务,可以为编码和部署应用程序提供快速、高效的服务。 IaaS包括硬件和软件,例如服务器,存储,网络,操作系统。
有人曾将这3个组件相互关联,并写了一个比喻为了帮助理解:就其本身而言,单独的IaaS基础设施毫无作用,它只能为上一层的资源提供帮助来发挥其生产力,就好比道路的存在是为了汽车和卡车来运送乘客与货物。在这个比喻中,道路被比作为IaaS基础设施,而汽车和卡车是坐落在基础设施之上的工具(PaaS),运送的货物和人员则可被比作软件和信息(SaaS)。
需要注意的是,虽然本文对SaaS,PaaS和IaaS的差异进行了区分,但是PaaS和IaaS的概念已日趋模糊。现在我们对这些组件的交互有了大致的了解,下面将会把注意力转向堆栈的顶层——SaaS。
SaaS:软件即服务
软件即服务(SaaS)被定义为部署在互联网上的软件。通过SaaS授权后,可以订阅按需服务,即“支付使用”的模式,或通过广告等方式提供免费服务。这种服务的快速增长使得SaaS迅速流行,因此用户必须了解,什么是SaaS,以及在哪些场合下SaaS是重要的。
SaaS的特点
SaaS遵守广义云计算中的定义,并有如下特点:
可通过Web访问的商业软件。 软件集中式管理。 软件通过“一对多”模式进行交付使用。 最终用户无需处理软件升级和补丁。 应用程序接口(API)可在不同软件之间集成。
SaaS的适用场合
SaaS为云计算的最终交付提供了一项技术方法。当使用云计算时,公司必须考虑所迁移的应用程序是否合适SaaS。在以下场合中将应用程序移植到SaaS是个不错选择:
Vanilla提供的SaaS功能更为全面。一个很好的例子是Vanilla提供的众多服务中包含了电子邮件;而原先使用的是单一功能的软件,尽管也能满足商务需求,但并没有竞争优势。 需要网络或可通过移动设备访问的应用。例如,移动销售管理软件 用于短期需求的软件,例如一个特定项目的协作软件。 在特定时间需求使用的软件,例如每月使用一次税收或收费软件。
SaaS在引入到商业界后,被Salesforce作为客户关系管理(CRM)产品广泛接受。CRM是最流行的SaaS应用之一,同样,电子邮件,财务管、客户服务和费用管理也通过SaaS取得了良好的吸收。
SaaS不适用的场合
SaaS是一种非常有价值的工具,但是在一些特定的情况下,SaaS并不是软件交付的最佳选择。例如,SaaS可能不适合于以下场景:
在需要实时处理数据,以及高速的数据处理应用 不允许数据被外部托管的情况 已有现有的内部部署解决方案能够满足所有需求
SaaS,即“软件即服务”是云计算最广为人知的一种服务,世界各地都在利用云平台做为服务,但是它使得SaaS的易用性和IaaS变得更为混淆。
案例分析:SaaS使得Groupon公司按需为客户提供服务
Groupon网站于2008年11月推出,提供了横跨40多个国家,500多个市场的购物、消费交易平台。公司拥有的数千名员工分布在芝加哥以及帕洛阿尔托办事处,并且在欧洲、拉丁美洲、亚洲和非洲区域设立了办事处。Groupon公司为客户提供了优质的产品和出色的服务。
Groupon公司的客户服务主任Harrow介绍道:在公司成立的几个月内,客户数量以指数级上升。起初,Groupon公司几乎花费了10%的时间来响应客户请求。这些事务甚至需要几个员工才得以应付。随后,Groupon公司意识到,在没有一个真正的解决方案前,无法继续运行下去。
在确信了Groupon的快速增长将继续后,他对几个企业级的系统解决方案进行了研究。企业级解决方案非常复杂,并且很难建立,并且会阻碍客户体验。Harrow随后在网上搜索了在线支持软件,发现了Zendesk。通过对Zendesk进行评估后,Harrow得出了正确的解决方案。
并且他认为Zendesk使用直观。和其他平台相比,Zendesk更强大,并且评价更高。此外,由于它是一个基于Web的解决方案,能够对其进行扩展,以支持更多用户。
现在Groupon雇佣了150多个客户支持代理,能够每天处理近15,000个请求。在代理为客户提供公司服务的过程中,Groupon的宏帮助(即一些FAQ的模板)为公司建立起了一键式解决的客户形象。
同时,Groupon认为Zendesk能够与其他解决方案更容易地集成,通过在Zendesk中加入GoodData,Groupon能够扩展和增强其报告,并且不受电子表格的限制。
PaaS:平台即服务
在软件开发时,平台即服务(PaaS)为SaaS提供了基础。PaaS被定义为一个计算平台,它使得用户能够快速、方便地创建web应用,并且无需担心维护下层软件。
PaaS类似于SaaS,不同之处在于其通过网络建立一个软件平台,而不是通过Web软件提供服务。
PaaS的特点
PaaS由许多不同的特征构成,以下是一些基本的特征:
在相同的集成开发环境中用来开发、测试、部署、托管和维护的应用。 基于Web的用户界面来创建工具,可用于创建、修改、测试和部署不同的UI场景 多客户架构,可使多个并发用户使用相同的开发应用 内置部署软件的可扩展性,包括负载平衡和故障转移 通过公共标准集成Web服务和数据库 支持开发团队协作,包括一些PaaS解决方案以及项目规划、沟通工具 用来处理帐单和订阅管理的工具
尽管PaaS在许多方面类似于第三部分的IaaS,但PaaS有附加的服务价值以及两个显著特征:
1、它是软件开发的协作平台,可用于管理应用程序的数据源和工作流。一个例子是Heroku的PaaS的,其利用Ruby on Rails语言开发。
2、它允许用户来利用应用程序的公共数据来创建软件,该类型的PaaS可以被看作是一种方法来创建具有一系列具有公共数据格式或类型的应用程序。Force.com的PaaS便是一个很好的例子。
PaaS的重要性
当多个开发人员对同一个项目进行开发或者需要外部人员对开发进行交互时,PaaS特别有用。下面的案例表明,对于那些拥有客户关系管理工具(例如销售信息)并希望应用程序能充分利用这些数据的人而言,PaaS被证明是无价的。同时,对于那些希望自动化测试和部署服务的开发人员,PaaS是非常有用的。
基于迭代和增量开发的方法使得软件开发加快并得以普及,它简化了PaaS的开发和软件迭代的困难度。
PaaS的一些例子有:谷歌的App Engine,微软Azure服务,以及Force.com平台。
不适合使用PaaS的场合
我们认为,PaaS将成为软件开发的主流方法。实现流程自动化、并且使用预先定义的组件和构件,自动部署到生产的能力将提供足够的价值,并且非常有说服力的。虽然如此,但是在一定的情况下,PaaS可能并不太理想,例如:
当应用在托管时需要较高的可移植性 当专用开发语言会妨碍今后的另一提供商的上层服务 当应用程序性能需要通过底层硬件和软件来进行定制
案例分析:Menumate公司部署使用PaaS
Menumate为澳大利亚的整个酒店行业销售硬件和软件。使用PaaS的优势使得Menumate在Force.com在迁移的过程中,能够使用相同的应用程序。
为其负责软件开发的Trineo公司的执行董事Fowlie说,使用Force.com的PaaS平台允许Menumate得以集中控制。
Trineo的执行董事Keswani觉得传统方式需要显著增加基础设施、连接以及安全性需求,而Force.com平台本身提供的这些非功能性需求,使得Menumate和Trineo能够纯粹专注于开发所需的功能。此外,利用PaaS的做法意味着Trineo可以采取现有的集成和自动化部署工具来简化整个软件的开发过程。
通过使用PaaS,Trineo已经能够在不同业务中利用一系列现成的应用程序来开发新应用。以下是PaaS的一些应用:
许可证密钥:Menumate软件通过使用许可证密钥来激活客户已支付的功能。PaaS编程语言的强大功能允许Menumate软件快速部署到Force.com(其许可证密钥通过Salesforce.com的CRM中链接),这使得销售和支持人员可以快速查看许可证的状态。
案例管理增强:Menumate处理的很多案例与消耗品订单有关。为了解决这个问题,Menumate拥有一个单独的基于DOS的应用程序,允许用户创建订单和发票。Menumate能够在支持案例中添加产品,并用现有的集成软件自动将发票发送到会计软件上。
标签印刷:另一项传统应用,能够为耗材和硬件创建货运标签,并将其发送给发送客户。使用PaaS技术,可以将这些标签直接打印到客户记录中。
IaaS:基础设施即服务
基础设施即服务(IaaS)提供了云计算基础架构,包括服务器、存储、网络和操作系统。它作为一种按需服务,使得客户无需购买服务器、软件、数据库空间或网络设备,而只要按需购买这些资源的外包服务。
正如以往的白皮书介绍过,IaaS也有一些值得注意的地方。通常它可以分为公共和私有两种基础设施或是两者的组合。“公共云”被认为是包含了共享资源并在互联网上部署了自助式服务的基础设施。
相比之下,“私有云”也集成了一些诸如虚拟化等的云计算功能,但它是运行在专用网络上的基础设施。此外,一些托管服务提供商已经开始在提供传统托管服务的同时,也提供公共或私有云的网络组合。这种组合方式通常被称为“混合云”。
IaaS的特点
与之前两个部分的SaaS和PaaS相比,IaaS的是一个迅速发展的领域。可以说,它普遍遵守以下几个核心特征:
以资源分配作为服务 允许动态调整 成本可变,以效用定价 通常在单一硬件上支持多用户
目前已有大量的IaaS供应商,其中既有诸如Amazon和Rackspace的超大型云供应商,也有区域型的佼佼者。
正如之前所述,PaaS和IaaS的之间的界限正变得越来越模糊,因为供应商正将平台工具作为IaaS的一部分来帮助云的多种类型的部署。
IaaS的适用场合
IaaS在与云计算密切相关的场合下将会发挥效益,这些场合包括:
要求基础设施能在任意时刻能适应变化多端的需求量 当新公司没有预算投资于硬件 当公司发展迅速,在扩展硬件时遇到问题 当公司迫于预算限制,需要将资金转移到经营开支上 一些特定的商务领域,也可用于测试或临时性的设施需求
不适合使用IaaS的场合
虽然IaaS有可扩展性强和大规模部署迅速的优势,但在某些情况下也有它的局限性。在以下场合中,建议慎用IaaS:
限于法律的规定,要求数据存储和处理进行隔离 对基础设施有非常高的性能要求,或原先的内部部署或专用托管基础设施已经满足需求
案例分析:Live Smart通过采取基础设施来帮助减肥者
Live Smart是推广该饮食解决方案的幕后公司,主要出版饮食类书籍和策划在线活动。Beyond Diet是该公司旗下的一个与减肥者互动的社区网站。
从2008年起该公司的业绩增长迅猛,甚至在2010年有了50倍的收益增长。这相当于网站有30万日的均实访客量,峰值甚至高达100万人次。当在考虑基础设施的架构时,Beyond Diet需要的是可托管性和可扩展性。重要的是,Beyond Diet网站规模需要动态的扩大或缩小的能力,以来应对定期的大流量高峰。
Live Smart首席技术官Rob·Volk说:“迁移到云基础设施后他省心了,而在此之前Live Smart在其网站上需要有一个兼职系统管理员,这是显然不是最好的选择;现在有了Managed Cloud(由云提供商Rackspace提供的IaaS服务),Rackspace基本上可以扮演我们的Linux和Windows系统管理员,全天24小时任何时刻如果发生当机,几分钟之内他们的工程师就会来解决这些问题,这个云改变了我们的工作,因此我们需要这种基础设施。”
对于Volk来说,将其网站移动到云的主要动力是他可以更加专注核心业务,而让那些基础设施的专家来日常管理云的运维,因为云供应商提供多级冗余的硬件、快速的配置和高度的灵活性,这些都起了决定性因素。有趣的是,Volk甚至从未考虑过经营自己的物理服务器,而是考虑究竟选择托管服务器还是云中的一个。
他选择了云还因为它降低了成本,相比那些专用服务器,云的选择有更高的灵活性。
Volk正在使用多个云服务提供商:他有三个Web服务器,多个数据库服务器和一个Rackspace的负载平衡器,同时也使用Amazon的S3服务。
Volk认为其中最大的好处是云基础设施的可扩展性。他解释说:“每当过年的时候很多人都去节食,我们的服务器的高峰时间正是在每年的1月到到3月之间,此时网站的流量是平时的三倍,而利用云服务器,我们只需在几分钟之内就能建立好新的Web前端。一旦流量下降,我们可以关闭这些前端。只有在云虚拟化环境中,我们才可能有这样的可扩展性。”
结论
云计算不是一个单一的术语,而是一个总称,它提出了IasS作为基础、PaaS作为开发工具、SaaS作为顶层应用,来取代以往的内部部署应用服务。
对于那些打算迁移到云计算的公司而言,非常重要的一点,是需要了解云计算的每个层面,并结合自己的情况来决定哪些是适合他们需求的解决方案。
随着IT的发展,云计算将加速变革,并将成为未来IT默认的交付方式,所以公司应该尽早考虑将其业务迁移到云计算上。
关于“大数据发展的根基是什么”这个话题的介绍,今天小编就给大家分享完了,如果对你有所帮助请保持对本站的关注!
本文来自作者[南山过客]投稿,不代表长隆号立场,如若转载,请注明出处:https://clcgzw.com/cshi/202502-1309.html
评论列表(4条)
我是长隆号的签约作者“南山过客”!
希望本篇文章《大数据发展的根基是什么》能对你有所帮助!
本站[长隆号]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览:网上科普有关“大数据发展的根基是什么”话题很是火热,小编也是针对大数据发展的根基是什么寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。大...