硅谷观察之大数据篇上:挖掘机和“改变世界“的大数据公司们

机器学习 2457 Views

数盟倡导“数据创造价值”,致力于打造最卓越的数据科学交流平台,为企业、个人提供最卓越的服务】

(部分文章来自于第三方平台,未能找到原作者,敬请谅解~sorry~)

什么是“改变世界”的大数据公司

是,但也不是。

  • 数据的拥有者、数据源:特点是业务优势能收集到大量数据,就像煤老板垄断一个地区的矿一样。其实大多数有能力产生或收集数据的公司都属于这类型,比如Vantage Sports和收集了PB级数据的包子铺。

  • 大数据咨询:特点是非常技术,提供从基础设施规划建设维护到软件开发和数据分析等的服务,但不拥有数据,比如Cloudera这家不到500人的startup是最著名的Hadoop架构咨询公司。

  • 做大数据工具的:比如AMPLab出来的Databricks和Yahoo人主导的Hortonworks。

  • 整合应用型:特点是收集拥有或购买一些数据,然后结合AI来解决更多实际的痛点。

  • 这样的大数据公司需要什么样的人

  • 数据量的急速增长。如今,数据的产生变得异常容易。社交网络,移动应用,几乎所有的互联网相关产品每时每刻都在产生众多数据。传统的集中储存计算方式显然无法处理如此庞大的数据量。这时,我们就需要新的储存方式,如云储存,以及新的处理方案,如Hadoop这样的分布计算平台。

  • 数据本身的非结构化。在传统的数据处理领域,我们处理的主要是结构化数据,例如,Excel表格可以显示量化数据等。而如今我们面对着越来越多的非结构化数据,如社交网络的评论,用户上传的音频视频等。这些数据存在于包括文本、图片、视频、音频等众多的数据格式中,这些数据中隐含着众多有价值的信息,但这些信息却需要深度的计算才可以分析出来。这就需要我们利用智能化分析、图像识别等等一系列新的算法来进行数据挖掘,这也就是“大数据”的挑战所在。

  • 硅谷公司的大数据运行现状

  • 没有足够优秀的数据工程师来组建团队

  • 没有足够能力整合数据

  • 没有易于操作的基础软硬件来支持数据分析

  • —————————————————

    数盟网站:www.dataunion.org

    数盟微博:@数盟社区

    数盟微信:DataScientistUnion

    数盟【大数据群】272089418

    数盟【数据可视化群】 179287077

    数盟【数据分析群】 174306879 ,110875722 ,321311420

    —————————————————

    点击阅读原文,发现大不一样~

    如未说明则本站原创,转载请注明出处:NULL » 硅谷观察之大数据篇上:挖掘机和“改变世界“的大数据公司们