《大数据现状分析 生态系统正在走向成熟.doc》由会员分享，可在线阅读，更多相关《大数据现状分析 生态系统正在走向成熟.doc（3页珍藏版）》请在三一文库上搜索。
1、大数据现状分析 生态系统正在走向成熟技术型的高科技创业公司都喜欢闪闪发光的新东西，而“Spark带着Hadoop飞2015年毫无疑问是Apache Spark最火的一年，这是一个开源框架，利用内存中做处理。这开始得到了不少争论，从我们发布了前一版本以来，Spark被各个对手采纳，从IBM到Cloudera都给它相当的支持。 Spark的意义在于它有效地解决了一些使用Hadoop很慢的关键问题：它的速度要快得多(基准测试表明：Spark比Hadoop的MapReduce的快10到100倍)，更容易编写，并非常适用于机器学习。其他令人兴奋的框架的不断涌现，并获得新的动力，如Flink，Ignite
2、，Samza，Kudu等。一些思想领袖认为Mesos的出现(一个框架以“对你的数据中心编程就像是单一的资源池”)，不需要完全的Hadoop。即使是在数据库的世界，这似乎已经看到了更多的新兴的玩家让市场持续，大量令人兴奋的事情正在发生，从图形数据库的成熟(Neo4j)，此次推出的专业数据库(时间序列数据库InfluxDB)，CockroachDB，(受到谷歌Spanner启发出现，号称提供二者最好的SQL和NoSQL)，数据仓库演变(Snowflake)。大数据分析：现在的AI在过去几个月的大趋势上，大数据分析已经越来越注重人工智能(各种形式和接口)，去帮助分析海量数据，得出预测的见解。最近AI
3、的复活就好比大数据生的一个孩子。深度学习(获取了最多的人工智能关注的领域)背后的算法大部分在几十年前，但直到他们可以应用于代价便宜而速度够快的大量数据来充分发挥其潜力(Yann LeCun, Facebook深度学习研究员主管)。 AI和大数据之间的关系是如此密切，一些业内专家现在认为，AI已经遗憾地“爱上了大数据”(Geometric Intelligence)。反过来，AI现在正在帮助大数据实现承诺。AI /机器学习的分析重点变成大数据进化逻辑的下一步：现在我有这些数据，我该怎么从中提取哪些洞察?当然，这其中的数据科学家们 - 从一开始他们的作用就是实现机器学习和做出有意义的数据模型。但渐
4、渐地机器智能正在通过获得数据去协助数据科学家。新兴产品可以提取数学公式(Context Relevant)或自动构建和建议数据的科学模式，有可能产生最好的结果(DataRobot)。新的AI公司提供自动完成复杂的实体的标识(MetaMind，Clarifai，Dextro)，或者提供强大预测分析(HyperScience)。由于无监督学习的产品传播和提升，我们有趣的想知道AI与数据科学家的关系如何演变 - 朋友还是敌人? AI是肯定不会在短期内很快取代数据科学家，而是希望看到数据科学家通常执行的简单任务日益自动化，最后生产率大幅提高。通过一切手段，AI /机器学习不是大数据分析的唯一趋势。令人
5、兴奋的趋势是大数据BI平台的成熟及其日益增强的实时能力(SiSense，Arcadia)。大数据应用：一个真正的加速度由于一些核心基础架构难题都已解决，大数据的应用层迅速建立。在企业内部，各种工具已经出现，以帮助企业用户操作核心功能。例如，大数据通过大量的内部和外部的数据，实时更新数据，可以帮助销售和市场营销弄清楚哪些客户最有可能购买。客户服务应用可以帮助个性化服务; HR应用程序可帮助找出如何吸引和留住最优秀的员工;等专业大数据应用已经在几乎任何垂直领域都很出色，从医疗保健(特别是在基因组学和药物研究)，到财经到时尚到司法(Mark43)。两个趋势值得关注。首先，很多这些应用都是“大数据同乡
6、”，因为他们本身就是建立在最新的大数据技术，并代表客户能够充分利用大数据的有效方式，无需部署底层的大数据技术，因为这些已“在一个盒子“，至少是对于那些特定功能 - 例如，ActionIQ是建立在Spark上，因此它的客户可以充分利用他们的营销部门Spark的权力，而无需实际部署Spark自己 - 在这种情况下，没有“流水线”。第二，人工智能同样在应用程序级别有强大吸引力。例如，在猫捉老鼠的游戏，安全上，AI被广泛利用，它可以识别黑客和打击网络攻击。 “人工智能”对冲基金也开始出现。全部由AI驱动数字助理行业已经去年出现，从自动安排会议(x.ai)任务，到购物为您带来一切。这些解决方案依赖人工智能的程度差别很大，从接近100%的自动化，到个人的能力被AI增强 - 但是，趋势是明确的。在许多方面，我们仍处于大数据的早期。尽管它发展了几年，建设存储和数据的过程只是第一阶段的基础设施。 AI /机器学习出现在大数据的应用层的趋势。大数据和AI的结合将推动几乎每一个行业的创新，这令人难以置信。从这个角度来看，大数据机会甚至可能比人们认为的还大。