大数据和人工智能如何协同工作

人工智能和机器学习如何帮助组织从大数据中获得更好的商业洞察力？需要知道人工智能和大数据分析的下一步发展。

大数据技术不像几年前那么受欢迎，但这并不意味着大数据技术还没有发展起来。如果有什么不同的话，那就是大数据的规模越来越大。

大数据曾经被认为是一个重大挑战。但是现在，它越来越被认为是一种理想的状态，特别是在那些尝试和实施机器学习和其他人工智能学科的组织中。

Anexinet的高级数字策略师格伦·格鲁伯(Glenn Gruber)表示，“人工智能和机器学习现在为我们提供了使用现有大数据和使用新数据类型开发许多新用例的新机会。我们现在有了更多可用的数据，如图片、视频和语音。过去，我们可能会尽量减少捕获的数据量，因为我们不能对其进行太多的处理，但存储这些数据会产生巨大的成本。”

人工智能如何适应大数据

大数据和人工智能之间有着相互的关系:人工智能在很大程度上依赖于前者的成功，也帮助组织以以前繁琐或不可能的方式释放数据存储的潜力。

Gruber说，“今天，我们需要尽可能多的数据，不仅是为了更好地了解我们试图解决的业务问题，还因为我们通过机器学习模型输入的数据越多，它们得到的结果就越好。这是一个良性循环。”

人工智能如何使用大数据

存储和其他大数据和分析问题似乎不再相同。例如，格鲁伯指出，大数据和人工智能的结合将围绕基础设施、数据准备和治理创建新的需求(或强调现有的需求)。然而，在某些情况下，人工智能和机器学习技术可能是组织解决这些操作复杂性的关键部分。

关于“更好的洞察力”:人工智能和机器学习是当前商业领域最重要的课题。信息技术如何帮助信息技术领导者实现他们当前或未来的目标？

人工智能提供更好见解的6种方式

1.人工智能正在创造新的数据分析方法

大数据的基本业务问题之一有时可以用一个简单的问题来概括:现在是什么？人们已经拥有了所有这些东西，而且还会有更多的东西来，那么如何处理它们呢？在大数据的大肆宣传中，听到这个问题的答案并不总是容易的。

此外，回答这个问题(或从数据中获得洞察力)通常需要大量的手工工作。人工智能正在创造新方法。从某种意义上说，从广义上说，人工智能和机器学习是新方法。

历史上，工程师在分析数据时必须使用查询或查询列表。然而，随着数据的重要性日益增加，各种获得洞察力的方法已经出现。人工智能是查询/SQL的下一步。Alluxio首席执行官史蒂文·米赫(Steven Mih)表示，“过去的统计模型现在已经与计算机科学相结合，已经成为人工智能和机器学习的一部分。”

2.数据分析的劳动强度正在降低

因此，管理和分析数据所需的手动时间比过去少。人们仍然在数据管理和分析中发挥着至关重要的作用，但是由于人工智能，这个可能需要几天或几周(或更长时间)的过程正在加速。

Sungard AS的高级建筑师苏·克拉克(Sue Clark)表示，“人工智能和机器学习是帮助企业分析数据的工具，比员工单独分析数据更快、更有效。”

Exasol的首席技术官Mathias Golombek观察到大数据的双层战略趋势，因为组织在争论必须管理大量信息才能从中获得任何价值:存储层和其上的运营分析层。

Golombek说，“这是从数据中提取见解并做出数据驱动决策的地方。人工智能通过全新的功能训练数据来增强分析，从而做出半自动决策。它并不适用于企业中的所有数据问题，但对于特定的用例，它完全改变了无需复杂的人类知识就可以完成规则、决策和预测的方式。”

换句话说，洞察力和决策会发生得更快。此外，信息技术可以将类似的原则(使用人工智能技术来减轻劳动密集型和劳动密集型的负担，提高速度)应用于后端事物，使人们面对现实，这是信息技术之外很少有人想知道的。

Alluxio company Mih表示，“数据洞察的实时性，加上它现在无处不在的事实，将跨越不同的机架、区域和云计算，这意味着企业必须从传统的数据管理和分析方法演变而来。这就是人工智能的应用。数据工程师一遍又一遍地手动复制数据的日子已经一去不复返了，他们在数据科学家提出要求的几周内交付数据集。”

3.人类仍然重要

和其他人一样，Qlik公司副总裁埃利夫·图图克认为人工智能和机器学习是处理大数据的有力杠杆。

Tutuk说:“人工智能和机器学习，以及其他新兴技术，对于帮助企业更全面地理解所有数据，并为它们提供在关键数据集之间建立联系的方法是至关重要的。“但她补充说，这不是削弱人类智慧和洞察力的问题。

Tutuk说，“企业需要将人类直觉的力量与机器智能结合起来，以增强这些技术或智能。更具体地说，人工智能系统需要向数据和人类学习，以实现它们的功能。成功结合人力和技术力量的企业可以增加从数据科学家和业务分析师那里获得关键见解的人数，同时节省时间并减少由业务用户解释数据造成的潜在偏见。这可以提高企业的运营效率，从数据中收集更快的洞察力，并最终提高企业的生产率。”

4. 人工智能/机器学习可用于缓解常见数据问题

以下是一些没有改变的事情:数据的价值与其质量密不可分。低质量意味着低价值或没有价值。这就是大数据和人工智能的共同点。

Ness Digital engineering的首席技术官摩西·克拉克(Moshe Kranc)表示，“关于机器学习的对话总是回归到企业数据的质量。如果数据质量很差，那么从中获得的任何见解都不可信。机器学习程序花费80%的时间清理和准备数据。“

一切旧的似乎又是新的。然而，这个问题的解决方案(可能还有其他类似的解决方案)可能已经出现。

Kranc说，“幸运的是，机器学习可以用来清理机器学习数据。机器学习算法可以检测异常值和缺失值，找到用稍微不同的术语描述同一实体的重复记录，并将数据标准化为通用术语。

5.分析变得更具预测性和规范性

过去，数据分析比事后分析更重要，事后分析就是“发生的事情”。“对未来的预测本质上仍然是一种历史分析。人工智能和机器学习正在帮助开辟一个新领域:“将会发生什么。或者至少是“可能发生的事情”此外，机器学习算法可以被教导根据前瞻性的见解做出决策或采取行动。

Sparkhound分析部门总经理肖恩·韦里克(Sean Werick)表示。“今天，人工智能正在使用预测分析以更准确的方式进一步推进大数据决策。传统上，大数据决策基于过去和现在的数据点，通常会产生线性投资回报。在人工智能的帮助下，这一比例已经达到了史诗和指数级的水平。使用人工智能的规范性分析有可能为整个公司提供前瞻性战略见解，并有助于促进业务发展。”

Werick指出这是一个“行走前学会爬行”的过程。韦里克认为，利用人工智能根据不准确或不充分的数据做出预测性或规范性的商业决策可能会产生“灾难性”的后果。

Werick说，“随着分析成熟度模型的每次开发，对业务的价值都会增加:从过程和数据映射到描述性分析，到预测性分析，最后到说明性分析。”

6.人工智能和大数据的下一步是什么?

如果大多数团队仍在学习爬行(或行走)，那可能不是问题，因为人工智能和大数据的结合才刚刚开始揭示其可能性。

Scale Venture Partners的合伙人安迪·维塔斯(Andy Vitus)认为智能企业软件前景广阔。他认为许多商业应用仍然显示他们模拟的脱氧核糖核酸。

Vitus说，“大多数商业应用程序仍然是使用纸质表单和分类帐的设计语言构建的。这意味着，对于企业捕获和存储的所有数据，用户仍然花费大量时间和精力通过无休止的报告来搜索有用的信息。

智能软件将使用所有这些数据来解决问题并提供场景和答案，而不仅仅是漂亮的报告。从工程角度来看，智能企业应用程序需要将一个人工智能/机器学习系统连接到其他系统，以便它们能够相互交流和学习。企业最终将从存储的所有数据中获得可观的投资回报。“

这是最基本的承诺:人工智能是一种进化的工具，可以回答关于大数据的基本问题。现在怎么办？

Alluxio的Mih说，“这仅仅是个开始。在未来，将会有新的技术来分析数据以获得实时的洞察力，但是获得洞察力的方式将会得到改进。”