AI使数据存储对分析更有效

文章作者：Noam Mizrahi

今天，数据生成的速度远远超过任何人的想象。在过去，人类是数据生成的主要来源。现在，有图像设备、传感器、无人机、联网汽车、物联网设备和以多种方式和格式生成数据的工业设备。但是，我们不应该混淆数据和信息——区分这两个术语至关重要。

目前，收集的数据中只有一小部分具有足够的价值，可以被视为真正的资产。拿一个成像设备。在这里，一分钟的相关活动很重要，而不是长时间的无关视频片段，在这些视频片段中没有重要的事情发生。打个比方，“数据”就是人们挖掘金块（即“信息”）的矿井。将这些数据转化为有价值信息的能力（如果你愿意，“挖掘”）可以称为“分析”

---

编者按当前位置本文是AspenCore特殊项目这本书收录了一系列相关的文章，探讨了人工智能在前沿的应用，超越了媒体关注的语音和视觉系统。包括在这个特别的项目是深海潜水将人工智能推向边缘的创新,测试行业中的人工智能,人工智能如何改变边缘计算的未来.

---

图中所示图1这本书由分析公司Statista汇编，描述了过去十年中存储数据容量的显著增长。该公司预计，到2020年，存储需求将超过42,000艾字节。然而，大多数被存储的数据(大多数估计至少80%)仍然是完全非结构化的形式，这在将其用于分析目的时带来了困难。据估计，只有5%的存储数据实际上正在被分析。如果我们有一种方法，可以用元数据表示这种非结构化数据，而元数据可以在进行分析的上下文中有效地描述它，那么就可以分析大量的数据。这大大增加了组织可以从其拥有的数据中产生的价值。

人工智能（AI）是一项对现代社会各个方面都有重大影响的技术。这包括电子商务推荐、自然语言翻译、金融科技、安全、物体识别/检测等领域，甚至包括可以快速查明威胁生命的癌细胞（或其他异常）的医学领域。尽管它们具有多样性，但所有这些用例都有一个共同的线索，因为我们现在有了一种技术，可以有效地扫描大量非结构化数据（视频、文本、语音、图像等），并对其进行处理，从而得出真正的价值。

具体来说，我们不仅可以将AI用于分析过程本身，还可以将AI用于预处理原始非结构化数据，为其提供标记元数据，这些元数据可以以简单但精确的方式表示。这个简化的数据库可以通过上层分析软件进行分析，并从中收集有用的信息。各组织一直在等待人工智能从他们存储的数据中获得更多信息，直到目前为止，这些数据仍然“黑暗”

好的，所以我们想生成元数据，使我们的分析软件能够更有效地运行，我们有人工智能作为工具，用我们庞大的非结构化数据库创建元数据数据库。现在，我们只需要把这些海量的数据带到我们的人工智能计算实体来完成这项工作。但是等等，这是正确的方法吗？真正地

如果我们看看今天生成和存储数据的两个主要地方，即云和边缘，很快就会发现移动大量数据非常昂贵，应该避免。在云中，通过数据中心路由所有这些数据将给组成部分的网络基础设施带来压力，消耗大量电力，并增加延迟水平（从而增加总体处理时间）。相反，在边缘，可用的计算和电源资源有限。位于那里的小型设备的有限网络能力将使将大量数据上传到云中进行处理变得不切实际。在这两种情况下，最大限度地减少移动的数据量，而不是依赖元数据，是最大限度地提高运营效率的关键。

如果在数据源(即数据位于存储设备内部的地方)进行元数据分配，而不是到处移动数据，那么它将更加有效。固态驱动器(ssd)已经包含了作为计算实体所需的基本元素。这些通常只用于驱动器操作，但它们可以被重新用于执行与功能相关的任务，并处理这些标记工作，或者与集成的硬件/软件/固件块进行补充，以执行这些功能。一种操作模式可能是使用驱动器的空闲窗口来执行后台映射任务。另一种方法可能是在将数据写入驱动器时对其进行处理。这两种操作模式中的每一种都有其各自的优点和缺点，并可能适用于不同的用例。

例如，在将数据写入驱动器时分析数据对于生成警报可能非常有用。如果你会考虑一个监视系统,这种逻辑能够扫描存储的数据,它有可能补警报相机能够生成(如运动),进一步认识到事件的重要性(如可疑行为或人)和建议的安全控制。同时，就“数据接触”而言，这将是最有效的方法，因为这意味着数据只接触和处理一次——当它进入时。

然而，在许多情况下，这也意味着使用更强大的cpu和AI引擎，以便在流(例如高分辨率视频)上提供实时结果。在像SSD这样对成本和功耗非常敏感的环境中，这可能会成为一个问题。同时，当系统从驱动器读取和写入驱动器时，这种内联分析将与其他驱动器相关操作竞争，因为这两个函数可能会竞争驱动器的相同计算和内存资源。

[继续阅读EDN US:离线处理]