您的数据能满足您的ML/AI计划吗？

人工智能的发展是全球企业和政府的重中之重。然而，人工智能的一个基本方面仍然被忽视：数据质量差。

人工智能算法依靠可靠的数据来产生最佳结果——如果数据有偏差、不完整、不充分和不准确，就会导致毁灭性的后果。

识别患者疾病的人工智能系统是一个很好的例子，说明糟糕的数据质量如何导致不良后果。当数据不足时，这些系统会产生错误的诊断和不准确的预测，从而导致误诊和延误治疗。例如，剑桥大学对用于诊断Covid-19的400多种工具进行的一项研究发现，由有缺陷的数据集导致由AI生成的报告完全无法使用。

换句话说，如果您的数据不够好，您的AI计划将对现实世界产生毁灭性的后果。

“足够好”的数据是什么意思？

关于“足够好”的数据意味着什么存在相当大的争论。有人说不存在足够好的数据。其他人则表示，对良好数据的需求会导致分析瘫痪——而HBR则直截了当地指出，如果您的信息很糟糕，您的机器学习工具将毫无用处。

在WinPure，我们将足够好的数据定义为“完整、准确、有效的数据，可以放心地用于具有可接受风险的业务流程，其水平取决于个人目标和业务环境。”

大多数公司在数据质量和治理方面的挣扎比他们承认的要多。增加紧张感；他们不堪重负，承受着部署人工智能计划以保持竞争力的巨大压力。可悲的是，这意味着像脏数据这样的问题甚至不会成为董事会讨论的一部分，直到它导致项目失败。

糟糕的数据如何影响人工智能系统？

当算法以训练数据为基础来学习模式时，数据质量问题出现在流程的开始。例如，如果向AI算法提供未经过滤的社交媒体数据，它会拾取滥用、种族主义评论和厌恶女性的言论，如Microsoft的AI机器人所示。最近，人工智能无法检测到深色皮肤的人也被认为是由于部分数据所致。

这与数据质量有何关系？

缺乏数据治理、缺乏数据质量意识和孤立的数据视图（可能已经注意到这种性别差异）导致结果不佳。

该怎么办？

当企业意识到他们遇到了数据质量问题时，他们会对招聘感到恐慌。盲目聘请顾问、工程师和分析师来诊断、清理数据并尽快解决问题。不幸的是，在取得任何进展之前几个月过去了，尽管在劳动力上花费了数百万美元，但问题似乎并没有消失。对数据质量问题采取下意识的方法几乎没有帮助。

真正的改变从基层开始。

如果您希望您的AI/ML项目朝着正确的方向发展，请采取以下三个关键步骤。

建立意识并承认数据质量问题

首先，通过建立数据素养文化来评估数据质量。Bill Schmarzo是该行业的有力代言人，他建议使用设计思维来创建一种文化，让每个人都能理解并为组织的数据目标和挑战做出贡献。

在当今的业务环境中，数据和数据质量不再是IT或数据团队的唯一责任。业务用户必须意识到脏数据问题以及不一致和重复的数据等问题。

因此，首先要做的关键事情是让数据质量培训成为一项组织工作，并使团队能够识别不良数据属性。

这是一个清单，您可以使用它来开始讨论您的数据质量。

数据健康检查表。资料来源：WinPure公司

制定满足质量指标的计划

企业经常犯破坏数据质量问题的错误。他们聘请数据分析师来完成日常的数据清理任务，而不是专注于计划和战略工作。一些企业在没有计划的情况下使用数据管理工具来清理、重复数据删除、合并和清除数据。不幸的是，工具和人才不能孤立地解决问题。如果您有满足数据质量维度的策略，那将会有所帮助。

该策略必须解决数据收集、标记、处理以及数据是否适合AI/ML项目的问题。例如，如果人工智能招聘计划只选择男性候选人担任技术职位，那么该项目的培训数据显然是有偏见的、不完整的（因为它没有收集到足够的女性候选人数据）和不准确的。因此，这些数据不符合人工智能项目的真正目的。

数据质量超出了清理和修复的日常任务。在开始项目之前设置数据完整性和治理标准是最好的。它使项目免于以后失败！

提出正确的问题并设置问责制

对于“足够好的数据或数据质量水平”没有通用标准。相反，这一切都取决于您的企业的信息管理系统、数据治理指南（或没有这些指南），以及您的团队和业务目标的知识，以及许多其他因素。

在启动项目之前，有几个问题要问您的团队：

• 我们信息的来源是什么，数据收集的方法是什么？
• 哪些问题会影响数据收集过程并威胁积极成果？
• 数据传递什么信息？它是否符合数据质量标准（即信息准确、完全可靠和恒定）？
• 指定人员是否意识到数据质量和低质量的重要性？
• 是否定义了角色和职责？例如，谁需要维护定期数据清理计划？谁负责创建主记录？
• 数据是否符合目的？

提出正确的问题、分配正确的角色、实施数据质量标准并帮助您的团队在问题出现之前应对挑战！

总结

数据质量不仅仅是修复错别字或错误。它确保人工智能系统没有歧视性、误导性或不准确。在启动AI项目之前，有必要解决数据中的缺陷并应对数据质量挑战。此外，启动组织范围内的数据素养计划，将每个团队与总体目标联系起来。

处理、处理和标记数据的一线员工需要进行数据质量培训，以便及时发现偏差和错误。