如何检测机器学习中的概念漂移
机器学习(ML)是一种由数据提供的强大力量,可以更熟练地执行指定的任务来执行预测建模。共同人工智能(人工智能),这两个可以帮助人类创造从未被理解的解决方案,因为大量的历史数据和无限量的新信息。由于这个体积,有时会有不准确或变化,那么在这一点上会发生什么呢?
ML中的概念漂移是什么?
概念漂移机器语言(Machine Language)过时或不准确的数据会影响预测模型的创建。最大似然法通常基于映射生成其决定,而不考虑过去的数据可能不准确地代表未来预测的情况。
知识中的这些变量被称为隐藏背景,如果行为天生不可预测,则隐藏背景是不可能预测的。创业公司是出现在科技领域来解决隐藏的上下文问题。智力潜在差距的例子包括:
人类的驾驶行为,比如无视路权规则。
动荡经济中的政府支出。
气候危机期间的恶劣天气预测。
因此,分析师必须在影响决策之前发现这些差异,并相应地更新它们。目标应该是高可扩展性因为系统会随着时间而退化。如果人类改变了模式,理论模型会更准确地适应构建。分析师必须成为专家,在确定ML与其数据集的关系方面,比它自己更了解自己。
概念漂移有哪些类型?
概念漂移以多种方式显现。理解各种外观将允许分析师对信号做出更准确的反应在算法中。这些类型包括:
逐渐的概念漂移:像这样的变化通常有人类行为的根源。支出、应对网络安全漏洞和媒体消费都随着时间的推移而逐渐转变,使得历史数据一点点过时。
反复出现的概念漂移:即使变化是季节性可预测的,ML也可能无法准确预测事件。虽然黑色星期五每年都会发生,但曼梯·里不可能完全了解趋势。
瞬时概念漂移:不可预见的国际事件或全球影响将提供无数的异常值,如影响工作、旅行和购物行为的疫情。
随着数据在ML中变得更加丰富和复杂,其他类型的漂移可能会诞生——特别是人类的创造力和不可预测性。
什么是检测和评估方法?
目标是创建漂移感知系统它使用变化预测和预测误差分析来检测异常。除了测试模拟概念漂移的算法,如自适应窗口,应该更容易找到误导点。
检测到异常的分析师有几个选项来纠正数据,因此它不会扭曲任何更多的模型。其中大部分属于调整回溯数据、更新数据以说明权重和重要性,或者提高数据的准确性。
另一种选择是将ML无法检测到的预期变化合并到数据中。分析师发现习得差异可以实现这些知识来提高ML的准确性。不利的是,这也可能使它更加混乱。
在线学习有助于防止概念漂移,因为它允许ML实体在接收数据样本时进行更新。这是实时避免概念漂移的最可行的选择。
最小化ML中的概念漂移
减少ML中的概念漂移是可能的,并且随着分析师对人类行为理解的加深,这变得更加容易。随着ML的发展,人类可能会设计一种方法来消除概念漂移,但这是未知的。通过手动调整数据集,ML对人性的理解更加深刻和准确提高网络安全性,为复杂的问题创造解决方案,并对世界形成更全面的观点。