来源：专业知识
【新智元简介】数据分析是现在必备技能之一。传统上使用静态的算法或规则进行数据分析，但在真实场景中，我们经常面临复杂的交互环境，因此如何学习更好的策略是一个非常实际的问题。幸运的是，强化学习可以成为解决这个问题的有效方法。新加坡南洋理工大学的学者在TKDE发表了《深度强化学习数据处理与分析》篇综合论文，对最近的工作进行了综合评述，重点是利用DRL改进数据处理和分析。
数据处理和分析是基本的和普遍的。算法在数据处理和分析中起着至关重要的作用，许多算法是通过将启发式算法与人类知识和经验的一般规则相结合来设计的，以提高其有效性。
近年来，强化学习，尤其是深度强化学习(DRL)在许多领域得到了越来越多的探索和利用，因为与静态设计的算法相比，它可以在复杂的交互环境中学习到更好的策略。在这一趋势的推动下，我们对近期的工作进行了全面回顾，重点是通过使用DRL改进数据处理和分析。
首先，我们介绍了DRL的核心概念、理论和方法。接下来，我们将讨论DRL在数据库系统上的部署，并从各个方面促进数据处理和分析，包括数据组织、调度、调优和索引。
然后，我们调查了DRL在数据处理和分析中的应用，从数据准备和自然语言处理到医疗保健和金融技术。
最后，我们讨论了在数据处理和分析中使用DRL的重要挑战和未来的研究方向。
论文链接：https://arxiv.org/abs/2108.04526
在大数据时代，数据处理和分析是基本的，无处不在，对于许多正在进行数字化之旅以改善和转变其业务和运营的组织来说，这一点至关重要。在提取洞察之前，数据分析通常需要其他关键操作，如数据采集、数据清洗、数据集成、建模等。
大数据可以在医疗保健和零售等许多行业释放巨大的价值创造。然而，数据的复杂性(例如，高容量、高速度和高多样性)给数据分析带来了许多挑战，因此很难找到有意义的见解。为了应对这一挑战，促进数据处理和分析的效率和效果，研究人员和实践者设计了大量的算法和技术，也开发了大量的学习系统，如Spark MLlib和拉飞奇。
为了支持快速的数据处理和精确的数据分析，大量的算法依赖于基于人类知识和经验开发的规则。例如，“最短作业优先”是一种调度算法，它选择执行时间最短的作业进行下一次执行。然而，当工作负载特性没有被充分利用时，其性能与基于学习的调度算法相比较差。另一个例子是计算机网络中的分组分类，它将分组与一组规则中的规则进行匹配。一种解决方案是通过使用人工调整的启发式分类来构建决策树。具体来说，启发式算法是为一组特定的规则而设计的，因此它可能无法很好地处理其他具有不同特征的工作负载。
我们观察到现有算法的三个局限性：
首先算法是次优的。数据分布等有用信息可能会被规则忽略或利用不足。其次，算法缺乏自适应能力。为特定工作负载设计的算法不能在另一个不同的工作负载中很好地执行。第三，算法设计是一个耗时的过程。开发者要花很多时间去尝试很多规则，才能找到一个有经验的有效的规则。
基于学习的算法也用于数据处理和分析。常规的学习方法有两种：3360监督学习和强化学习。他们通过直接优化绩效目标来实现更好的绩效。监督学习通常需要一组丰富的高质量标记训练数据，这些数据可能很难获得，也很有挑战性。例如，配置调优对于优化数据库管理系统(DBMS)的整体性能非常重要。在离散和连续的空间中，可能有数百个相互关联的调音旋钮。此外，不同的数据库实例、查询工作负载和硬件特性使得数据收集不可用，尤其是在云环境中。
与监督学习相比，强化学习具有更好的性能，因为它使用试错搜索，并且需要较少的训练样本来找到云数据库的良好配置。
另一个具体的例子是查询处理中的查询优化。数据库优化器的任务是为查询找到最佳的执行计划，从而降低查询成本。传统的优化器通常列举许多候选方案，并使用成本模型来寻找成本最低的方案。优化过程可能缓慢且不准确。
不依赖于不精确的成本模型，深度强化学习(DRL)方法通过与数据库交互(例如，改变表连接顺序)来改进执行计划。
当查询被发送到代理(即DRL优化器)时，代理通过描述基本信息(如被访问的关系和表)来生成状态向量。以状态为输入，agent使用神经网络生成动作集的概率分布，动作集可以包含所有可能的连接操作作为潜在动作。
每个操作代表一对表上的部分连接计划。执行操作后，状态将会更新。在采取可能的行动后，生成一个完整的计划，然后DBMS执行该计划以获得奖励。
>在这个查询优化问题中，奖励可以根据实际延迟计算。在有奖励信号的训练过程中，agent可以改进策略，产生更高奖励的更好的连接排序（即延迟更少）。
查询优化的DRL工作流程
强化学习（RL）专注于学习在环境中做出智能的行动。RL算法在探索和开发的基础上，通过环境反馈来改进自身。在过去的几十年里，RL在理论和技术方面都取得了巨大的进步。
值得注意的是，DRL结合了深度学习（DL）技术来处理复杂的非结构化数据，并被设计用于从历史数据中学习和自我探索，以解决众所周知的困难和大规模问题（如AlphaGo）。
近年来，来自不同社区的研究人员提出了DRL解决方案，以解决数据处理和分析中的问题。我们将现有的使用DRL的作品从系统和应用两个角度进行分类。
从系统的角度来看，我们专注于基础研究课题，从一般的，如调度，到系统特定的，如数据库的查询优化。我们还应当强调它是如何制定的马尔可夫决策过程,并讨论如何更有效地解决DRL问题与传统方法相比。由于实际系统中的工作负载执行和数据采集时间比较长，因此采用了采样、仿真等技术来提高DRL训练效率。
从应用的角度来看，我们将涵盖数据处理和数据分析中的各种关键应用，以提供对DRL的可用性和适应性的全面理解。许多领域通过采用DRL进行转换，这有助于学习有关应用的领域特定知识。
在这次综述中，我们的目标是提供一个广泛和系统的回顾，在解决数据系统、数据处理和分析问题中使用DRL的最新进展。
RL技术分类
参考资料：
<1> J. Manyika, M. Chui, B. Brown, J. Bughin, R. Dobbs, C. Roxburgh, A. Hung Byers et al., Big data: The next frontier for innovation, competition, and productivity. McKinsey Global Institute, 2011.
<2> X. Meng, J. Bradley, B. Yavuz, E. Sparks, S. Venkataraman, D. Liu, J. Freeman, D. Tsai, M. Amde, S. Owen et al., “Mllib: Machine learning in apache spark,” The Journal of Machine Learning Research, vol. 17, no. 1, pp. 1235–1241, 2016.
<3> W.Wang, J. Gao, M. Zhang, S.Wang, G. Chen, T. K. Ng, B. C. Ooi, J. Shao, and M. Reyad, “Rafiki: machine learning as an analytics service system,” VLDB, vol. 12, no. 2, pp. 128–140, 2018.
