影印版序

本书作者德梅萃·P.博赛卡斯(Dimitri P.Bertsekas)是美国麻省理工学院教授和亚利桑那州立大学教授，也是美国工程院院士。本书是作者近年来相关研究成果的总结。

    强化学习，也称为近似动态规划、神经元动态规划。本书的内容围绕强化学习中的策略迭代这一核心概念展开。策略迭代指从某个策略出发，不断产生改进策略的过程。如果仅仅生成一步改进策略，就称为策略前展（Rollout）。大量经验表明，策略前展是当前用得最广、最为可靠的强化学习方法之一。主要内容： 第1章为动态规划原理； 第2章为策略前展与策略改进； 第3章为专用策略前展算法； 第4章为值和策略的学习； 第5章为无限时间分布式和多智能体算法。

横空出世的围棋软件AlphaZero算法对本书有很大影响。本书内容同样基于策略迭代、值网络和策略网络的神经网络近似表示、并行与分布式计算和前瞻最小化约简技术的核心框架构建，并对算法的适用范围做了拓展。本书的特色在于给出了分布式计算和多智能体系统框架下的强化学习策略改进计算的效率提升技术，建立了一步策略改进策略前展方法同控制系统中广泛使用的模型预测控制（MPC）设计方法之间的联系，并描述了策略前展方法在复杂离散和组合优化问题方面的应用。

　　通过阅读本书，读者可以了解强化学习中的策略迭代，特别是策略前展方法在分布式和多智能体框架下的最新进展和应用。本书可用作人工智能或系统与控制科学等相关专业的高年级本科生或研究生的教材，也适合开展相关研究工作的专业技术人员作为参考书。

赵千川

                                        清华大学自动化系教授

                                        清华大学智能与网络化系统研究中心主任

                                        2021年10月