2022年6月10日上午，由统计与数学学院主办“Joint Control of Manufacturing and Onsite Microgrid System via Markov Decision Processes and Reinforcement Learning”学术报告采用线上腾讯会议的方式成功举办。本次讲座由密苏里州罗拉市密苏里科技大学胡文清博士主讲，学院部分领导、老师及研究生参加了此次讲座。
本次会议的主题为基于马尔可夫决策过程和强化学习的制造和现场微电网联合控制。首先，胡文清博士讲述在工作制造中，序列化的生产工序是一个较好的抽象和结构，可看成一个马氏链。生产系统有很多个机器，有一个缓冲器，和计算机的缓存同理，把机器分为五个状态，类似马氏链。机器运行久了容易出现死机现象，一般把修复时间建模成一个随机变量。
接下来，胡文清博士介绍了微电网相关知识，微电网部分要注意它的电量，工作状态可能是关或开的。工作状态分为风能电池、太阳能电池及发电机等多种状态。胡博士讲到工程应用不像数学严格，模型公式会有与传统数学稍不同的地方，比如微电网模型将环境放入变量里，因为天气会影响太阳能的高低。从数学意义严格讲，此变量不属于马氏链，但工程模型中却需要这个变量。此系统模型主要进行能源控制的过程，解决生产系统的能源控制问题，开启及关闭状态。
随后胡博士讲到将数学应用到实际中，和写论文不一样。比如风力发电机运行过程中，风速过快或过慢，发电机都会关闭。风速一定要控制在一定范围内，这与我们理论建模不一样。
最后，胡文清博士认为这个系统也可以看做是一个传统运维问题。有很多的状态，每步转移的能耗可以计算得出。计算能源及时间的运行，是强化学习或马尔科夫过程。计算每步的能源消耗，是一个数学问题。此过程是马尔科夫决策问题，概率论专家称之为动态规划。如果知道系统参数，此过程可用贝尔曼方程，得到最优解的条件控制。
报告后，胡文清博士就报告内容与广大师生进行了深入的互动交流与探讨，在场的学生认真学习报告精髓，进一步开拓了科研视野。
