关键词：
《A Reinforcement Learning Method for Multi-AGV Scheduling in Manufacturing》
ICIT/2018
1 摘要
这篇文章提出用强化学习求解多AGV流水车间调度问题。AGV在固定轨道上移动，在机器之间运输半成品（semi-finished product）。
目标：最小化平均工件延迟和总完工时间。
2 论文解读
强化学习算法应用于车间调度问题的难点：
（1）如何将生产调度问题转化为强化学习问题。
（2）如何保证调度问题的可行解可以通过该算法来学习。
2.1 问题描述
下图中，IJB表示等待加工的工件缓冲区，OJB表示已加工完的工件缓冲区，AGV参与的工作是将从工件从上一工序加工机器的OJB运输到下一工序加工机器的IJB。
2.2 强化学习要素定义
2.2.1 State Space S(状态空间 S)
状态空间由缓冲区-机器组合以及当前AGVs的位置决定的，对缓冲区OJBi-机器Mi组合的状态Si，Si的值定义为=1,2,3,4，分别表示为：
（1）机器Mi空闲且OJBi缓冲区为空.
（2）机器Mi正在加工OJBi缓冲区为空
（3）机器Mi空闲但OJBi缓冲区不为空
（4）机器Mi正在加工且OJBi缓冲区不为空
于是，整个状态空间定义为m+k（m个机器-缓冲对的状态，即上面的4个+k个AGV所在的位置）个长度的一位向量空间。
位置定义可见：
2.2.2 动作空间 A
对动作空间A=a1,a2,...,am-1,动作ai定义为AGV将一个工件从机器的OJB缓冲区转移至下一机器的IJB，所有工件 都需要被转移至下一机器直至经过所有机器，于是最小的转移次数为n*(m-1)。
2.2.3 状态转移（System Transition Times）
当AGV将一个工件放入下一机器的IJB时，这个AGV就进入下一个Transporting task,进行下一状态，假设AGV是在Mk的位置并且需要从Mi运输工件至mi+1传输作业，则该传输任务包括两个连续的AGV移动:
(1)第一个运动是AGV从其当前位置移动到Mi的输出缓冲区，以取走作业。
(2)第二个动作是将产品移动到Mi+1的IJB。
如果在Mi的OJBi中没有完成的作业，则第二移动可能被延迟。因此，该AGV必须在机器Mi处定时等待，直到Mi+1完成作业为止。d定义为AGV到达Mi的输出缓冲器之后的等待时间。作业过渡的时间计算如下 :
2.2.4 奖励函数
这篇文章它设计了两个奖励函数，它的策略是一部分AGV使用r1作为奖励函数,以最小化AGV等待时间，剩下一部分AGV使用r2作为奖励函数，以此来最小化工件等待时间，最终来引导最大完工时间的下降。
当AGV完成一个transfer task,它将转移下一个工件到另一个机器，下一机器定义为Mi,AT(i)定义为AGV到达Mi的OJB的时间，由于机器可以处于任何状态，AGV到达时将有两种可能的情况：
（1）Mi处于状态2,AGV必须等待直到机器完成工序。
（2）Mi处于状态3、4，AGV不会延迟直接转移下一工件。
在第二种情况下，当AGV到达时，存储的所有作业都等待了不同的持续时间，因此AGV将选择等待时间最长的工件，这篇文章添加了一条规则，即如果机器Mi处于状态2，则AGV将不会接这个任务。
于是，对r1:
其中，JW(i)是等待时间最长的作业的过程完成时间 ;
对r2:
论文阅读|《用支持向量机求解agv调度问题》(附带源码)
点击此处可获取源码 《ASupportVectorMachineApproachforAGVDispatching》InternationalConferenceonInnovationandManagement/ICIM/2018台湾清华大学工业工程与工程管理系1摘要 随着高度自动化生产线的发展，自动导引车(AGVS)在物料搬运系统(... 查看详情
论文阅读|《强化学习在加工时间可变的机器人流水车间调度中的应用》
《ReinforcementLearningforroboticflowshopschedulingwithprocessingtimevariations》InternationalJournalofProductionResearch/20211摘要 我们解决了一个机器人流水车间调度问题，其中两种零件类型在每组给定的专用机器上进行处理。单个机器人... 查看详情
论文阅读|《用蚁群算法求解作业车间与agvs无路径冲突的集成调度问题》
《AnAntColonyAlgorithm(ACA)forsolvingthenewintergratedmodelofjobshopschedulingandconflict-freeroutingofAGVs》Computer&IndustrialEngineering/20151摘要 问题： JSP+考虑无路径冲突的AGV 查看详情
agv调度优化系列论文解读与汇总
这篇博文主要用于记录AGV调度优化的相关文章，包括机器与AGV联合调度及各类车间或其他场景的AGV调度，此处主要总结中文文献，英文文献可见专栏AGV。由于中文文献大多较为简单，所以以下文献皆为... 查看详情
论文阅读|图神经网络+actor-critic求解静态jsp（end-to-enddrl）《基于深度强化学习的调度规则学习》(附带源码)
源码获取请点击此处更多强化学习内容可点击此处 《LearningtoDispatchforJobShopschedulingviaDeepReinforcemnetLearning》NeurIPS20201摘要优先调度规则（Prioritydispatchingrule,PDR）广泛用于求解JSSP问题，这篇文章通过端到端的深度强化学... 查看详情
tensorflow2.0|基于深度强化学习（dqn）实现动态柔性作业车间调度问题（dfjsp）(代码片段)
注：本文的python实现基于论文《Dynamicschedulingforflexiblejobshopwithnewjobinsertionsbydeepreinforcementlearning》论文详情可见：论文阅读|《用强化学习求解带插单的动态FJSP》其他相关阅读可见个人CSDN专栏之《论文阅读与实现》，... 查看详情
多智能体强化学习在智能工厂在线调度中应用
来源：RoboticsandComputer-IntegratedManufacturing/2021论文：Multi-agentreinforcementlearningforonlineschedulinginsmartfactories传统的制造系统采用集中式结构进行数据分析和订单调度，由于过于依赖中央控制器和有限的通信通道，效率低... 查看详情
tensorflow2.0实现|用python实现多智能体强化学习（marl）求解两agv流水车间联合（two-agv-fsp）调度问题(代码片段)
注：这篇文章与代码实现仅为个人实践小项目，没有出处！除此处代码展示，还可前往个人Github进行下载，下载地址：Aihong-Sun/MARL_for_Two_AGV_FSP:thisropeuseMulti-AgentReinforcementLearningtosolveTwoAGVsintergratedFl 查看详情
基于agv的物流作业车间调度优化
文献来源：IowaStateUniversity2018博士论文作者：ShiyangHuang《Optimizationofjobshopschedulingwithmaterialhandlingbyautomatedguidedvehicle》1论文简介这篇博士论文主要包含以下三项研究：第一个研究中的AGV调度问题，我们提出了一系列... 查看详情
基于agv的物流作业车间调度优化
文献来源：IowaStateUniversity2018博士论文作者：ShiyangHuang《Optimizationofjobshopschedulingwithmaterialhandlingbyautomatedguidedvehicle》1论文简介这篇博士论文主要包含以下三项研究：第一个研究中的AGV调度问题，我们提出了一系列... 查看详情
论文阅读强化学习与知识图谱关系路径发现
...easoning中文标题：深度路径：知识图谱推理的强化学习方法项目代码：GitHub@DeepPath论文下载：arxiv@1707.06690序言最近把之前写综述看的一百多篇paper整理了一 查看详情
论文阅读强化学习与知识图谱关系路径发现
...easoning中文标题：深度路径：知识图谱推理的强化学习方法项目代码：GitHub@DeepPath论文下载：arxiv@1707.06690序言最近把之前写综述看的一百多篇paper整理了一 查看详情
论文阅读强化学习与知识图谱关系路径发现
...easoning中文标题：深度路径：知识图谱推理的强化学习方法项目代码：GitHub@DeepPath论文下载：arxiv@1707.06690序言最近把之前写综述看的一百多篇paper整理了一 查看详情
基于agv的物流作业车间调度优化
文献来源：IowaStateUniversity2018博士论文作者：ShiyangHuang《Optimizationofjobshopschedulingwithmaterialhandlingbyautomatedguidedvehicle》1论文简介这篇博士论文主要包含以下三项研究：第一个研究中的AGV调度问题，我们提出了一系列... 查看详情
dqn学习使用混合规则的柔性车间agv实时调度（关注点：状态奖励函数的设置）
...出了一种基于混合规则的自适应深度强化学习(DRL)AGV实时调度方法，以最小化完工时间和延迟率为目标。2状态设置 主要考虑任务状态和AGV状态，如下：（1）任务数量，表示当前需要运输的任务总数。... 查看详情
作业车间问题的调度学习:使用图神经网络（gnn）和强化学习（rl）的表示和策略学习
相关研究：论文阅读|图神经网络+Actor-Critic求解静态JSP（End-to-EndDRL）《基于深度强化学习的调度规则学习》(附带源码)_太剧烈的快乐与太剧烈的悲哀是有相同之点的——同样地需要远离人群！-CSDN博客https://blog.... 查看详情
强化学习专栏——reinforcementlearning
...nforcementLearning》 1.1强化学习介绍 2论文阅读总结 3论文编程实现注：持续更新中。。。 查看详情
agv调度系统学习(代码片段)
开源AGV调度系统软件AgvDispatch，作者同样使用了开源的日志管理库spdlog，还有开源的数据库管理库SQLite。使用单例实现了1-地图管理类-MapManager2-Agv管理类-AgvManager3-任务管理类-TaskManager4-用户管理类-UserManager5-消息处理类-Msg... 查看详情