导读：
在复杂海洋环境中，海洋船舶（Marine Surface Vehicle, MSV）的远程操控与自主运行逐渐从单一自主控制模式扩展至人机协同（Human-in-the-loop, HITL）控制框架。在该架构下，人类操作员通过岸基通信网络向船舶提供高层监督指令，而底层控制任务由船载自动驾驶系统自主完成。然而，由于海洋通信依赖卫星或远程无线链路，系统不可避免地暴露于网络攻击与不可靠通信环境之中，其中以拒绝服务攻击（Denial-of-Service, DoS）最具代表性。DoS攻击会导致控制指令或系统状态信息在传输过程中中断或延迟，使得MSV难以及时获取有效控制输入，从而引发航向偏差累积、控制性能退化甚至闭环不稳定问题。与此同时，海洋环境中的模型不确定性、非线性水动力扰动以及外部海况变化进一步加剧了控制系统设计难度，使得传统基于精确模型或固定增益的控制方法难以满足高可靠性需求。针对上述问题，本研究提出一种基于强化学习（Reinforcement Learning, RL）与人机协同架构的抗攻击自适应控制方法，面向HITL框架下MSV航向保持任务，在存在DoS攻击与动态不确定性的情况下，实现系统稳定性与控制性能的有效提升。
一、理论创新
1). 构建面向远程海洋任务的HITL系统框架，其中人类操作员提供航行参考与高层决策指令，船载自动驾驶系统负责航向保持等低层控制任务执行。该结构将人类决策能力与自动控制能力解耦，使系统具备更强的工程适应性与任务灵活性，同时降低对全自主建模精度的依赖。
2). 针对岸基通信链路易受DoS攻击影响的问题，设计一种混合阈值事件触发机制（Hybrid Threshold Event-Triggered Mechanism, HTETM）。该机制通过检测通信状态与触发条件，在网络正常时按需发送控制信号，在发生DoS攻击期间仅保留最近一次有效控制指令，从而避免频繁通信失败导致的系统性能退化，并显著降低通信负载。
3). 针对MSV非线性与水动力不确定性问题，引入Actor–Critic强化学习框架：首先，Critic网络用于在线逼近代价函数，实现系统性能评估；其次，Actor网络用于生成航向控制输入，实现策略优化；最后，通过在线学习机制实现对未知动力学与扰动的自适应补偿。同时，引入参数投影算子（projection operator）约束神经网络权重更新过程，保证学习过程中参数有界性，从而增强系统稳定性与可实现性。
二、实验结果
理论分析表明，在HITL结构、HTETM通信机制以及Actor–Critic学习框架的共同作用下，闭环系统所有信号满足半全局一致最终有界性，从而保证系统在存在DoS攻击与模型不确定性情况下仍具有稳定运行能力。
图1 HITL框架的示意图
数值仿真与对比实验进一步验证了所提方法的有效性。如图1所示，本文构建了一种面向海洋船舶远程操控任务的HITL架构。该系统由岸基控制中心、人类操作员、通信网络以及船载自动驾驶系统与MSV本体共同组成，形成典型的闭环远程控制体系。在该架构中，人类操作员位于岸基控制站，通过上层决策生成航向或路径参考指令，并通过卫星通信或远距离无线链路发送至船载自动驾驶系统。船载控制器接收来自岸基的高层指令后，结合本地传感器测量信息与控制算法，完成航向保持与轨迹跟踪等低层控制任务，从而实现MSV的自主执行与稳定航行。图2–图4表明，在DoS攻击与模型不确定性共同作用下，所提出方法仍能够保证系统误差的快速收敛与轨迹一致性维持。相比现有方法，本文策略在动态响应速度与稳态跟踪精度方面表现出更强的鲁棒性与稳定性。
图2所提算法与基准算法的控制输出：(a)无攻击；(b)存在DoS攻击
图3所提算法与基准算法的跟踪误差：(a)无攻击；(b)存在DoS攻击
图4所提算法与基准算法的控制输入：(a)无攻击；(b)存在DoS攻击
三、研究意义
该研究为复杂海洋环境下基于人机协同的海洋船舶抗攻击控制问题提供了一个创新理论框架。该框架通过引入人机协同反馈机制，将强化学习自适应控制与面向拒绝服务攻击的HTETM机制融合，实现了通信调度与航向控制的协同设计，解决了受限通信条件下MSV远程控制问题。本研究不仅为通信受限与存在网络攻击的海洋远程控制系统提供了关键技术支撑，也为人机协同框架下的智能船舶抗攻击控制设计提供了可推广的理论基础，对推动复杂海洋系统的安全自主运行与工程化应用具有重要的学术价值与现实意义。
论文信息：
S. Liu, and Ge Guo, “Human-in-the-loop reinforcement learning-based neural resilient control for autopilot operation of marine surface vehicles”, Control Engineering Practice, vol. 175, 107096, Oct 2026.
