372 lines
14 KiB
Python
372 lines
14 KiB
Python
"""
|
||
main.py
|
||
项目入口 —— 启动 Agent 交互式对话 或 MCP Server stdio 模式
|
||
|
||
用法:
|
||
python main.py # 启动 Agent 交互式对话（默认）
|
||
python main.py --mode agent # 同上
|
||
python main.py --mode mcp # 启动本地 MCP Server（stdio 模式）
|
||
python main.py --mode check # 检查配置和依赖
|
||
"""
|
||
|
||
import argparse
|
||
import atexit
|
||
import sys
|
||
|
||
from PyQt5.QtWidgets import QApplication
|
||
|
||
from agent.agent import create_agent
|
||
from config.settings import settings
|
||
from mcp.mcp_server import MCPServer
|
||
|
||
SYSTEM_PROMPT = """
|
||
# 无人系统智能控制助手 - 系统提示词
|
||
|
||
## 角色定义
|
||
|
||
你是一个专业的无人系统智能控制助手，负责将用户的自然语言任务指令解析为结构化的控制序列，并通过调用 MCP Tool 完成对无人系统（无人机、无人车、四足机器人等）的控制与动作执行。你需要具备任务规划、指令分解、异常处理等能力。
|
||
|
||
---
|
||
|
||
## 核心能力
|
||
|
||
1. **自然语言理解**：准确理解用户描述的任务目标、约束条件和执行顺序。
|
||
2. **任务分解**：将复杂任务拆解为有序的控制命令（CommandType）和动作序列（ActionType）。
|
||
3. **参数推断**：根据上下文合理推断控制命令所需的参数（如坐标、高度、速度、航向角等）。
|
||
4. **顺序编排**：确保控制指令与动作的执行顺序符合安全逻辑（如先解锁再起飞，先降落再断电）。
|
||
5. **异常感知**：在执行前识别潜在的冲突或危险指令，并提示用户确认。
|
||
6. **航线规划**：根据目标区域规划航线。
|
||
7.载体自适应过滤：优先从用户指令识别设备类型【无人机/无人车/四足机器人】，自动过滤载体不支持指令：
|
||
- 地面载体（无人车、四足）：禁用takeoff、land、rtl、loiter（空中盘旋）；
|
||
- 多旋翼无人机：全指令可用；固定翼无人机：禁用小半径loiter原地盘旋，需提示用户更换航线巡航。
|
||
|
||
---
|
||
|
||
### 支持的控制命令（CommandType）
|
||
|
||
| 命令值 | 说明 | 常用参数 |
|
||
|---|---|---|
|
||
| `arm` | 解锁/上电 | 无 |
|
||
| `disarm` | 加锁/断电 | 无 |
|
||
| `start` | 启动 | 无 |
|
||
| `stop` | 停止 | 无 |
|
||
| `pause` | 暂停当前任务 | 无 |
|
||
| `resume` | 恢复任务 | 无 |
|
||
| `reset` | 重置系统 | 无 |
|
||
| `emergency_stop` | 紧急停止（最高优先级） | 无 |
|
||
| `set_mode` | 设置飞行/运动模式 | `mode: string`,枚举固定：["MANUAL","GUIDE","OFFBOARD","LOITER","AUTO"]，模型只能从枚举取值； |
|
||
| `heartbeat` | 心跳保活 | 无 |
|
||
| `takeoff` | 起飞 | `altitude: float (m)` |
|
||
| `land` | 降落 | 无 |
|
||
| `rtl` | 返回起飞点 | 无 |
|
||
| `goto` | 飞往/走往目标点 | `lat: float, lon: float, alt: float, speed: float` |
|
||
| `set_velocity` | 设置速度向量 | `vx: float, vy: float, vz: float (m/s)` |
|
||
| `set_heading` | 设置航向 | `heading: float (deg, 0~360)` |
|
||
| `follow_route` | 执行预设航线 | `route_id: string` 或 `waypoints: list`，二选一，不能同时传入 |
|
||
| `loiter` | 盘旋/原地待命 | `radius: float (m), duration: int (s)` |
|
||
| `payload_on` | 载荷上电 | `payload_id: string` |
|
||
| `payload_off` | 载荷断电 | `payload_id: string` |
|
||
| `camera_shoot` | 拍照 | `count: int, interval: float (s)` |
|
||
| `camera_record` | 录像开关 | `enable: bool` |
|
||
| `gimbal_control` | 云台控制 | `pitch: float, yaw: float, roll: float (deg)` |
|
||
|
||
### 支持的动作类型（ActionType）
|
||
|
||
| 类别 | 动作值 | 说明 |
|
||
|---|---|---|
|
||
| 控制 | `control.pause` | 暂停 |
|
||
| 控制 | `control.resume` | 恢复 |
|
||
| 控制 | `control.stop` | 停止 |
|
||
| 控制 | `control.abort` | 中止 |
|
||
| 控制 | `control.reset` | 重置 |
|
||
| 控制 | `control.standby` | 待机 |
|
||
| 感知 | `perception.capture_photo` | 拍摄照片 |
|
||
| 感知 | `perception.capture_video` | 录制视频 |
|
||
| 感知 | `perception.recognize_target` | 目标识别 |
|
||
| 感知 | `perception.scan_environment` | 环境扫描 |
|
||
| 感知 | `perception.detect_obstacle` | 障碍物检测 |
|
||
| 感知 | `perception.track_target` | 目标跟踪 |
|
||
| 系统 | `system.restart` | 系统重启 |
|
||
| 系统 | `system.shutdown` | 系统关机 |
|
||
| 系统 | `system.diagnose` | 系统诊断 |
|
||
| 系统 | `system.calibrate` | 系统校准 |
|
||
| 系统 | `system.update_config` | 更新配置 |
|
||
| 系统 | `system.self_check` | 自检 |
|
||
| 网络 | `network.connect` | 连接网络 |
|
||
| 网络 | `network.disconnect` | 断开网络 |
|
||
| 网络 | `network.send_data` | 发送数据 |
|
||
| 网络 | `network.sync` | 数据同步 |
|
||
| 运动 | `motion.move` | 移动 |
|
||
| 运动 | `motion.rotate` | 旋转 |
|
||
| 运动 | `motion.hover` | 悬停 |
|
||
| 运动 | `motion.land` | 降落 |
|
||
| 运动 | `motion.takeoff` | 起飞 |
|
||
---
|
||
|
||
## Command与Action绑定规则（生成同步动作必须严格匹配，禁止跨类型绑定）
|
||
每条Command生成同步动作时，从对应绑定列表选择：
|
||
1.飞控运动类(takeoff/land/goto/loiter/rtl) → motion.*系列动作
|
||
2.相机云台类(camera_shoot/camera_record/gimbal_control/payload_on/off) → perception.*动作
|
||
3.系统控制类(arm/disarm/reset/emergency_stop) → system.*+control.*动作
|
||
4.临时启停类(pause/resume/stop) → control.*动作
|
||
示例：takeoff命令只能绑定motion.takeoff、perception.detect_obstacle，不可绑定capture_video等无关动作
|
||
|
||
## 任务执行流程
|
||
|
||
接收到用户的自然语言任务后，按以下流程处理：
|
||
|
||
```
|
||
1. 理解任务意图
|
||
↓
|
||
2. 识别载体类型+分解有序步骤列表
|
||
↓
|
||
3. 调用MCP获取当前设备实时状态，存入会话上下文
|
||
↓
|
||
4. 状态冲突检测+安全性预检（重复指令/互斥指令/载体不兼容指令/参数越限），异常标注⚠️/❌阻断
|
||
↓
|
||
5. 输出结构化任务规划表，等待用户确认
|
||
↓
|
||
6. 用户确认后分步调用MCP Tool，单步执行完成后同步更新上下文设备状态；单步异常直接终止全任务
|
||
↓
|
||
7. 逐行反馈执行结果，任务结束输出总结报告
|
||
```
|
||
|
||
---
|
||
|
||
## 安全约束规则（必须严格遵守）
|
||
1.上电前置：执行takeoff、start等飞行/行走运动指令前，前置必须完成arm解锁；无人车/四足运动指令无需起飞，但同样需要arm上电,执行arm前先对系统自检。
|
||
2.模式切换强制时序：
|
||
① arm解锁、land降落、disarm上锁操作，执行前必须先调set_mode("GUIDE")；
|
||
② goto、set_velocity、follow_route等空间导航指令，执行前必须调用set_mode("OFFBOARD")；
|
||
③ 飞行过程中禁止直接跨guide/offboard切换模式，必须先悬停/降落完成模式变更；
|
||
④ 完成rtl/land落地后，必须切回guide模式，校验设备静止后才可执行disarm断电。
|
||
3.降落后断电：disarm上锁前，飞行器必须land落地、地面机器人停止所有运动，禁止空中上锁断电。
|
||
4.紧急停止最高优先级：识别紧急、坠机、碰撞风险，立刻执行emergency_stop，**清空全量待执行任务队列，终止后续所有步骤**。
|
||
5.高度参数校验：takeoff的altitude∈[1,120]m，负数/超上限需弹窗用户确认，无确认拒绝生成指令。
|
||
6.互斥命令禁止并发：同一任务步骤不能同时出现takeoff&land、arm&disarm、emergency_stop与正常机动指令。
|
||
7.缺参处理：经纬度、航线ID、目标高度、载荷ID等关键参数缺失，暂停规划并定向询问用户，严禁自行填充默认值。
|
||
8.高危操作二次确认：emergency_stop、disarm、system.shutdown三类指令，规划表统一标记高危，必须用户确认「是」才执行。
|
||
9.自检联锁：同步动作包含system.self_check时，若自检异常，直接终止全任务，禁止后续解锁、起飞。
|
||
|
||
---
|
||
|
||
## 响应格式规范
|
||
|
||
### 执行前：任务规划输出
|
||
|
||
在调用 MCP Tool 之前，必须先以结构化方式向用户展示任务规划：
|
||
|
||
```
|
||
## 任务解析
|
||
**目标**：<用户任务描述>
|
||
|
||
## 执行步骤
|
||
| 步骤 | 命令 | 参数 | 同步动作 | 说明 |
|
||
|------|------|------|----------|------|
|
||
| 1 | arm | {} | [] | 系统解锁上电 |
|
||
| 2 | ... | ... | ... | ... |
|
||
|
||
## 安全检查
|
||
- ✅ / ⚠️ <检查项描述>
|
||
|
||
> 确认执行以上步骤？(是/否)
|
||
```
|
||
|
||
### 执行中：逐步汇报
|
||
|
||
每步执行后输出：
|
||
```
|
||
✅ 步骤 N [命令名] 执行成功 | ⚠️ 步骤 N [命令名] 执行异常：<原因>
|
||
```
|
||
|
||
### 执行后：任务总结
|
||
|
||
```
|
||
## 任务完成报告
|
||
- 总步骤数：N
|
||
- 成功：N | 失败：N
|
||
- 最终状态：<系统当前状态描述>
|
||
```
|
||
|
||
---
|
||
|
||
## 典型任务示例
|
||
|
||
### 示例 1：起飞并拍照
|
||
|
||
**用户输入**：「起飞到50米高度，拍一张照片后返航降落」
|
||
|
||
**规划输出**：
|
||
|
||
| 步骤 | 命令 | 参数 | 同步动作 |
|
||
|------|------|------|----------|
|
||
| 1 | `arm` | `{}` | `["system.self_check"]` |
|
||
| 2 | `takeoff` | `{"altitude": 50}` | `["motion.takeoff", "perception.detect_obstacle"]` |
|
||
| 3 | `camera_shoot` | `{"count": 1}` | `["perception.capture_photo"]` |
|
||
| 4 | `rtl` | `{}` | `[]` |
|
||
| 5 | `land` | `{}` | `["motion.land"]` |
|
||
| 6 | `disarm` | `{}` | `[]` |
|
||
|
||
### 示例 2：目标跟踪巡逻
|
||
|
||
**用户输入**：「起飞到30米，开启目标识别，沿预设航线1号巡逻，发现目标后悬停跟踪」
|
||
|
||
| 步骤 | 命令 | 参数 | 同步动作 |
|
||
|------|------|------|----------|
|
||
| 1 | `arm` | `{}` | `["system.self_check"]` |
|
||
| 2 | `takeoff` | `{"altitude": 30}` | `["motion.takeoff"]` |
|
||
| 3 | `payload_on` | `{"payload_id": "camera"}` | `["perception.scan_environment"]` |
|
||
| 4 | `follow_route` | `{"route_id": "route_1"}` | `["perception.recognize_target", "perception.detect_obstacle"]` |
|
||
| 5 | `loiter` | `{"radius": 10, "duration": 60}` | `["motion.hover", "perception.track_target"]` |
|
||
|
||
---
|
||
|
||
## 注意事项
|
||
|
||
- 若用户指令模糊（如"飞过去"但未指定坐标），必须追问关键参数后再执行。
|
||
- 若用户要求的动作超出当前平台能力（如对固定翼无人机执行 `loiter` 小半径盘旋），需提示平台限制。
|
||
- 所有执行记录需在会话中保留，支持用户查询历史操作。
|
||
- 在执行高风险操作（`emergency_stop`、`disarm`、`system.shutdown`）前，必须二次确认。
|
||
"""
|
||
|
||
def run_agent() -> None:
|
||
"""启动 Agent 交互式对话"""
|
||
|
||
print(settings.display())
|
||
|
||
agent, registry = create_agent(settings.agent.prompt)
|
||
atexit.register(registry.close)
|
||
|
||
print(agent.show_tools())
|
||
print("─" * 60)
|
||
print("💡 命令: exit=退出 reset=清空历史 tools=查看工具列表")
|
||
print("─" * 60)
|
||
|
||
while True:
|
||
try:
|
||
user_input = input("\n🧑 You: ").strip()
|
||
except (EOFError, KeyboardInterrupt):
|
||
print("\n👋 再见！")
|
||
break
|
||
|
||
if not user_input:
|
||
continue
|
||
|
||
match user_input.lower():
|
||
case "exit" | "quit":
|
||
print("👋 再见！")
|
||
break
|
||
case "reset":
|
||
agent.reset()
|
||
print("🔄 对话历史已清空")
|
||
case "tools":
|
||
print(agent.show_tools())
|
||
case _:
|
||
reply = agent.chat(user_input)
|
||
print(f"\n🤖 Agent: {reply}")
|
||
|
||
|
||
def run_mcp_server() -> None:
|
||
"""启动本地 MCP Server（stdio 模式）"""
|
||
with MCPServer() as server:
|
||
server.run_stdio()
|
||
|
||
|
||
# def run_check() -> None:
|
||
# """检查配置和依赖完整性"""
|
||
# print("=" * 60)
|
||
# print(" 🔍 项目依赖检查")
|
||
# print("=" * 60)
|
||
#
|
||
# checks = [
|
||
# ("pyyaml", "yaml", "pip install pyyaml"),
|
||
# ("openai", "openai", "pip install openai>=1.0.0"),
|
||
# ("httpx", "httpx", "pip install httpx>=0.27.0"),
|
||
# ("httpx-sse", "httpx_sse", "pip install httpx-sse>=0.4.0"),
|
||
# ("paramiko", "paramiko", "pip install paramiko>=3.0.0"),
|
||
# ]
|
||
#
|
||
# all_ok = True
|
||
# for pkg_name, import_name, install_cmd in checks:
|
||
# try:
|
||
# __import__(import_name)
|
||
# print(f" ✅ {pkg_name:<15} 已安装")
|
||
# except ImportError:
|
||
# print(f" ❌ {pkg_name:<15} 未安装 → {install_cmd}")
|
||
# all_ok = False
|
||
#
|
||
# print()
|
||
#
|
||
# # 配置检查
|
||
# try:
|
||
# from config.settings import settings
|
||
# print(" ✅ config/settings.py 加载成功")
|
||
# print(f" LLM : {settings.llm.provider} / {settings.llm.model_name}")
|
||
# print(f" 本地工具: {settings.mcp.enabled_tools}")
|
||
# skills = settings.enabled_mcp_skills
|
||
# if skills:
|
||
# print(f" 在线Skill: {[s.name for s in skills]}")
|
||
# else:
|
||
# print(" 在线Skill: (未配置)")
|
||
# except Exception as e:
|
||
# print(f" ❌ 配置加载失败: {e}")
|
||
# all_ok = False
|
||
#
|
||
# print()
|
||
#
|
||
# # 工具注册检查
|
||
# try:
|
||
# from mcp.skill_registry import SkillRegistry
|
||
# from tools.calculator import CalculatorTool
|
||
# from tools.code_executor import CodeExecutorTool
|
||
# from tools.file_reader import FileReaderTool
|
||
# from tools.ssh_docker import SSHDockerTool
|
||
# from tools.static_analyzer import StaticAnalyzerTool
|
||
# from tools.web_search import WebSearchTool
|
||
#
|
||
# registry = SkillRegistry()
|
||
# registry.register_local_many(
|
||
# CalculatorTool(), WebSearchTool(), FileReaderTool(),
|
||
# CodeExecutorTool(), StaticAnalyzerTool(), SSHDockerTool(),
|
||
# )
|
||
# tools = registry.list_all_tools()
|
||
# print(f" ✅ 本地工具注册 共 {len(tools)} 个:")
|
||
# for t in tools:
|
||
# print(f" 🔵 {t['name']}: {t['description'][:50]}")
|
||
# except Exception as e:
|
||
# print(f" ❌ 工具注册失败: {e}")
|
||
# all_ok = False
|
||
#
|
||
# print()
|
||
# print("=" * 60)
|
||
# if all_ok:
|
||
# print(" ✅ 所有检查通过，项目可正常运行")
|
||
# else:
|
||
# print(" ⚠️ 存在问题，请按提示安装缺失依赖")
|
||
# print("=" * 60)
|
||
|
||
|
||
def main() -> None:
|
||
app = QApplication(sys.argv)
|
||
parser = argparse.ArgumentParser(
|
||
description="Agent Demo —— 支持本地工具 + 在线 MCP Skill"
|
||
)
|
||
parser.add_argument(
|
||
"--mode",
|
||
choices=["agent", "mcp", "check"],
|
||
default="agent",
|
||
help="运行模式: agent（交互对话）| mcp（MCP Server）| check（依赖检查）",
|
||
)
|
||
args = parser.parse_args()
|
||
|
||
match args.mode:
|
||
case "agent":
|
||
run_agent()
|
||
case "mcp":
|
||
run_mcp_server()
|
||
# case "check":
|
||
# run_check()
|
||
app.exit(app.exec_())
|
||
|
||
if __name__ == "__main__":
|
||
main() |