AI 工作台

Automa Agent 内置 AI 工作台（AI 仪表盘），将大语言模型与桌面自动化能力深度整合：在对话中设计工作流、驱动 BizApi 执行、分析截图，并通过钉钉 / 飞书等通道接收与回复消息。

功能概览

模块	说明
多模型接入	Ollama、DeepSeek、Cursor，以及自定义 OpenAI 兼容 Provider
内置助手	工作流设计、自动执行、桌面自动化、通用对话四类 System Prompt
BizApi 自动执行	自然语言 → API 调用计划 → 多轮执行与结果回灌
消息通道	钉钉 Stream、飞书 WebSocket 长连接，会话上下文持久绑定
多模态	图片附件、截屏推送、视觉模型截图分析
语音输入	工作台语音流式录入；钉钉语音消息自动转写
执行规则	消息匹配后自动触发工作流节点（Hook）
AI 定时器	延迟或 Cron 触发 BizApi 调用链
伙伴配置	登记外部系统 Base URL，供助手跨系统协作

工作台界面

AI 工作台位于桌面应用 AI 仪表盘，主要区域包括：

• 会话列表：多会话并行，历史消息持久化至 SQLite
• Provider 与模型：顶栏切换推理后端、Base URL、模型与 API 密钥
• 思考模式：可选开启 think，模型推理过程合并展示
• 助手选择：绑定 System Prompt（slug），影响对话边界与输出格式
• 附件发送：支持图片等多模态附件（取决于 Provider 是否支持 Vision）
• 通道管理：配置、启停钉钉 / 飞书 Stream 监听
• 执行规则：按消息内容匹配后自动运行指定执行器节点

内置助手

助手	slug 类别	用途
工作流设计助手	workflow	讨论画布节点、JSON 导出、变量与分支，内嵌执行器节点说明
自动执行助手	automation	将意图转为 BizApi 调用计划，支持多轮 observe → act → feedback
桌面与浏览器自动化助手	automation	编写 automa / handler 页面脚本，内嵌类型定义
通用助手	general	默认对话，工作流与自动化泛问

切换助手即切换会话首条 system 消息。钉钉等通道可按 slug 绑定，保证机器人回复风格一致。

自动执行配置

在 AI 仪表盘 → 执行规则 中配置消息匹配与 Hook；自动执行助手的多轮 BizApi 循环由主进程 runBizApiAutoexecLoop 驱动。

模型 Provider

内置 Provider

Provider	说明
Ollama	本地部署，默认 http://127.0.0.1:11434，适合离线推理
DeepSeek	云端 API，支持文本与部分视觉模型（如 DeepSeek-V4 系列）
Cursor	接入 Cursor 后端（需相应凭据）

自定义 OpenAI 兼容 Provider

支持任意实现 OpenAI Chat Completions 协议的网关，例如 OpenRouter、SiliconFlow、OneAPI、vLLM、LM Studio 等。

配置步骤：

1. AI 工作台 → 自定义 Provider 中新增名称与 Base URL
2. 勾选是否支持图片（image_url 多模态）
3. 在顶栏 密钥 中按 Provider 分别保存 API Key（切换 Provider 不会互相覆盖）

自定义 Provider 的模型列表通过 /v1/models 拉取；对话走 /v1/chat/completions。

BizApi 自动执行

自动执行助手 的核心能力：把用户自然语言意图转化为可执行的 BizApi 调用序列。

执行流程

用户消息 → 模型输出 bizapi-exec 计划 → 主进程顺序执行 API
         → 结果压缩回灌模型 → 模型总结或输出下一步计划（最多 5 轮）

关键约定

• 参数不齐或操作有风险时，模型只输出 bizapi-ask 询问，同轮不执行
• 自动执行链使用 chatAiCompleteApi 获取完整回复，禁止使用 *StreamApi
• 执行结果中的 data.content 等正文字段会完整回灌，供模型基于真实数据总结
• 典型调用：截图（captureMonitorApi）、图像分析（chatAiCompleteApi）、启停工作流、读写文件等

示例场景

用户意图	典型 BizApi 链
截屏并分析屏幕内容	captureMonitorApi → chatAiCompleteApi
列出并启动某工作流	getWorkflowListApi → startWorkflow
读取本地日志并总结	grepLocalFilesApi → chatAiCompleteApi
推送截图到钉钉	captureAndSendScreenshotToAiChannelApi

完整接口索引见 BizApi 参考。

消息通道

钉钉（内置）

• 接收：Stream 模式（WebSocket），无需公网 Inbound Webhook
• 发送：OAuth + 开放平台 API，Markdown 消息
• 会话绑定：同一钉钉会话与本地 AI 会话持久关联，重启后保留上下文
• 语音：单聊支持语音消息，优先使用 recognition 字段，否则下载音频后 Whisper 转写

飞书 / Lark（内置）

• 接收：官方 SDK WebSocket 长连接（im.message.receive_v1）
• 发送：IM API（post / text）
• 配置：开发者后台须启用「长连接接收事件」并订阅消息事件

通道与工作台的关系

• 工作台会话：用户在桌面应用内对话，可发附件、截屏分析
• 通道会话：外部 IM 消息触发自动回复，可绑定指定助手 slug 与 Provider

多模态与截图

• 消息附件：appendAiSessionMessageApi 支持图片附件，持久化至本地静态存储
• 截屏推送：captureAndSendScreenshotToAiChannelApi 压缩截图并通过通道发送
• 截图分析：自动执行链中先截屏，再调用 chatAiCompleteApi 让视觉模型描述屏幕内容
• DeepSeek / 自定义 Provider：按模型能力自动选择是否发送 image_url 块

语音能力

场景	说明
工作台语音输入	流式 STT，适用于桌面内快速录入
钉钉语音消息	入站语音自动转写后进入 AI 回复流程
语音 Provider	可配置 Ollama Whisper 或 OpenAI 兼容转写接口

执行规则与 AI 定时器

执行规则

在 执行规则 中配置：

• 匹配条件：关键词、正则等
• Hook：匹配后自动运行指定 executor 节点（如 HTTP 请求、延迟、截屏）

适用于通道消息或工作台消息的自动化扩展。

AI 定时器

• 支持 延迟执行 与 Cron 表达式
• 到期后执行预配置的 BizApi 调用链（如定时截屏、定时推送报告）
• 管理接口：listAiTimersApi / createAiTimerApi / updateAiTimerApi / deleteAiTimerApi

提示词库与伙伴

• 提示词库：自定义 System Prompt，指定 slug 供会话或通道引用
• 伙伴（Partner）：登记外部系统 id 与 baseUrl，写入助手上下文，便于跨系统 API 协作

相关文档

• 核心概念 — AI 自动执行
• BizApi 接口参考
• 架构文档 — 通信架构
• 快速开始