# AI + 嵌入式 + Agent 项目创意 _基于 2026-07-13 讨论生成的三个项目创意文档。综合评估个人条件（4070Ti Super 16GB、STM32 套件、医学图像背景、Python 3 级、嵌入式入门中）和 2026 年市场趋势。_ --- ## 背景信息 | 维度 | 当前状态 | |------|----------| | 显卡 | RTX 4070 Ti Super 16GB（可跑 8B 模型 4-bit 量化约 6GB） | | 嵌入式硬件 | STM32F103C8T6 + OLED + 按键 + LED + 温湿度传感器（总计约 80 元） | | 技能基线 | Python 3 级、C 2 级、医学图像分割 2.5-3 级、深度学习 2.5-3 级 | | 预算约束 | 每个项目硬件控制在 300 元以内 | | AI 工具 | 熟练使用 Claude Code、opencode、Codex | --- ## Idea 1：AI 康复训练助手（最推荐） ### 痛点 术后/受伤患者回家后需要持续做康复训练，但： - 动作是否标准无人监督，做错反而二次损伤 - 请康复师上门 200-500 元/次，普通人负担不起 - 现有家用康复设备（如弹力带、握力器）无智能反馈 - 中国康复医疗市场超 1000 亿，家庭康复是增长最快的细分 ### 方案总览 摄像头采集用户做康复动作 → AI 视频模型分析动作规范性 → STM32 腕带震动反馈 + 扬声器语音纠正 → Agent 记录进度、调整难度、生成报告。 ### 所需硬件及价格 | 硬件 | 数量 | 单价 | 总价 | 备注 | |------|:----:|:----:|:----:|------| | USB 摄像头 1080p | 1 | ~100 元 | ~100 元 | 普通电脑摄像头即可 | | STM32F103C8T6（已有） | 1 | 0 元 | 0 元 | 已有 | | 震动马达模块（1030 扁平电机） | 1 | ~8 元 | ~8 元 | 用于腕带震动反馈 | | 蓝牙模块 HC-05 | 1 | ~18 元 | ~18 元 | STM32 与电脑通信 | | OLED 显示屏 0.96 寸（已有） | 1 | 0 元 | 0 元 | 显示训练状态 | | 杜邦线 + 面包板 | 1套 | ~15 元 | ~15 元 | | | 3D 打印外壳（或纸盒） | 1 | ~0 元 | ~0 元 | MVP 阶段可不要 | | **总计** | | | **~141 元** | 已有硬件不计入 | ### AI 模型选型与显存估算 | 组件 | 模型选择 | 显存占用 | 用途 | |------|----------|:--------:|------| | 姿态估计 | MediaPipe Pose | ~0.5 GB | 提取 33 个人体关键点坐标 | | 动作分析 | Qwen2-VL-7B（4-bit）或 JoyAI-VL-Interaction（4-bit） | ~6 GB | 理解动作序列，判断规范性 | | Agent 决策 | Qwen2.5-7B（4-bit）或 DeepSeek（4-bit） | ~4 GB | 生成纠正建议，控制交互逻辑 | | 语音合成 | CosyVoice / FishSpeech（小模型） | ~1 GB | 实时语音纠正 | | **总计** | | **~11.5 GB** | 4070Ti Super 16GB 完全够用 | **也可以精简方案**：只用 MediaPipe Pose + 规则引擎，不跑大模型，先做 MVP。此时只需要 ~0.5 GB 显存。 ### 技术架构 ``` ┌─────────────────────────────────────────────────────┐ │ 笔记本/台式机 │ │ ┌──────────┐ ┌─────────┐ ┌────────────────────┐ │ │ │ 摄像头 │→ │ MediaPipe│→ │ JoyAI-VL / Qwen2-VL│ │ │ │ (USB) │ │ Pose │ │ 动作规范性判断 │ │ │ └──────────┘ └─────────┘ └────────┬───────────┘ │ │ │ │ │ ┌────────────────────────────────────┘ │ │ │ │ │ │ ┌─────────────────────────────────┐ │ │ │ │ LangGraph Agent │ │ │ │ │ · 判断动作是否标准 │ │ │ │ │ · 决定：纠正 / 鼓励 / 进阶 │ │ │ │ │ · 记录训练进度 │ │ │ │ │ · 生成周报 │ │ │ │ └───────┬─────────────────────────┘ │ │ │ │ │ │ │ ┌────────▼────────┐ ┌───────────┐ │ │ │ │ TTS 语音输出 │←──│ 蓝牙串口 │ │ │ │ │（扬声器） │ │ (PC→STM32) │ │ │ │ └─────────────────┘ └─────┬─────┘ │ │ └──────────────────────────────┼────────────────────┘ │ ┌─────────────────┼───┐ │ │ STM32F103C8T6 │ │ │ · 接收蓝牙指令 │ │ │ · 控制震动马达 │ │ │ · OLED 显示训练数据 │ │ └───────────────────────┘ ``` ### 核心流程 1. 用户站到摄像头前，选择康复部位（肩/腰/膝） 2. 摄像头实时采集，MediaPipe 提取 33 个骨骼关键点 3. JoyAI-VL 或规则引擎分析动作是否标准 4. Agent 决策： - 动作标准 → 鼓励、计数、重复 - 轻微偏差 → 语音提示（"手再抬高 5 厘米"）+ 轻度震动 - 严重错误 → 停止 + 语音警告 + 强震动 + 播放正确示范 5. 完成一组后，Agent 自动调整下一组难度 6. 训练结束，生成摘要（完成度、消耗热量、进步趋势） ### 可验证的康复动作（MVP 阶段） | 动作 | 检测维度 | 常见错误 | |------|----------|----------| | 肩部外展 | 手臂与身体夹角、速度 | 耸肩代偿、角度不够 | | 深蹲 | 膝盖角度、背部直线 | 膝盖过脚尖、弓背 | | 弓步蹲 | 前后腿角度、上身稳定 | 上身前倾、膝盖触地 | | 腰部旋转 | 旋转角度、骨盆稳定 | 骨盆晃动、旋转不足 | ### 开发路线图（3 个月到 MVP） | 阶段 | 时间 | 任务 | 产出 | |------|------|------|------| | 1 | 第 1 周 | MediaPipe Pose 调通，实时提取 33 个关键点 | 实时骨骼可视化 | | 2 | 第 2 周 | 写规则引擎判断 1-2 个动作（如深蹲） | 动作检测准不准的可测量指标 | | 3 | 第 3 周 | STM32 蓝牙模块调通，PC→STM32 通信 | 蓝牙收发 demo | | 4 | 第 4-5 周 | STM32 震动马达 + OLED 显示控制 | 震动反馈原型 | | 5 | 第 6 周 | 部署 JoyAI-VL 或 Qwen2-VL，对比规则引擎效果 | 评测哪种方案更准 | | 6 | 第 7 周 | LangGraph Agent 连接：感知→决策→反馈闭环 | 端到端可运行 | | 7 | 第 8 周 | 语音输出（TTS）集成 | 完整交互体验 | | 8 | 第 9-10 周 | 打磨：动作库扩展到 5+，错误率降低，体验流畅 | 可用版本 | | 9 | 第 11-12 周 | README、演示视频、问题记录、代码整理 | 可展示项目 | ### Monetization 可能 - 开源社区版（免费引流）→ 付费增值功能（多用户、高级动作库、云端报告） - 与康复诊所合作：诊所给患者配家用版 - 考研/考公/久坐人群姿势矫正（市场更大） ### 技术风险与应对 | 风险 | 概率 | 应对 | |------|:----:|------| | 视频模型实时性不够（<15fps） | 中 | 先用 MediaPipe 关键点做第一版，大模型只做周期性质量评估 | | 蓝牙通信不稳定 | 低 | 用有线串口作为 MVP 替代，蓝牙第二版优化 | | 动作判断准确率低 | 中 | 先用规则引擎 + 关键点角度计算，大模型作为增强而非依赖 | | 暗光环境骨骼提取差 | 低 | 补充红外摄像头（~50 元），或用红外补光 | --- ## Idea 2：非接触式睡眠健康监测仪 ### 痛点 - 约 30% 成年人有睡眠问题（打鼾、失眠、呼吸暂停） - 医院睡眠监测 2000-5000 元/次，需全身贴电极，睡在陌生实验室 - 消费级睡眠手环（小米/华为）：只能估个大概，精度差 - 打鼾影响伴侣、呼吸暂停有猝死风险（OSA 患者猝死风险是常人 2-3 倍） ### 方案总览 摄像头 + 麦克风对准床铺 → AI 分析睡眠状态（体动、呼吸、鼾声、呼吸暂停）→ STM32 腕带智能干预（侧睡引导、呼吸暂停报警）→ Agent 晨间生成睡眠报告。 ### 所需硬件及价格 | 硬件 | 数量 | 单价 | 总价 | 备注 | |------|:----:|:----:|:----:|------| | USB 摄像头（普通或红外） | 1 | ~80-150 元 | ~100 元 | 红外版可夜间工作 | | 红外补光灯（可选） | 1 | ~30 元 | ~30 元 | 暗光环境用 | | STM32F103（已有） | 1 | 0 元 | 0 元 | | | 震动马达模块 | 1 | ~8 元 | ~8 元 | 打鼾时轻柔唤醒侧睡 | | 蓝牙模块 HC-05 | 1 | ~18 元 | ~18 元 | | | USB 麦克风（或用笔记本自带） | 0-1 | ~50 元 | ~0-50 元 | 笔记本自带可先用 | | 小音箱（已有） | 1 | 0 元 | 0 元 | 播放白噪音或轻音乐 | | **总计** | | | **~156-206 元** | | ### AI 模型选型与显存估算 | 组件 | 模型选择 | 显存占用 | 用途 | |------|----------|:--------:|------| | 视频分析 | JoyAI-VL-Interaction（8B 4-bit） | ~6 GB | 分析体动、呼吸频率、睡姿 | | 音频分析 | SenseVoice 或 Whisper tiny | ~0.5 GB | 检测打鼾、呼吸暂停、梦话 | | Agent 决策 | Qwen2.5-7B（4-bit） | ~4 GB | 综合判断睡眠状态，生成报告 | | **总计** | | **~10.5 GB** | 4070Ti Super 16GB 够用 | **夜间模式**：红外摄像头 + JoyAI-VL（该模型支持低光视频理解）→ 不开灯也能监测。 ### 技术架构 ``` 夜间模式（红外摄像头优先） │ ┌─────────▼─────────┐ │ 视频帧提取 (1fps) │ │ 音频段提取 (5s) │ └──────┬──────┬─────┘ │ │ ┌─────────▼──┐ ┌─▼──────────┐ │ JoyAI-VL │ │ SenseVoice │ │ · 体动检测 │ │ · 鼾声检测 │ │ · 呼吸频率 │ │ · 呼吸暂停 │ │ · 睡姿分类 │ │ · 梦话检测 │ │ · 床上状态 │ │ · 环境噪声 │ └──────┬─────┘ └──────┬─────┘ │ │ └──────┬───────┘ │ ┌──────────▼──────────┐ │ LangGraph Agent │ │ · 综合判断睡眠阶段 │ │ · 决策干预策略 │ │ · 记录时序数据 │ │ · 生成晨间报告 │ └────┬─────────┬──────┘ │ │ ┌────────▼──┐ ┌───▼────────┐ │ 蓝牙→STM32│ │ 本地存储 │ │ 震动/声音 │ │ SQLite │ └───────────┘ └────────────┘ ``` ### 核心检测能力 | 检测项 | 实现方式 | 判断依据 | |--------|----------|----------| | 打鼾 | 音频+视频联合 | 音频检测鼾声波形 + 视频确认嘴巴张开 + 体位 | | 呼吸暂停 | 音频+视频联合 | 呼吸声停止 >10s + 胸廓无起伏 + 血氧下降暗示 | | 体动/翻身 | 视频 | 身体关键点位移超过阈值 | | 睡眠阶段估测 | 视频+时序规则 | 体动频率 + 呼吸频率 + 时间 *经验规则，非 EEG 级精度* | | 离床检测 | 视频 | 床上无人超过设定阈值 | | 环境异常 | 音频 | 突然巨响、婴儿哭声、烟雾报警器 | ### 干预策略 | 事件 | 干预方式 | 说明 | |------|----------|------| | 打鼾（伴侣可忍） | 不干预 | 仅记录 | | 打鼾（影响伴侣） | ① 轻柔震动腕带 → ② 枕下音箱播放轻音乐 | 逐步升级，目标是让打鼾者侧睡 | | 呼吸暂停（单次） | 强震动 + 声光报警 | 需要唤醒 | | 呼吸暂停（频繁） | 记录 + 建议就医 | 可能是 OSA，需临床诊断 | | 梦话/噩梦 | 枕下音箱播放舒缓音乐 | 轻干预 | | 离床超时 | 记录 + 如果老人/病人，通知家人 | 防跌倒无人知晓 | | 环境噪声突升 | 记录，不做干预 | 用于睡眠质量归因 | ### 开发路线图（3 个月到 MVP） | 阶段 | 时间 | 任务 | 产出 | |------|------|------|------| | 1 | 第 1 周 | 音频检测（Whisper）：打鼾识别，呼吸暂停检测 | 音频检测 demo | | 2 | 第 2-3 周 | 视频检测（JoyAI-VL）：体动、离床、睡姿 | 视频检测 demo | | 3 | 第 4 周 | STM32 蓝牙通信 + 震动马达控制 | 震动反馈 | | 4 | 第 5 周 | Agent 逻辑：事件→干预决策 | 闭环 demo | | 5 | 第 6 周 | 夜间模式适配（红外摄像头） | 全时可用 | | 6 | 第 7-8 周 | 睡眠报告生成（Web 展示） | 可视化报表 | | 7 | 第 9-10 周 | 多人测试 + 准确性优化 | 稳定版本 | | 8 | 第 11-12 周 | 项目文档、演示视频、问题记录 | 可展示项目 | ### 技术风险与应对 | 风险 | 概率 | 应对 | |------|:----:|------| | 夜间暗光视频质量差 | 中 | 红外摄像头（淘宝 50 元），或利用 JoyAI-VL 低光能力 | | 呼吸暂停检测假阳性 | 中 | 音频+视频双重确认，降低误报率 | | 隐私顾虑 | 高 | MVP 阶段用"本地不保存视频帧"原则，仅保存骨骼关键点和检测结果 | | 蓝牙距离限制 | 低 | 室内 10m 够用，STM32 可放床头 | ### 与 Idea 1 的协同 - 共用：MediaPipe Pose（睡眠改为检测身体关键点变化）、蓝牙通信、STM32 震动驱动 - PC 端框架可复用：摄像头采集→模型推理→Agent 决策→蓝牙输出 --- ## Idea 3：智能实验室环境监测 + 异常事件回溯系统 ### 痛点 - 生物/医学实验室需要 24h 监控环境参数（温度、湿度、CO2、光照周期） - 实验动物/细胞培养对环境变化极敏感，超范围可能毁掉数周实验 - 现有方案：专业环境记录仪 2000-10000 元，或普通摄像头不分析画面内容 - 异常事件发生时，需要回溯"当时发生了什么"，但目前全靠人工检查日志 ### 方案总览 STM32 多传感器采集环境数据 + 摄像头记录画面 → AI 分析画面内容 + 检测异常 → Agent 自动记录 + 预警 → 异常事件可一站式回溯。 ### 所需硬件及价格 | 硬件 | 数量 | 单价 | 总价 | 备注 | |------|:----:|:----:|:----:|------| | USB 摄像头 | 1 | ~80-150 元 | ~100 元 | 对准实验区域 | | STM32F103（已有） | 1 | 0 元 | 0 元 | | | DHT22 温湿度传感器 | 1 | ~15 元 | ~15 元 | 精度 ±0.5°C，±2% RH | | 光敏传感器模块 | 1 | ~5 元 | ~5 元 | 光照周期检测 | | 振动传感器 SW-420 | 1 | ~5 元 | ~5 元 | 检测设备运行/开门振动 | | HC-SR04 超声波（用户要求） | 1 | ~5 元 | ~5 元 | 液位检测（培养基/水） | | 蜂鸣器模块 | 1 | ~5 元 | ~5 元 | 现场报警 | | OLED（已有） | 1 | 0 元 | 0 元 | 显示实时数据 | | **总计** | | | **~140 元** | | ### HC-SR04 说明（用户要求的价格报告） | 参数 | 值 | |------|------| | 型号 | HC-SR04 超声波测距模块 | | 价格 | 淘宝约 3-8 元，平均 5 元 | | 精度 | ±3mm（理想条件），实际约 ±5mm | | 量程 | 2cm - 400cm | | 接口 | 2 个 GPIO（Trig + Echo），STM32 直接驱动 | | 用途 | 液位检测（水/培养基/试剂瓶）、距离检测、接近感应 | | 局限 | 对软性表面（棉花、毛毯）反射差，不建议用于人体 | 超声波如果不满足精度需求，升级方案： - JSN-SR04T 防水版：~15 元，防水，可测液体 - TOF 激光测距 VL53L0X：~30 元，精度 ±1mm，更快 ### AI 模型选型 | 组件 | 模型选择 | 显存占用 | 用途 | |------|----------|:--------:|------| | 视频分析 | JoyAI-VL-Interaction（8B 4-bit） | ~6 GB | 画面异常检测、人员操作记录、设备状态 | | Agent | Qwen2.5-7B（4-bit） | ~4 GB | 综合判断、日志生成、预警决策 | | **总计** | | **~10 GB** | 4070Ti Super 够用 | ### 技术架构 ``` ┌─────────────────── 实验区域 ───────────────────┐ │ │ │ ┌─────────┐ ┌──────────┐ ┌──────────────┐ │ │ │ 摄像头 │ │ STM32 │ │ HC-SR04 超声 │ │ │ │ (画面) │ │ 传感器集 │ │ (液位检测) │ │ │ └────┬────┘ │ DHT22 │ └──────┬───────┘ │ │ │ │ 光敏 │ │ │ │ │ │ 振动 │ │ │ │ │ └────┬─────┘ │ │ │ │ │ │ │ └───────┼────────────┼───────────────┼────────────┘ │ │ │ │ ┌────▼───────────────▼────┐ │ │ USB 串口 / 蓝牙 │ │ └────┬────────────────────┘ │ │ ┌────▼────────────▼──────────────────────┐ │ PC (4070Ti Super) │ │ │ │ ┌──────────┐ ┌───────────────────┐ │ │ │JoyAI-VL │ │ 传感器数据融合 │ │ │ │·画面异常 │ │ ·环境参数时序 │ │ │ │·人员活动 │ │ ·超声液位变化 │ │ │ │·设备状态 │ │ ·超限检测 │ │ │ └────┬─────┘ └────────┬──────────┘ │ │ │ │ │ │ ┌────▼────────────────▼────┐ │ │ │ Agent │ │ │ │ · 事件识别与分类 │ │ │ │ · 日志自动生成 │ │ │ │ · 预警决策 │ │ │ │ · 异常回溯索引 │ │ │ └───────────┬──────────────┘ │ │ │ │ │ ┌───────────▼────────────┐ │ │ │ 本地存储 (SQLite) │ │ │ │ · 传感器时序数据 │ │ │ │ · 事件日志 │ │ │ │ · 视频片段关键帧 │ │ │ └────────────────────────┘ │ └─────────────────────────────────────────┘ ``` ### 核心功能 | 功能 | 实现方式 | 产出 | |------|----------|------| | 环境实时监测 | STM32 采集→PC 记录 | 温湿度/光照/振动时序曲线 | | 液位监测 | HC-SR04 超声波 | 培养基/水量变化曲线，低于阈值报警 | | 画面变化检测 | JoyAI-VL 对比基线 | 有人/动物异常活动、设备状态改变 | | 超限预警 | 传感器阈值 + Agent 判断 | 微信/Telegram 通知 | | 实验日志自动生成 | Agent 汇总数据+画面 | 每日实验摘要，含关键事件截图 | | 异常事件回溯 | Agent 索引时间+事件类型 | 点击事件→展示当时传感器+画面快照 | ### 与用户现有研究结合的方式 | 你的科研能力 | 在这个项目中的体现 | |-------------|-------------------| | 医学图像分割 | 视频帧中的对象分割（如小鼠/细胞/设备） | | 深度学习实验管理（SWANLab、实验日志） | 迁移到环境监测的日志系统 | | 代码整理习惯（README、requirements.txt） | 直接应用到项目文档 | | 医学图像数据集处理 | 视频帧数据集标注和异常事件分类 | 这个项目可以直接写进申博材料："设计并实现了一套基于边缘 AI 的实验室环境智能监测系统，实现环境参数实时采集、视频异常检测和自动实验日志生成。" ### 开发路线图（3 个月到 MVP） | 阶段 | 时间 | 任务 | 产出 | |------|------|------|------| | 1 | 第 1 周 | STM32 多传感器采集 + 串口输出 | 传感器数据流 | | 2 | 第 2 周 | PC 端串口接收 + SQLite 存储 | 时序数据入库 | | 3 | 第 3 周 | HC-SR04 超声波驱动 + 液位检测 | 超声波测距 | | 4 | 第 4 周 | JoyAI-VL 接入，画面异常检测 | 画面检测 demo | | 5 | 第 5 周 | Agent 日志生成 + Web 展示面板 | 可视化 | | 6 | 第 6 周 | 预警系统（微信通知） | 实时告警 | | 7 | 第 7-8 周 | 异常事件回溯功能 | 一站式查看 | | 8 | 第 9-12 周 | 打磨 + 文档 + 演示视频 | 可展示项目 | --- ## 三个 Idea 最终对比 | 维度 | 康复助手 | 睡眠监测 | 实验室监测 | |------|:--------:|:--------:|:----------:| | **硬件成本** | ~140 元 | ~160-200 元 | ~140 元 | | **硬件新增购买** | 摄像头+蓝牙+马达 | 摄像头+红外+蓝牙+马达 | 摄像头+传感器 | | **AI 模型要求** | 中（MediaPipe + 可选大模型） | 高（视频+音频双模型） | 中（一个视频模型即可） | | **与你技能重合度** | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | | **对申博帮助** | ⭐⭐ | ⭐⭐ | ⭐⭐⭐⭐⭐ | | **对嵌入式求职帮助** | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | | **对 AI Agent 求职帮助** | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | | **3 个月 MVP 可行性** | 高 | 中 | 高 | | **新奇度/差异化** | 中（同类产品少但概念有） | 中（有人做但没做好） | 高（细分市场无人做） | | **可向他人展示性** | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐（受众窄） | | **真实市场价值** | 高 | 高 | 中 | ### 综合建议 **最好的策略**：以 Idea 1（康复助手）或 Idea 3（实验室监测）为起点，2-3 个月做出 MVP，然后一个月内将其中间层（摄像头采集 → AI 推理 → Agent 决策 → 蓝牙输出）复用到另一个 Idea。 **推荐顺序**：Idea 1（3 个月 MVP）→ Idea 3 或 Idea 2（1 个月移植）。 --- ## 附录：关键零件淘宝参考价目表 | 零件 | 淘宝参考价 | 用途 | |------|:----------:|------| | USB 摄像头 1080p | 80-150 元 | 普通日间监控 | | 红外 USB 摄像头 | 100-180 元 | 夜间监控 | | 红外补光灯板 | 20-50 元 | 暗光补光 | | HC-05 蓝牙模块 | 15-25 元 | STM32 无线通信 | | 1030 扁平震动马达 | 5-10 元 | 触觉反馈 | | DHT22 温湿度 | 12-18 元 | 环境监测 | | HC-SR04 超声波 | 3-8 元 | 液位/距离检测 | | SW-420 振动传感器 | 3-8 元 | 振动检测 | | 光敏电阻模块 | 3-8 元 | 光照检测 | | 5V 有源蜂鸣器 | 3-5 元 | 现场报警 | | 杜邦线套装 | 10-20 元 | 接线 | | 面包板 830孔 | 10-20 元 | 原型搭建 | 所有零件淘宝包邮，总预算 300 元内可以覆盖任意一个 Idea 的全部新增硬件。