AI + 嵌入式 + Agent 项目创意
基于 2026-07-13 讨论生成的三个项目创意文档。综合评估个人条件（4070Ti Super 16GB、STM32 套件、医学图像背景、Python 3 级、嵌入式入门中）和 2026 年市场趋势。
背景信息
| 维度 |
当前状态 |
| 显卡 |
RTX 4070 Ti Super 16GB（可跑 8B 模型 4-bit 量化约 6GB） |
| 嵌入式硬件 |
STM32F103C8T6 + OLED + 按键 + LED + 温湿度传感器（总计约 80 元） |
| 技能基线 |
Python 3 级、C 2 级、医学图像分割 2.5-3 级、深度学习 2.5-3 级 |
| 预算约束 |
每个项目硬件控制在 300 元以内 |
| AI 工具 |
熟练使用 Claude Code、opencode、Codex |
Idea 1：AI 康复训练助手（最推荐）
痛点
术后/受伤患者回家后需要持续做康复训练，但：
- 动作是否标准无人监督，做错反而二次损伤
- 请康复师上门 200-500 元/次，普通人负担不起
- 现有家用康复设备（如弹力带、握力器）无智能反馈
- 中国康复医疗市场超 1000 亿，家庭康复是增长最快的细分
方案总览
摄像头采集用户做康复动作 → AI 视频模型分析动作规范性 → STM32 腕带震动反馈 + 扬声器语音纠正 → Agent 记录进度、调整难度、生成报告。
所需硬件及价格
| 硬件 |
数量 |
单价 |
总价 |
备注 |
| USB 摄像头 1080p |
1 |
~100 元 |
~100 元 |
普通电脑摄像头即可 |
| STM32F103C8T6（已有） |
1 |
0 元 |
0 元 |
已有 |
| 震动马达模块（1030 扁平电机） |
1 |
~8 元 |
~8 元 |
用于腕带震动反馈 |
| 蓝牙模块 HC-05 |
1 |
~18 元 |
~18 元 |
STM32 与电脑通信 |
| OLED 显示屏 0.96 寸（已有） |
1 |
0 元 |
0 元 |
显示训练状态 |
| 杜邦线 + 面包板 |
1套 |
~15 元 |
~15 元 |
|
| 3D 打印外壳（或纸盒） |
1 |
~0 元 |
~0 元 |
MVP 阶段可不要 |
| 总计 |
|
|
~141 元 |
已有硬件不计入 |
AI 模型选型与显存估算
| 组件 |
模型选择 |
显存占用 |
用途 |
| 姿态估计 |
MediaPipe Pose |
~0.5 GB |
提取 33 个人体关键点坐标 |
| 动作分析 |
Qwen2-VL-7B（4-bit）或 JoyAI-VL-Interaction（4-bit） |
~6 GB |
理解动作序列，判断规范性 |
| Agent 决策 |
Qwen2.5-7B（4-bit）或 DeepSeek（4-bit） |
~4 GB |
生成纠正建议，控制交互逻辑 |
| 语音合成 |
CosyVoice / FishSpeech（小模型） |
~1 GB |
实时语音纠正 |
| 总计 |
|
~11.5 GB |
4070Ti Super 16GB 完全够用 |
也可以精简方案：只用 MediaPipe Pose + 规则引擎，不跑大模型，先做 MVP。此时只需要 ~0.5 GB 显存。
技术架构
┌─────────────────────────────────────────────────────┐
│ 笔记本/台式机 │
│ ┌──────────┐ ┌─────────┐ ┌────────────────────┐ │
│ │ 摄像头 │→ │ MediaPipe│→ │ JoyAI-VL / Qwen2-VL│ │
│ │ (USB) │ │ Pose │ │ 动作规范性判断 │ │
│ └──────────┘ └─────────┘ └────────┬───────────┘ │
│ │ │
│ ┌────────────────────────────────────┘ │
│ │ │
│ │ ┌─────────────────────────────────┐ │
│ │ │ LangGraph Agent │ │
│ │ │ · 判断动作是否标准 │ │
│ │ │ · 决定：纠正 / 鼓励 / 进阶 │ │
│ │ │ · 记录训练进度 │ │
│ │ │ · 生成周报 │ │
│ │ └───────┬─────────────────────────┘ │
│ │ │ │
│ │ ┌────────▼────────┐ ┌───────────┐ │
│ │ │ TTS 语音输出 │←──│ 蓝牙串口 │ │
│ │ │（扬声器） │ │ (PC→STM32) │ │
│ │ └─────────────────┘ └─────┬─────┘ │
│ └──────────────────────────────┼────────────────────┘
│ ┌─────────────────┼───┐
│ │ STM32F103C8T6 │
│ │ · 接收蓝牙指令 │
│ │ · 控制震动马达 │
│ │ · OLED 显示训练数据 │
│ └───────────────────────┘
核心流程
- 用户站到摄像头前，选择康复部位（肩/腰/膝）
- 摄像头实时采集，MediaPipe 提取 33 个骨骼关键点
- JoyAI-VL 或规则引擎分析动作是否标准
- Agent 决策：
- 动作标准 → 鼓励、计数、重复
- 轻微偏差 → 语音提示（"手再抬高 5 厘米"）+ 轻度震动
- 严重错误 → 停止 + 语音警告 + 强震动 + 播放正确示范
- 完成一组后，Agent 自动调整下一组难度
- 训练结束，生成摘要（完成度、消耗热量、进步趋势）
可验证的康复动作（MVP 阶段）
| 动作 |
检测维度 |
常见错误 |
| 肩部外展 |
手臂与身体夹角、速度 |
耸肩代偿、角度不够 |
| 深蹲 |
膝盖角度、背部直线 |
膝盖过脚尖、弓背 |
| 弓步蹲 |
前后腿角度、上身稳定 |
上身前倾、膝盖触地 |
| 腰部旋转 |
旋转角度、骨盆稳定 |
骨盆晃动、旋转不足 |
开发路线图（3 个月到 MVP）
| 阶段 |
时间 |
任务 |
产出 |
| 1 |
第 1 周 |
MediaPipe Pose 调通，实时提取 33 个关键点 |
实时骨骼可视化 |
| 2 |
第 2 周 |
写规则引擎判断 1-2 个动作（如深蹲） |
动作检测准不准的可测量指标 |
| 3 |
第 3 周 |
STM32 蓝牙模块调通，PC→STM32 通信 |
蓝牙收发 demo |
| 4 |
第 4-5 周 |
STM32 震动马达 + OLED 显示控制 |
震动反馈原型 |
| 5 |
第 6 周 |
部署 JoyAI-VL 或 Qwen2-VL，对比规则引擎效果 |
评测哪种方案更准 |
| 6 |
第 7 周 |
LangGraph Agent 连接：感知→决策→反馈闭环 |
端到端可运行 |
| 7 |
第 8 周 |
语音输出（TTS）集成 |
完整交互体验 |
| 8 |
第 9-10 周 |
打磨：动作库扩展到 5+，错误率降低，体验流畅 |
可用版本 |
| 9 |
第 11-12 周 |
README、演示视频、问题记录、代码整理 |
可展示项目 |
Monetization 可能
- 开源社区版（免费引流）→ 付费增值功能（多用户、高级动作库、云端报告）
- 与康复诊所合作：诊所给患者配家用版
- 考研/考公/久坐人群姿势矫正（市场更大）
技术风险与应对
| 风险 |
概率 |
应对 |
| 视频模型实时性不够（<15fps） |
中 |
先用 MediaPipe 关键点做第一版，大模型只做周期性质量评估 |
| 蓝牙通信不稳定 |
低 |
用有线串口作为 MVP 替代，蓝牙第二版优化 |
| 动作判断准确率低 |
中 |
先用规则引擎 + 关键点角度计算，大模型作为增强而非依赖 |
| 暗光环境骨骼提取差 |
低 |
补充红外摄像头（~50 元），或用红外补光 |
Idea 2：非接触式睡眠健康监测仪
痛点
- 约 30% 成年人有睡眠问题（打鼾、失眠、呼吸暂停）
- 医院睡眠监测 2000-5000 元/次，需全身贴电极，睡在陌生实验室
- 消费级睡眠手环（小米/华为）：只能估个大概，精度差
- 打鼾影响伴侣、呼吸暂停有猝死风险（OSA 患者猝死风险是常人 2-3 倍）
方案总览
摄像头 + 麦克风对准床铺 → AI 分析睡眠状态（体动、呼吸、鼾声、呼吸暂停）→ STM32 腕带智能干预（侧睡引导、呼吸暂停报警）→ Agent 晨间生成睡眠报告。
所需硬件及价格
| 硬件 |
数量 |
单价 |
总价 |
备注 |
| USB 摄像头（普通或红外） |
1 |
~80-150 元 |
~100 元 |
红外版可夜间工作 |
| 红外补光灯（可选） |
1 |
~30 元 |
~30 元 |
暗光环境用 |
| STM32F103（已有） |
1 |
0 元 |
0 元 |
|
| 震动马达模块 |
1 |
~8 元 |
~8 元 |
打鼾时轻柔唤醒侧睡 |
| 蓝牙模块 HC-05 |
1 |
~18 元 |
~18 元 |
|
| USB 麦克风（或用笔记本自带） |
0-1 |
~50 元 |
~0-50 元 |
笔记本自带可先用 |
| 小音箱（已有） |
1 |
0 元 |
0 元 |
播放白噪音或轻音乐 |
| 总计 |
|
|
~156-206 元 |
|
AI 模型选型与显存估算
| 组件 |
模型选择 |
显存占用 |
用途 |
| 视频分析 |
JoyAI-VL-Interaction（8B 4-bit） |
~6 GB |
分析体动、呼吸频率、睡姿 |
| 音频分析 |
SenseVoice 或 Whisper tiny |
~0.5 GB |
检测打鼾、呼吸暂停、梦话 |
| Agent 决策 |
Qwen2.5-7B（4-bit） |
~4 GB |
综合判断睡眠状态，生成报告 |
| 总计 |
|
~10.5 GB |
4070Ti Super 16GB 够用 |
夜间模式：红外摄像头 + JoyAI-VL（该模型支持低光视频理解）→ 不开灯也能监测。
技术架构
夜间模式（红外摄像头优先）
│
┌─────────▼─────────┐
│ 视频帧提取 (1fps) │
│ 音频段提取 (5s) │
└──────┬──────┬─────┘
│ │
┌─────────▼──┐ ┌─▼──────────┐
│ JoyAI-VL │ │ SenseVoice │
│ · 体动检测 │ │ · 鼾声检测 │
│ · 呼吸频率 │ │ · 呼吸暂停 │
│ · 睡姿分类 │ │ · 梦话检测 │
│ · 床上状态 │ │ · 环境噪声 │
└──────┬─────┘ └──────┬─────┘
│ │
└──────┬───────┘
│
┌──────────▼──────────┐
│ LangGraph Agent │
│ · 综合判断睡眠阶段 │
│ · 决策干预策略 │
│ · 记录时序数据 │
│ · 生成晨间报告 │
└────┬─────────┬──────┘
│ │
┌────────▼──┐ ┌───▼────────┐
│ 蓝牙→STM32│ │ 本地存储 │
│ 震动/声音 │ │ SQLite │
└───────────┘ └────────────┘
核心检测能力
| 检测项 |
实现方式 |
判断依据 |
| 打鼾 |
音频+视频联合 |
音频检测鼾声波形 + 视频确认嘴巴张开 + 体位 |
| 呼吸暂停 |
音频+视频联合 |
呼吸声停止 >10s + 胸廓无起伏 + 血氧下降暗示 |
| 体动/翻身 |
视频 |
身体关键点位移超过阈值 |
| 睡眠阶段估测 |
视频+时序规则 |
体动频率 + 呼吸频率 + 时间 经验规则，非 EEG 级精度 |
| 离床检测 |
视频 |
床上无人超过设定阈值 |
| 环境异常 |
音频 |
突然巨响、婴儿哭声、烟雾报警器 |
干预策略
| 事件 |
干预方式 |
说明 |
| 打鼾（伴侣可忍） |
不干预 |
仅记录 |
| 打鼾（影响伴侣） |
① 轻柔震动腕带 → ② 枕下音箱播放轻音乐 |
逐步升级，目标是让打鼾者侧睡 |
| 呼吸暂停（单次） |
强震动 + 声光报警 |
需要唤醒 |
| 呼吸暂停（频繁） |
记录 + 建议就医 |
可能是 OSA，需临床诊断 |
| 梦话/噩梦 |
枕下音箱播放舒缓音乐 |
轻干预 |
| 离床超时 |
记录 + 如果老人/病人，通知家人 |
防跌倒无人知晓 |
| 环境噪声突升 |
记录，不做干预 |
用于睡眠质量归因 |
开发路线图（3 个月到 MVP）
| 阶段 |
时间 |
任务 |
产出 |
| 1 |
第 1 周 |
音频检测（Whisper）：打鼾识别，呼吸暂停检测 |
音频检测 demo |
| 2 |
第 2-3 周 |
视频检测（JoyAI-VL）：体动、离床、睡姿 |
视频检测 demo |
| 3 |
第 4 周 |
STM32 蓝牙通信 + 震动马达控制 |
震动反馈 |
| 4 |
第 5 周 |
Agent 逻辑：事件→干预决策 |
闭环 demo |
| 5 |
第 6 周 |
夜间模式适配（红外摄像头） |
全时可用 |
| 6 |
第 7-8 周 |
睡眠报告生成（Web 展示） |
可视化报表 |
| 7 |
第 9-10 周 |
多人测试 + 准确性优化 |
稳定版本 |
| 8 |
第 11-12 周 |
项目文档、演示视频、问题记录 |
可展示项目 |
技术风险与应对
| 风险 |
概率 |
应对 |
| 夜间暗光视频质量差 |
中 |
红外摄像头（淘宝 50 元），或利用 JoyAI-VL 低光能力 |
| 呼吸暂停检测假阳性 |
中 |
音频+视频双重确认，降低误报率 |
| 隐私顾虑 |
高 |
MVP 阶段用"本地不保存视频帧"原则，仅保存骨骼关键点和检测结果 |
| 蓝牙距离限制 |
低 |
室内 10m 够用，STM32 可放床头 |
与 Idea 1 的协同
- 共用：MediaPipe Pose（睡眠改为检测身体关键点变化）、蓝牙通信、STM32 震动驱动
- PC 端框架可复用：摄像头采集→模型推理→Agent 决策→蓝牙输出
Idea 3：智能实验室环境监测 + 异常事件回溯系统
痛点
- 生物/医学实验室需要 24h 监控环境参数（温度、湿度、CO2、光照周期）
- 实验动物/细胞培养对环境变化极敏感，超范围可能毁掉数周实验
- 现有方案：专业环境记录仪 2000-10000 元，或普通摄像头不分析画面内容
- 异常事件发生时，需要回溯"当时发生了什么"，但目前全靠人工检查日志
方案总览
STM32 多传感器采集环境数据 + 摄像头记录画面 → AI 分析画面内容 + 检测异常 → Agent 自动记录 + 预警 → 异常事件可一站式回溯。
所需硬件及价格
| 硬件 |
数量 |
单价 |
总价 |
备注 |
| USB 摄像头 |
1 |
~80-150 元 |
~100 元 |
对准实验区域 |
| STM32F103（已有） |
1 |
0 元 |
0 元 |
|
| DHT22 温湿度传感器 |
1 |
~15 元 |
~15 元 |
精度 ±0.5°C，±2% RH |
| 光敏传感器模块 |
1 |
~5 元 |
~5 元 |
光照周期检测 |
| 振动传感器 SW-420 |
1 |
~5 元 |
~5 元 |
检测设备运行/开门振动 |
| HC-SR04 超声波（用户要求） |
1 |
~5 元 |
~5 元 |
液位检测（培养基/水） |
| 蜂鸣器模块 |
1 |
~5 元 |
~5 元 |
现场报警 |
| OLED（已有） |
1 |
0 元 |
0 元 |
显示实时数据 |
| 总计 |
|
|
~140 元 |
|
HC-SR04 说明（用户要求的价格报告）
| 参数 |
值 |
| 型号 |
HC-SR04 超声波测距模块 |
| 价格 |
淘宝约 3-8 元，平均 5 元 |
| 精度 |
±3mm（理想条件），实际约 ±5mm |
| 量程 |
2cm - 400cm |
| 接口 |
2 个 GPIO（Trig + Echo），STM32 直接驱动 |
| 用途 |
液位检测（水/培养基/试剂瓶）、距离检测、接近感应 |
| 局限 |
对软性表面（棉花、毛毯）反射差，不建议用于人体 |
超声波如果不满足精度需求，升级方案：
- JSN-SR04T 防水版：~15 元，防水，可测液体
- TOF 激光测距 VL53L0X：~30 元，精度 ±1mm，更快
AI 模型选型
| 组件 |
模型选择 |
显存占用 |
用途 |
| 视频分析 |
JoyAI-VL-Interaction（8B 4-bit） |
~6 GB |
画面异常检测、人员操作记录、设备状态 |
| Agent |
Qwen2.5-7B（4-bit） |
~4 GB |
综合判断、日志生成、预警决策 |
| 总计 |
|
~10 GB |
4070Ti Super 够用 |
技术架构
┌─────────────────── 实验区域 ───────────────────┐
│ │
│ ┌─────────┐ ┌──────────┐ ┌──────────────┐ │
│ │ 摄像头 │ │ STM32 │ │ HC-SR04 超声 │ │
│ │ (画面) │ │ 传感器集 │ │ (液位检测) │ │
│ └────┬────┘ │ DHT22 │ └──────┬───────┘ │
│ │ │ 光敏 │ │ │
│ │ │ 振动 │ │ │
│ │ └────┬─────┘ │ │
│ │ │ │ │
└───────┼────────────┼───────────────┼────────────┘
│ │ │
│ ┌────▼───────────────▼────┐
│ │ USB 串口 / 蓝牙 │
│ └────┬────────────────────┘
│ │
┌────▼────────────▼──────────────────────┐
│ PC (4070Ti Super) │
│ │
│ ┌──────────┐ ┌───────────────────┐ │
│ │JoyAI-VL │ │ 传感器数据融合 │ │
│ │·画面异常 │ │ ·环境参数时序 │ │
│ │·人员活动 │ │ ·超声液位变化 │ │
│ │·设备状态 │ │ ·超限检测 │ │
│ └────┬─────┘ └────────┬──────────┘ │
│ │ │ │
│ ┌────▼────────────────▼────┐ │
│ │ Agent │ │
│ │ · 事件识别与分类 │ │
│ │ · 日志自动生成 │ │
│ │ · 预警决策 │ │
│ │ · 异常回溯索引 │ │
│ └───────────┬──────────────┘ │
│ │ │
│ ┌───────────▼────────────┐ │
│ │ 本地存储 (SQLite) │ │
│ │ · 传感器时序数据 │ │
│ │ · 事件日志 │ │
│ │ · 视频片段关键帧 │ │
│ └────────────────────────┘ │
└─────────────────────────────────────────┘
核心功能
| 功能 |
实现方式 |
产出 |
| 环境实时监测 |
STM32 采集→PC 记录 |
温湿度/光照/振动时序曲线 |
| 液位监测 |
HC-SR04 超声波 |
培养基/水量变化曲线，低于阈值报警 |
| 画面变化检测 |
JoyAI-VL 对比基线 |
有人/动物异常活动、设备状态改变 |
| 超限预警 |
传感器阈值 + Agent 判断 |
微信/Telegram 通知 |
| 实验日志自动生成 |
Agent 汇总数据+画面 |
每日实验摘要，含关键事件截图 |
| 异常事件回溯 |
Agent 索引时间+事件类型 |
点击事件→展示当时传感器+画面快照 |
与用户现有研究结合的方式
| 你的科研能力 |
在这个项目中的体现 |
| 医学图像分割 |
视频帧中的对象分割（如小鼠/细胞/设备） |
| 深度学习实验管理（SWANLab、实验日志） |
迁移到环境监测的日志系统 |
| 代码整理习惯（README、requirements.txt） |
直接应用到项目文档 |
| 医学图像数据集处理 |
视频帧数据集标注和异常事件分类 |
这个项目可以直接写进申博材料："设计并实现了一套基于边缘 AI 的实验室环境智能监测系统，实现环境参数实时采集、视频异常检测和自动实验日志生成。"
开发路线图（3 个月到 MVP）
| 阶段 |
时间 |
任务 |
产出 |
| 1 |
第 1 周 |
STM32 多传感器采集 + 串口输出 |
传感器数据流 |
| 2 |
第 2 周 |
PC 端串口接收 + SQLite 存储 |
时序数据入库 |
| 3 |
第 3 周 |
HC-SR04 超声波驱动 + 液位检测 |
超声波测距 |
| 4 |
第 4 周 |
JoyAI-VL 接入，画面异常检测 |
画面检测 demo |
| 5 |
第 5 周 |
Agent 日志生成 + Web 展示面板 |
可视化 |
| 6 |
第 6 周 |
预警系统（微信通知） |
实时告警 |
| 7 |
第 7-8 周 |
异常事件回溯功能 |
一站式查看 |
| 8 |
第 9-12 周 |
打磨 + 文档 + 演示视频 |
可展示项目 |
三个 Idea 最终对比
| 维度 |
康复助手 |
睡眠监测 |
实验室监测 |
| 硬件成本 |
~140 元 |
~160-200 元 |
~140 元 |
| 硬件新增购买 |
摄像头+蓝牙+马达 |
摄像头+红外+蓝牙+马达 |
摄像头+传感器 |
| AI 模型要求 |
中（MediaPipe + 可选大模型） |
高（视频+音频双模型） |
中（一个视频模型即可） |
| 与你技能重合度 |
⭐⭐⭐ |
⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
| 对申博帮助 |
⭐⭐ |
⭐⭐ |
⭐⭐⭐⭐⭐ |
| 对嵌入式求职帮助 |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
| 对 AI Agent 求职帮助 |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
| 3 个月 MVP 可行性 |
高 |
中 |
高 |
| 新奇度/差异化 |
中（同类产品少但概念有） |
中（有人做但没做好） |
高（细分市场无人做） |
| 可向他人展示性 |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐（受众窄） |
| 真实市场价值 |
高 |
高 |
中 |
综合建议
最好的策略：以 Idea 1（康复助手）或 Idea 3（实验室监测）为起点，2-3 个月做出 MVP，然后一个月内将其中间层（摄像头采集 → AI 推理 → Agent 决策 → 蓝牙输出）复用到另一个 Idea。
推荐顺序：Idea 1（3 个月 MVP）→ Idea 3 或 Idea 2（1 个月移植）。
附录：关键零件淘宝参考价目表
| 零件 |
淘宝参考价 |
用途 |
| USB 摄像头 1080p |
80-150 元 |
普通日间监控 |
| 红外 USB 摄像头 |
100-180 元 |
夜间监控 |
| 红外补光灯板 |
20-50 元 |
暗光补光 |
| HC-05 蓝牙模块 |
15-25 元 |
STM32 无线通信 |
| 1030 扁平震动马达 |
5-10 元 |
触觉反馈 |
| DHT22 温湿度 |
12-18 元 |
环境监测 |
| HC-SR04 超声波 |
3-8 元 |
液位/距离检测 |
| SW-420 振动传感器 |
3-8 元 |
振动检测 |
| 光敏电阻模块 |
3-8 元 |
光照检测 |
| 5V 有源蜂鸣器 |
3-5 元 |
现场报警 |
| 杜邦线套装 |
10-20 元 |
接线 |
| 面包板 830孔 |
10-20 元 |
原型搭建 |
所有零件淘宝包邮，总预算 300 元内可以覆盖任意一个 Idea 的全部新增硬件。
