项目背景
拍人像时，难点常常发生在按下快门之前：哪里适合拍、相机朝哪边、人物站在哪里。只分析当前取景框，很容易错过摄影者身后的好背景。
摄像奉行（Bugyo） 是我与 何德铭（Deming He） 在 影石 Bold Maker 2026「AI + 影像产品开发」赛道共同完成的原型。头戴式 Insta360 X5 负责观察四周，手持 Link 2 或手机负责最终成像，手机 Web App 把系统的判断变成一次只需完成一个动作的拍摄引导。
封面以 GitHub 项目中的相机吉祥物为主体，配合取景框与全景扫描元素；下图是实际制作的头戴式原型。
演示视频
从探索到成片
- 探索：X5 采集 360° 全景，投影成多个透视候选，本地快层持续比较光线、背景干净度、空间和特殊构图。
- 叫停：发现值得拍的方向后，显示参考画面；视觉大模型比较 Top-K 候选，给出构图理由、站位与姿势建议。
- 转向：摄影者转动手持相机，SIFT / RootSIFT 背景匹配核对取景框是否对准目标背景。
- 站位与姿势：通过人体检测和手机端引导调整位置，Link 2 云台参与微调，再进入姿势提示与倒计时。
- 拍摄与回看：采集画面、检查质量，展示成片与组照结果。
把 AI 的介入点提前到寻找拍摄背景，让摄影者边走边看，发现合适的方向就停下来。
待机：连接设备，准备开始探索 
探索：持续观察四周，比较候选方向 
叫停：展示推荐方向和构图参考 手机端同步当前状态、预览和行动提示，串起转向、站位、姿势、倒计时与回看。
转向：确认相机对准推荐背景 
站位：引导被拍者进入构图位置 
回看：展示拍摄结果 这些界面截图来自模拟演示，用于展示交互流程；不作为真机拍摄结果。
姿势提示：将拍摄方案转成当前动作 
倒计时：确认准备后进入拍摄 
设置：调整个人拍摄偏好 全景感知与候选方向
X5 一次采集四周环境，再把全景转换成普通取景框。下面的现场全景和八方向评测样本展示了这个过程：同一位置，不同朝向会产生不同的光线、背景和站位空间。
分数取自路演材料中的历史评测样本，用于解释系统如何比较候选方向，不代表人工审美评分或成片质量概率。点击图片可放大，并在同组样本间切换。
实景选景对比
另一组室外样本展示了选择背景时的取舍：比较空间是否足够、背景是否干净，以及主体位置附近是否存在干扰。
技术实现
| 模块 | 实现与作用 |
|---|---|
| 全景感知 | OpenCV 读取 X5 UVC 全景，将等距柱状图投影为 8 / 12 个透视候选 |
| 候选筛选 | 本地快层决定何时叫停；Qwen3-VL 比较候选并生成拍摄方案 |
| 拍摄执行 | Link SDK 云台桥接、SIFT / RootSIFT 背景匹配、HOG / YOLO 人体检测 |
| 流程编排 | Python + FastAPI Hub，以状态机和 WebSocket 协调感知、导演与执行模块 |
| 手机交互 | React + TypeScript + Vite PWA，同步预览、语音与可视化提示 |
| 演示与验证 | 无硬件 mock 模式可走完整流程；真机通过设备自检另行验证 |
两台相机，各司其职
X5 负责环境感知，Link 2 负责取景与成像；手机作为遥控器和显示器，也提供备用成像路径。原型由主机协调设备、运行本地视觉处理，并调用云端视觉模型。
赛事展示海报
Bold Maker 2026 赛道一的项目海报，将环境感知、候选评分、AI 导演和设备分工放在一张图中。海报中的主视觉为概念示意，硬件照片展示的是实际原型。
我的工作
我负责 后端、全景感知与评分算法、硬件接入、系统集成、BOM 和主要路演材料，将相机输入、AI 决策、背景匹配与拍摄状态机串成完整流程。何德铭负责手机端交互与品牌、产品文案、竞品研究和技术表达。
原型边界
当前版本需要 X5、Link 2 或手机以及一台主机。X5 的 UVC 模式无法提供 IMU，水平与转向检查依赖图像特征；云端模型存在网络延迟，因此本地快层负责及时叫停，模型随后生成方案。审美评分用于筛选候选方向，不代表成片质量概率。
后续方向是把能力下沉到影石 App、X5 单机流程或边缘开发板，减少使用时的设备负担。