AKStream.Next · 文档中心

用图片或文字查找录像中的画面

用图片或文字查找录像中的画面

录像智能检索是需要单独授权的高级模块。它在录像中心 → 图文搜视频提供中文描述搜索和图片搜索,结果指向仍然存在的原录像文件及命中时间。当前节点必须具备同一模型的图像、文字编码能力和可用的向量服务;状态页显示实际后端与索引覆盖情况,不能只凭硬件被检测到就认定模型可用。

开启并选择通道

  1. 在授权中心确认包含“录像智能检索”模块。
  2. 在配置中心 → 录像智能检索开启总开关,选择已实测的模型后端、抽样帧率和节点资源预算。
  3. 在通道配置中先启用自动录像并绑定录像计划,再勾选参与图文搜视频。功能未授权或未开启时,勾选项会显示但不可操作。
  4. 返回录像中心,检查模块状态中的模型、Qdrant、活跃采样路数与覆盖范围。若状态标为“未验证”,结果可能不包含全部录像。

正常索引从正在录制的直播流按预算取画面,不集中读取刚封口的录像文件。关闭通道录像后不再新增该通道的编码;已经关联到仍保存文件的结果继续可查。录像文件删除后,相关搜索结果也必须随之清理。

搜索并播放命中片段

输入例如“有人穿黄色外套进入大门”,或上传一张参考图片。可以限制参与通道、时间范围、最低相似度和最多显示条数,再点击搜索录像。默认最低相似度 45%、最多显示 5 条;可根据实际画面调整。结果显示设备、通道、原录像文件、命中时刻和相似度。结果列表只按预算逐个准备视频画面;点击结果后在弹窗中跳到命中位置播放,避免一页结果同时读取大量录像。

相似度是模型的余弦分数,不是识别置信度或概率,不保证画面一定包含描述对象。阈值过高可能没有结果,请播放原录像核对。录像已删除、暂时不在可读节点或权限不足时,结果可能不再可播放。

图片模式可点击上传或拖入单张 JPG/PNG 参考图(最大 5 MiB),显示缩略图、文件名与尺寸,支持更换或移除。点击参考缩略图可放大查看完整图片,按 Esc、关闭按钮或点击遮罩返回。也可以在资产详情 → 当前通道 → 录像中搜索,初始范围为当前通道;可手工改选其他参与通道或全部参与通道。结果卡片突出命中时间和相似度,设备、流与节点来源可在“来源详情”中展开。已加载的命中画面保留为静态缩略图,打开或关闭录像播放弹窗不会重新定位这些画面。

在录像智能检索设置中,Qdrant 向量目录输入框显示当前使用路径。“选择目录”浏览的是服务器文件系统,可新建并验证空目录;修改保存后会迁移现有向量,迁移期间搜索短暂不可用,旧目录保留。选择未知的非空目录或与原目录相互包含的路径会在应用前被拒绝。

首次安装与模型选择

首次配置的“功能模块”可选择录像智能检索,同时启用录像与托管 MediaServer。选择图文模型和推理后端;开启模块不等于已授权,安装后仍需激活有效模块授权并选择参与通道。

模型 配套图文空间 选择时考虑
Chinese-CLIP RN50 chinese-clip-rn50-official-v1 中文描述;先用实际画面验证分数和吞吐
Chinese-CLIP ViT-B/16 chinese-clip-vit-b-16-official-v1 中文图文匹配;评估加载内存和运行预算
SigLIP2 Base 224 siglip2-base-224-official-v1 独立模型空间;按查询语言和样本现场验证

切换模型后只查询对应的向量空间,不会把旧模型向量混入新模型。新空间尚未建立索引时返回空结果;切回旧模型可继续查询仍有效的旧索引。离线包配套图像、文字模型和分词资产,不需要上传画面到外部模型服务。

“存储与安全”中的 Qdrant 数据目录留空时,使用首个录像根目录下的 RecordingSearch/Qdrant/storage;可以用服务器目录工具手工选择。Docker 应选择持久化挂载内的路径,避免容器重建丢失向量。

按节点选择推理后端

Auto 按可用硬件与模型选择后端。Linux NVIDIA 节点使用 CUDA;Intel GPU 使用 OpenVINO;RK 节点使用 RKNN;macOS Apple Silicon 使用 CoreML(配置值 Mps)。CPU 可用于兼容验证。后端可见、模型加载成功和完整业务通过是不同的状态;Windows Intel GPU 部署也应完成实际模型、录制和搜索验收。

Docker CUDA 部署需映射明确的 GPU 并保留 NVIDIA 驱动接口,Intel GPU 需映射 /dev/dri。计算运行库由镜像交付;不要把宿主计算库目录挂入容器充当离线依赖。多 GPU/NPU 的实际并发受节点资源预算限制。

共享主机输入可避免 Broker 到 C# 的像素传输与额外数组复制;CUDA 映射主机输入和 Intel RemoteTensor 有各自的硬件边界。解码、格式转换及输出读取仍存在数据读写,不能据此宣称全链路没有复制。判断部署是否有效,应查看实际后端和业务结果,而不是只看“零拷贝”名称。

人工补救漏索引

从录像文件重新抽帧只用于补救。默认关闭;管理员临时打开文件补救索引后,可按明确的录像文件 ID 提交补建任务,完成后关闭开关。补救任务受文件并发和节点资源预算限制,不会因为一份录像刚封口就自动触发。批量历史扫描还有单独开关,默认也关闭。

排查无结果

先确认通道实际在录像、已勾选参与、原录像仍保存,再查看模型和 Qdrant 是否就绪、采样是否被容量限制、补救任务是否暂停。搜索 API 返回的 coverage 为 Unverified 时,不应把“没有命中”解释为“所有录像均没有该内容”。第三方调用方式见 录像智能检索 API。