为保证多模态大模型使用效果,请仔细阅读以下内容并正确配置。
0. 使用须知
- 使用前请确认购买的设备是否支持大模型,如支持,请阅读如下内容。
- 大模型的核心能力为中低准确率复杂语义算法的复审与自定义新算法的创建。
- 安全帽检测等高准确率算法无需大模型复审,可依据复审算法列表创建复审任务。
- 对于自定义新算法,在人机交互模式中,测试好稳定的提示词后创建新任务。
1. 配置说明
1.1 算法复审
第一步: 点击【大模型】-【复审任务】-【新建任务】
第二步: 在弹出的页面中填写【任务名称】,填写算法名称、选择数据源,并填写【提示词】。(对复审列表中的算法已填写了默认值,非必要,无需修改)。
第三步: 在【高级选项】中填写命中条件与未命中条件。(对复审列表中的算法已填写了默认值,非必要,无需修改),完成后点击【保存】。
第四步: 在【告警记录】中,查看大模型的复审结果。"确认"表示大模型认为小模型处理结果正确,“误报”表示大模型认为小模型处理结果错误。“未处理”表示大模型还未对小模型结果复审。
2.2 自定义新算法
第一步: 制作一个新算法包。方法如下。
- 点击链接,下载示例算法包。
- 修改示例算法包的算法名称。四个修改项,比如开发的算法包为“黄色栏杆门打开”,可将下图中的"timed_photography"修改为"door_open"。
- 修改示例算法包中文名称、算法描述。比如ch_name: 黄色栏杆门打开检测,desc:适用于罐笼黄色栏杆门打开检测。
- 修改json文件算法名称与告警播报内容。如"ch_name": "黄色栏杆门打开检测","sound_text": "黄色栏杆门打开检测告警"。
- 点击链接,下载算法加密工具。下载完成后,点击【算法加密】
- 在第二个文本框中输入,待加密算法的路径。完成后点击【确认】,选择【算法包】后,点击OK。
- 完成后,点击【加密】。加密后生成bin文件。
- 在【算法仓库】-【算法导入】中,导入加密完成的bin算法包。
- 在【视频接入】中对【摄像头】或视频流,绑定新自定义的算法。
第二步: 点击【大模型】-【人机交互】,在输入指令中输入大模型提示词,测试大模型指令输出的准确性。
如下图想开发一个黄色栏杆门开闭状态检测算法。可输入的测试提示词如下。
仔细观察图片,判断图片中黄色栏杆门的状态?
选项:
A. 黄色栏杆门打开状态
B. 黄色栏杆门关闭状态
从上述选项中,选择正确答案,只输出选项。
测试大模型对该指令的响应是否正确,通过大量样本测试与提示词修改,筛选出最佳提示词。
第三步: 点击【大模型】-【复审任务】-【新建任务】,在弹出的压面中填写【任务名称】,选择【算法名称】与【数据源】,填写在人机交互中测试好的【提示词】,在【高级选项】中填写【命中条件】即什么情况下告警,与【非命中条件】即什么情况下不产生告警。完成后点击保存。
第四步: 在【告警记录】中,查看大模型审核结果。自定义新算法目前采用的也是复审逻辑,即对定时抓图进行复审,若“确认”表示真正的告警事件,若“误报”表示非告警事件或大模型理解错误,将正报误认为误报,造成的审核漏报,若“未处理”表示大模型未进行复审。
真诚点赞 诚不我欺
回复