/*********版权所有（C）2014，武汉高德红外股份有限公司*************** * 文件名称：Arith_AIDMonitor.h * 文件标识：目标跟踪 * 内容摘要：执行目标跟踪操作 * 其它说明：无 * 当前版本：固化V2.0 * 创建作者：08400yll * 创建日期：2024.09.02 * * 创建记录： * 修改日期：2022.09.05 * 版 本 号：固化V1.0 * 修 改 人：yll08400 * 内容：1）重捕区域从目标丢失后向外扩展，观测区域设置为固定区域； * 2）。 * 3）。 * 4）。 * 修改记录2：… *******************************************************************/ #ifndef __Arith_TRACK_AI_MAIN_PIPE_H__ #define __Arith_TRACK_AI_MAIN_PIPE_H__ #include "Arith_Common.hpp" #include "PIPE/API_MOT_PipeProc.h" //#include "KCF/API_KCF_Tracker.h" #include "opencv2/opencv.hpp" #define AID_DEPTH_MAX 50 //AID监控邻居目标帧长度 #define AID_NEIBOR_MAX 30 //AID监控邻居目标最大个数 #define AID_FOOT_STEP 0.2 //AID监控踩点的帧频倍率，0.5表示p_GLB_Input->unFreq * AID_FOOT_STEP #define AID_FAST_FRM_PARM 3 //AID监控踩点计算要求最小个数,比如运动方向相似性需要至少3个踩点 //表示AID_FAST_FRM_PARM * p_GLB_Input->unFreq * AID_FOOT_STEP才能使用轨迹判断 #define AID_SLOW_FRM_PARM 6 //AID监控踩点计算要求最小个数,比如轨迹相似性需要至少6个踩点 #define HSV_LIST_LENGTH 20 //hsv历史信息队列长度 #define STATUS_LIST_LENGTH 30 //管道稳定性统计队列长度 #define HSV_NUM 3 //提取主色数量 #define HSV_WIDTH 32 //跟踪框处理范围 #define HSV_HEIGHT 32 typedef struct tagColorHis { FLOAT32 nMin_H; //H分量最小值 FLOAT32 nMax_H; //H分量最大值 FLOAT32 nMin_S; //S分量最大值 FLOAT32 nMax_S; //S分量最大值 FLOAT32 nMin_V; //V分量最大值 FLOAT32 nMax_V; //V分量最大值 FLOAT32 nSum_H; //分量总和 FLOAT32 nSum_S; FLOAT32 nSum_V; FLOAT32 nMean_H; //分量均值 FLOAT32 nMean_S; FLOAT32 nMean_V; SINT32 nColorCnt; //像素数量 FLOAT32 fColorPercent; //分量占比 FLOAT32 fColorMatch; //分量匹配率 }HSV_Para; typedef struct tagColor { SINT32 nColorNum; //主色像素数 FLOAT32 fColorPercent; //主色占比 SINT32 nMatchId; //主色id FLOAT32 fColorMatch; //主色匹配率 FLOAT32 nMin_H; //主色H分量最小值 FLOAT32 nMax_H; //主色H分量最大值 FLOAT32 nMin_S; //主色S分量最大值 FLOAT32 nMax_S; //主色S分量最大值 FLOAT32 nMin_V; //主色V分量最大值 FLOAT32 nMax_V; //主色V分量最大值 FLOAT32 nMean_H; //分量均值 FLOAT32 nMean_S; FLOAT32 nMean_V; FLOAT32 nFliter_H; //分量均值滤波 FLOAT32 nFliter_S; FLOAT32 nFliter_V; FLOAT32 fFliterColorPercent; SINT32 bTargetCnt; UBYTE8 nColorID; //目标颜色类别 UBYTE8 nFliterColorID; //目标颜色类别 SINT32 nCnt; // 已记录的历史响应信息个数 SINT32 nStep; //记录帧间隔 SINT32 nStart; //历史循环队列头 SINT32 nEnd; //历史循环队列末尾 SINT32 nListSize; // 目标遮挡信息数组长度 HSV_Para historyHSV[HSV_LIST_LENGTH]; //历史分量记录 }ColorPara; typedef struct tagTargetStatus { BBOOL bPipeStabFlag; //识别管道是否稳定标志 UBYTE8 nLostFlag; FLOAT32 fWHVar; //宽高变化方差 FLOAT32 fWHMean; //宽高均值 FLOAT32 fPtVar; //中心点位移方差 FLOAT32 fPtMean; //中心点位移均值 FLOAT32 fKFPredicError; //卡尔曼滤波预测误差 POINT32F fKFPredicPoint; //卡尔曼滤波预测点 FLOAT32 fCurrentWH; //当前帧宽高 FLOAT32 fCurrentXY; //当前帧中心点波动 SIZE32F sfSize; //当前帧目标宽高 POINT32F ptCenPos; //当前帧目标中心点 SINT32 nCnt; // 已记录的历史响应信息个数 SINT32 nStep; //记录帧间隔 SINT32 nStart; //历史循环队列头 SINT32 nEnd; //历史循环队列末尾 SINT32 nListSize; // 目标遮挡信息数组长度 SIZE32F historySize[STATUS_LIST_LENGTH];//历史宽高信息 POINT32F historyCenPos[STATUS_LIST_LENGTH];//历史中心点信息 }TargetStatus; typedef enum AITScaleType_tag { CAL_WIDTH = 0, //计算宽度信息 CAL_HEIGHT = 1, //计算高度信息 CAL_WHRATIO = 2 //计算宽高比信息 }AITScaleType; typedef struct tagAIDFeatureFluc { FLOAT32 fStd; //标准差 FLOAT32 fMean; //均值 FLOAT32 fMin; //最小值 FLOAT32 fMax; //最大值 }AID_FEATURE_FLUC; //邻居目标特征 + 邻居目标与主跟踪目标的关系结构体,单帧信息 typedef struct pipeRelationship { BBOOL bLost; //邻居目标当前状态是否在记忆 UINT32 unFrmId; //当前帧编号 ANGLE32F afAngle; //目标方位角、俯仰角 POINT32F pfCenPos; //区域的中心点坐标 SIZE32F snSize; //目标宽高 FLOAT32 fRelationIOU; //邻居目标与主跟踪目标的IOU FLOAT32 fCenDisXY; //邻居目标与主跟踪目标的中心距离 DOUBLE64 dColorHu[9]; //邻居目标的颜色特征(单帧) //DOUBLE64 fReIDArray[512]; //邻居目标的ReID特征(单帧)【】 }LONGRELATION; //邻居目标特征 + 邻居目标与主跟踪目标的关系结构体,单帧信息 typedef struct pipeShortRelationship { BBOOL bLost; //邻居目标当前状态是否在记忆 UINT32 unFrmId; //当前帧编号 ANGLE32F afAngle; //目标方位角、俯仰角 POINT32F pfCenPos; //区域的中心点坐标 SIZE32F snSize; //目标宽高 FLOAT32 fRelationIOU; //邻居目标与主跟踪目标的IOU FLOAT32 fCenDisXY; //邻居目标与主跟踪目标的中心距离 }SHORTRELATION; //邻居目标与主跟踪目标的关系结构体，仅统计观测区域范围内,代表一个周围目标的多帧信息 typedef struct NEIBORTAR { BBOOL bOccupy; //表示被占用标记 BBOOL bMoved; //运动状态是否运动的(累计时序信息统计) BBOOL bCreateBeforeLost; //创建时机是否在主目标丢失前 UBYTE8 ubEnd; //最新帧编号 UBYTE8 ubShortEnd; //队列尾(控制角度位置,实时刷新) UBYTE8 ubLongEnd; //队列尾(控制角度位置,间隔刷新) UBYTE8 ubEndFeature; //队列尾(控制特征) UBYTE8 ubIndex; //在MASTERAIDMONITOR当中占据的索引 UINT16 ubUpdatePoint; //更新点,只有达到更新点才能更新数据 SINT16 uAIDirection; //受监控管道运动方向(累计时序信息统计) BBOOL bUseAIDirection; //方向可用性 SINT32 nAlarmBatchID; //管道告警编号,表示在管道数组当中的索引 SINT32 nRelationCnt; //邻居目标与主跟踪目标建立关系的帧计数 SINT32 nShortRecordCnt; //帧统计次数，每次更新到帧数组进行累加（间隔刷新) SINT32 nLongRecordCnt; //帧统计次数，每次更新到帧数组进行累加（间隔刷新) SINT32 nNoUpdateCnt; //连续未更新帧计数(用来控制监控信息被删除) FLOAT32 fDisStart; //开始距离，开始统计时的距离 FLOAT32 f3sDisMove; //目标在最近3s内的移动距离，像素衡量 ANGLE32F f3sAglMove; //目标在最近3s内的移动距离，角度衡量 ANGLE32F afBornAgl; //目标初始角度 RECT16S rsCurrentBox; SPEED32F sfAglSpeed; //目标方向 SINT32 nReIDDims; //邻居目标的ReID特征维度 FLOAT32* fReIDFeature; //邻居目标的ReID特征(多帧) SHORTRELATION ShortRelation[AID_DEPTH_MAX];//邻居目标实时存储信息数组，目的用于捕获变化(单帧) LONGRELATION LongRelation[AID_DEPTH_MAX];//邻居目标间隔存储信息数组，目的用于寻求稳定(单帧) }NEIBOR; //主跟踪目标结构体,单帧信息 typedef struct FRMMAINOBJ_Tag { UINT32 unFrmId; //当前帧编号 ANGLE32F afAngle; //目标方位角、俯仰角 POINT32F pfCenPos; //区域的中心点坐标 SIZE32F snSize; //目标宽高 }FRMMAINOBJ; //主跟踪目标与周围目标的关系结构体，仅统计观测区域范围内,代表一个周围目标的多帧信息 typedef struct AIDMAINOBJ_Tag { BBOOL bOccupy; //表示被占用标记 BBOOL bLost; //表示当前跟踪管道没有对应的AI识别管道 BBOOL bMoved; //运动状态是否运动的(累计时序信息统计) UBYTE8 ubEnd; //队列尾 POINT32F pfCenPos; //区域的中心点坐标 SIZE32F snSize; //目标宽高 UINT16 ubUpdatePoint; //更新点,只有达到更新点才能更新数据 SINT16 uAIDirection; //受监控管道运动方向(累计时序信息统计) BBOOL bUseAIDirection; //具备方向统计性 SINT32 nStatisticCnt; //帧统计次数，每次更新到帧数组进行累加 UINT32 unExistCnt; //已存在帧数 UINT32 unContiLostCnt; //持续丢失帧计数 UINT32 unContiTrackedCnt;//持续跟踪计数 SINT32 nNoUpdateCnt; //连续未更新帧计数(用来控制监控信息被删除) FLOAT32 f3sDisMove; //目标在最近3s内的移动距离，像素衡量 ANGLE32F f3sAglMove; //目标在最近3s内的移动距离，角度衡量 ANGLE32F afBornAgl; //目标初始角度 DOUBLE64 dColorHu[9]; //主跟踪目标的颜色特征(多帧) SINT32 nReIDDims; //主跟踪目标的ReID特征维度 FLOAT32 fReIDFeature[GLB_REID_FEATURE_DIMS];//主跟踪目标的ReID特征(多帧统一为1个数据) SINT32 nJamCnt; //主跟目标干扰计数 FLOAT32 fTrackIou; //与跟踪目标最大IOU SINT32 nTrackId; //主跟踪识别管道id FRMMAINOBJ FrmRelation[AID_DEPTH_MAX];//建立与主跟踪目标最近的管道目标关系(单帧) ColorPara pColorInfo; }AIDMAINOBJ; typedef struct MASTERTARPIPE { SINT32 nNeighborCnt; //在观测区域的邻域目标个数--正常跟踪数量 UBYTE8 uDevideEvent; //事件判断：主目标和邻域目标分开-合并-分开的过程2-1-2 SINT32 nSameDirectCnt; //同向运动目标个数,X或Y方向15个像素以内，每帧动态更新--也是危险目标 SINT32 nOppositeDirectCnt; //反向交错目标个数 SINT32 nMaxIouId; //与主跟目标最大IOU对应的邻居id FLOAT32 fMaxIou; //与主跟目标最大IOU SINT32 nBestArrestId; //重捕最优目标ID SINT32 nTargetNum; //通过全部条件筛选的目标个数 SINT32 nArrestIdArray[AID_DEPTH_MAX]; //可重捕目标id NEIBOR nNeiborInfo[AID_NEIBOR_MAX];//邻域目标信息，邻域范围最多处理目标个数； AIDMAINOBJ nMainInfo; //主目标信息 }MASTERAIDMONITOR; class AID_Monitor { public: AID_Monitor(); ~AID_Monitor(); private: /************************************* * Method: isIn_Monitor_Info() * Func Discription: 基于输入管道编号，在监控队列当中查询是否存在监控节点 * CreateData: 2024/9/9 * Input Param: SINT32 nPipeID：待查询的管道编号 * Output Param: * Return: BBOOL * Call Relation: * Other Discription: *************************************/ NEIBOR* isIn_Monitor_Info(SINT32 nPipeID, BBOOL& finded); void cal_Recap_Area(GLB_INPUT* p_GLB_Input, OBJECTSTATUS* ObjStatus, PIPE* m_LockingPipe, RECT16S& RecapRect); //计算与跟踪相关的识别管道id void cal_MainPipe_ID(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, OBJECTSTATUS* ObjStatus, PIPE* m_LockingPipe, API_MOT_PIPE* g_GLB_PipeProc); /************************************* * Method: add_newMonitorObj() * Func Discription: 添加新的监控目标，首次创建 * CreateData: 2024/9/9 * Input Param: NEIBOR * pNeibor：被添加到监控队列的位置 * Input Param: PIPE * pAddPipe：被添加的管道 * Output Param: * Return: void * Call Relation: * Other Discription: *************************************/ void add_newMonitorObj(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, OBJECTSTATUS* ObjStatus, NEIBOR* pNeibor, PIPE* pAddPipe, SINT32 nPipeId); /************************************* * Method: delete_MonitorObj() * Func Discription: 删除监控目标 * CreateData: 2024/9/11 * Input Param: NEIBOR * pNeibor * Output Param: * Return: void * Call Relation: * Other Discription: *************************************/ void delete_MonitorObj(NEIBOR* pNeibor); /************************************* * Method: update_Main_Info() * Func Discription: 更新主跟踪目标信息，位置、轨迹、颜色、reID等 * CreateData: 2024/9/11 * Input Param: GLB_INPUT * p_GLB_Input * Input Param: OBJECTSTATUS * ObjStatus * Output Param: * Return: void * Call Relation: * Other Discription: *************************************/ void update_Main_Info(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, OBJECTSTATUS* ObjStatus); //更新主管道目标信息 void update_MainPipe_Info(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, PIPE* pMainPipe, OBJECTSTATUS* ObjStatus); //更新邻居管道目标信息 void update_NeiborPipe_info(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, PIPE* pPipe, OBJECTSTATUS* ObjStatus, SINT32 nPipeId); /************************************* * Method: update_MonitorObj() * Func Discription: 对已添加的监控队列进行维护，包括更新信息，考虑到对地目标通常运动速度较慢， 为了在时序利用有效的空间，得到更加准确的结果，更新数据时间隔0.5S * CreateData: 2024/9/9 * Input Param: GLB_INPUT * p_GLB_Input * Input Param: OBJECTSTATUS * ObjStatus * Input Param: NEIBOR * pNeibor * Input Param: PIPE * pAddPipe * Output Param: * Return: void * Call Relation: * Other Discription: *************************************/ void update_MonitorObj(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, OBJECTSTATUS* ObjStatus, NEIBOR* pNeibor, PIPE* pAddPipe); /************************************* * Method: update_Monitor_Info() * Func Discription: * CreateData: 2024/9/9 * Input Param: GLB_INPUT * p_GLB_Input * Input Param: OBJECTSTATUS * ObjStatus * Input Param: API_MOT_PIPE * g_GLB_PipeProc * Output Param: * Return: void * Call Relation: * Other Discription: *************************************/ void update_Monitor_Info(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, OBJECTSTATUS* ObjStatus, API_MOT_PIPE* g_GLB_PipeProc); /************************************* * Method: get_Recap_Candidate() * Func Discription:在监控信息上获得重捕管道候选 // 排除方法1：在目标丢失前创建的排除 // 排除方法2：在重捕区域外的排除 // 排除方法3：运动方向相反的排除 // 排除方法4：静止运动状态不一致的排除 // 最佳排序：轨迹相似性 + 运动方向相似度 + 位移相似度（相同时间） + 尺度相似性 + 外观特性相似性（颜色、reID）-->综合决策 // 送出目标的时机是目标未丢失，与其它管道无IOU、尺度变化平稳（避免在遮挡、干扰过程中送出） * CreateData: 2024/9/10 * Output Param: * Return: void * Call Relation: * Other Discription: *************************************/ SINT32 get_Recap_Candidate(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, OBJECTSTATUS* ObjStatus, API_MOT_PIPE* g_GLB_PipeProc); //更新邻居目标与主跟踪之间的关系 void update_TrackNeibor_Info(GLB_INPUT* p_GLB_Input, SINT32 nMaxPipeNum, PIPE* pArrayList, OBJECTSTATUS* ObjStatus); //更新目标颜色信息 BBOOL getMainColorInfo(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, RECT16S rsBox, AIDMAINOBJ* pMainInfo, UBYTE8 nMode); //计算目标颜色匹配结果 BBOOL calcMainColorMatchInfo(UBYTE8* img, SINT32 nWidth, SINT32 nHeight, ColorPara* pMainColorInfo, UBYTE8 nMode); //更新目标颜色队列信息 void recordObjColorInfo(ColorPara* pMainColorInfo, BBOOL bSuccess); //颜色信息滤波值估算 void objColorInfoFliter(ColorPara* pMainColorInfo); //清理主目标信息 void memory_MainInfo(); //计算管道目标稳定性 void calcPipeStability(TargetStatus* objPipeStatus, RECT32F rfBox, SINT32 nWidth, SINT32 nHeight); //宽高方差计算函数 FLOAT32 calcWHStability(TargetStatus* objPipeStatus); // 中心点位移MSE计算函数 FLOAT32 calcPositionStability(TargetStatus* objPipeStatus, SINT32 nWidth, SINT32 nHeight); //计算卡尔曼滤波预测误差 FLOAT32 calcKFPredictError(TargetStatus* objPipeStatus); public: UINT16 updateFreq; // 更新频率 FLOAT32 fWStartExpand; // 重捕区域宽度扩展起始值 FLOAT32 fHStartExpand; // 重捕区域高度扩展起始值 //全局变量 RECT16S ObservRect; // 观测区 RECT16S RecapRect; // 重捕区 MASTERAIDMONITOR masterPipeMonitor; // 监控信息 TargetStatus m_pPipeStatus; //cv::KalmanFilter m_kf; UBYTE8 m_ubLostStatus; UBYTE8 m_ubArrestStatus; FLOAT32 m_ArrestWH; //重捕宽高阈值参数 UBYTE8 m_ColorImg[HSV_WIDTH*HSV_HEIGHT*3]; public: //////////////////////////////////////////////////////////////////////////////// //--接口函数声明-- //////////////////////////////////////////////////////////////////////////////// AID_Monitor* Create(); void Destroy(AID_Monitor* obj); /************************************* * Method: Process() * Func Discription: 基于AI检测的管道监控处理 * CreateData: 2024/9/5 * Input Param: PIPE* m_LockingPipe：主跟踪管道 * Input Param: API_MOT_PIPE * g_GLB_PipeProc：管道数组 * Output Param: * Return: void * Call Relation: * Other Discription: *************************************/ void Process(GD_VIDEO_FRAME_S img, GLB_INPUT* p_GLB_Input, OBJECTSTATUS *ObjStatus, PIPE* m_LockingPipe, API_MOT_PIPE* g_GLB_PipeProc); //初始化参数 void initPara(); MASTERAIDMONITOR* getAIDMasterInfo(); }; #endif