浅谈基于人工智能技术的电梯监控问题

陶超 | 安庆市特种设备监督检验中心       

电梯早就已经走进千家万户，影响着我们每一个人，电梯安全更是牵动着每一个人的神经。基于人工智能技术，电梯可以做到智能监控。通过图像背景识别、卷积神经网络分析，系统检索等技术可以为电梯安全管理工作提供事故预警、应急指挥服务、决策咨询、设备分布查询、动态监管和风险评估，它有着长远的社会效益和经济效益。

电梯监控现况概述

电梯可以说是我国现代化和城镇化进程的一个重要组成部分，2010年我国电梯保有量162.9万台，而截至2019年我国电梯保有量已高速增长至700万台。电梯见证了城市日新月异的变化，与我们每一个人的生活息息相关，但在享受着电梯带给我们便捷生活的同时，也时常面临着电梯故障，甚至是电梯事故的问题。对于电梯这个结构自身而言，大众最为关心的就是轿厢。在传统的认知观念中，轿厢无疑是一个相对封闭的空间，由于电气或机械故障，人员会被滞留在轿厢之中；犯罪分子也会将轿厢挑选为作案现场，实施犯罪行为；老弱病残人士也会在轿厢中遭遇各种各样的麻烦与事故。在社会面上，众多电梯中现在已经安装了常规的摄像头，进行监控，但离电梯轿厢安全还有很大差距。一是当下摄像头所达到的安全监控还只是简单的摄像录像，普遍存在功能单一化，程序简单化的问题。二是安装在轿厢的监控摄像头无法做到实时自我辨别安全隐患，处理安全隐患的能力，无法做到真正意义上的智能识别，存在着画面丢失，危险隐患无法及时捕捉等情况。为此，本文将探讨一种针对电梯轿厢自身以及轿厢内乘员行为进行实时画面监控、智能识别安全隐患和随即分析和判断的研究方法。在轿厢发生异常状态时，通过人工智能技术可以及时地发出报警信息，第一时间通知救援人员开展救援活动，如图1所示。

图1 电梯智能监控

同时还可以监测电梯的异常运行情况等，实现乘客被困在电梯轿厢内、电动车进入、电梯运行状态等情况的紧急处理。

近年来,智能监控系统的研究受到了学术界和工业界的高度关注。国际上很多公司和研究机构已取得了丰硕的成果，现有的监控视频分析算法和产品,按照所针对环境的不同,可分为两类系统:第一类是用于安全监控的系统,这类系统经常用于某些重要区域(如机场、火车站、广场)的安全监控;第二类是用于交通管制的监控系统,这类系统关注于特殊目标(如车辆)的检测与识别,并且通常部署在特定的地方(如交通枢纽等)。但大部分实践产品都是针对开阔场景(如机场)需求而开发的,这些地方空间范围大，目标繁多，因此往往都安装高清摄像头，而针对电梯轿厢内安全这类特殊应用,通常情况下,我们只能获取普通清晰程度的视频数据；由于电梯轿厢是一个狭小的密闭空间,此外电梯轿厢普遍采用室内光源采光，比起户外日光要弱一些，我们往往难以获得目标的正面人脸图像。当下，人工智能的进一步发展，为智能监控系统的性能提升提供了可能，“人工智能+物联网”的强强联合可促进视频监控系统智能化升级。针对社会和技术背景，面对电梯轿厢安全监控何智慧运管提出了探讨，实现一旦电梯轿厢出现问题，可以，联动使用单位、维保单位，做到风险管控，形成基于本项目的创新技术和电梯轿厢内场景的市场监管安全监控运维体系，最终形成一个囊括使用、维保、检验、监管（预留接口）等单位的智慧终端，真正做到关于电梯轿厢内人的异常行为的市场监管效能的提升。联动使用单位、维保单位，做到风险管控，形成基于本项目的创新技术和电梯轿厢内场景的市场监管安全监控运维体系，最终形成一个囊括使用、维保、检验、监管（预留接口）等单位的智慧终端，真正做到关于电梯轿厢内人的异常行为的市场监管效能的提升。联动使用单位，维保单位，监管部门，做到风险管控，形成基于人工智能深度学习技术和电梯轿厢内场景的市场监管安全监控运维体系，形成一个囊括使用、维保、检验、监管（预留接口）等单位的智慧终端，真正做到关于电梯轿厢内安全状况智慧管理效果的提升。

人工智能技术实现电梯监控路径

本文拟通过深度学习技术，利用电梯轿厢安全监控和智慧运维的算法和系统，对采集到的电梯监控视频进行分析，实时检测出一些异常事件（如乘客被困在电梯轿厢内、电动车进入、电梯运行状态等情况）。

本文主要研究内容包括：一是相关深度学习、图像识别相关技术的研究与应用；二是基于智能视觉技术，形成电梯轿厢内安全监管、运维平台的各单元之间的智慧联动。

训练数据获取

深度学习是一种基于训练的机器学习算法，需要人工给定许多有类标的数据。在本项中，我们将采集大量的感兴趣事件的视频片断，如电梯内打斗、摔倒等异常事件的视频断；同时也将采集正常情况下的视频片断，如乘客进入电梯、离开电梯等。人工标定这数据的类别，如是否为异常事件、异常事件的类别（“打斗”类、“摔倒”类、“受困”等），如图2，清晰的定义异常事件种类。

图2 电梯异常事件检测

基于图像的实时异常事件检测

监控视频的数据往往容量巨大，如果直接处理会非常慢、效率会非常低。为了实现实处理，我们将采用基于图像的异常事件检测和基于像的行为分析方法。因此，我们需要先对视频进行结构化分析，即将视频切分为若干镜头、然后在每个镜头上提取关键帧。然后，我们将关键帧输入到卷积神经网络中实现事件识别。卷积经网络是到目前为止最为成功的一类深度学习算法，可以有效提取图像特征并完成分类识别，为了理解卷积神经网络在图片分类任务中做出决策的依据，进而优化模型，降低调参成本，对卷积神经网络进行可解释性分析是十分有必要的。但是，我们的应用有其特殊性，例如我们的视频往往有一个稳定的背景（电梯轿厢的静态图像），如果能够很好的实现背景建模和背景剪除，将非常有利于提高事件检测成功率。本项目通过分析电梯轿厢无人时的图像，利用统计图模型实现背景建模，并将该模型与卷积神经网络相融合，实现背景剪除条件下的事件检测。我们相信通过背景建模可以有效提高事件检测率和事件识别率。

基于视频的离线视频分析

虽然基于图像的事件检测可以实时完成，但是由于没有用到多帧图像间的关联关系，即目标的运动信息，使得检测和识别率的提高受到限制。近些年，随着计算机性能的显著提升，人们开始试图直接对视频进行处理。尤其是基于视频的深度学习算法受到研究人员的追捧。本文拟提出一个基于视频的深度学习算法，通过提出一个带有记忆单元的卷积神经网络，同时处理时间上连续的若干张图像，挖掘图像间的关联关系，完成行为分析。当允许离线处理视频时，我们可以采用基于视频的识别算法，实现海量数据的分析。

高效的图像视频检索系统

监控视频往往是24小时不停歇的产生，这些数据在将来可能有用。例如发生在北京颐家酒店电梯门口的打人事件，就是通过分析存储的监控视频实现破案的。然而，随着大量视频数据的产生和记录，想要从海量视频库中找到感兴趣的视频片断或事件逐渐变得越发困难。因此本项目拟开发一个针对海量电梯监控视频数据库的高效检索系统，实现感兴趣事件的快速检索。具体地，我们利用词带模型从视频数据中提取特征，实现对视频数据的描述，然后通过建立倒排索引表实现高效检索。

设计一个智能监控演示平台

为了更好的检验我们提出算法的实用性，我们需要搭建一个演示平台，将提出的算法应用于该平台，通过实际使用发现和修正算法中的问题，为将来的大规模应用打好基础，此外在此平台上，将搭建本研究结果主要针对的问题和需求的数据模型，记录相应的参数，完成既定目标。

基于人工智能技术实现电梯监控的研究方法

本文拟采用基于深度学习的机器学习技术实现电梯监控视频的研究。深度学习已经成为当今最为主流的智能学习方法，本文针对电梯安全应用，设计具有针对性的深度学习算法，一方面探索相关的理论问题，如算法的收敛性，性能的上下界等；另一方面发掘算法的实用性，通过细节设计提升算法的实际效果；并且通过演示验证平台检验算法的效果。总之，采取理论结合实践的研究、试验方法，本文的技术路线主要有以下几种。

基于背景剪除的图像事件检测

采用基于图像的异常事件检测和基于图像的行为分析方法实现视频的实时处理。关于视频结构化分析，提出基于颜色直方图的镜头检测算法。通常在镜头切换处会出现显著的图像变化，因此我们通过分析图像颜色直方图是否发生巨变来判断是否出现镜头切换。对于每个镜头上的关键帧，我们提出一个包含背景剪除得卷积神经网络，进而实现事件识别。卷积神经网络是到目前为止最为成功的一类深度学习算法，可以有效提取图像特征并完成分类识别。然而我们的应用具有一定的特殊性，例如视频往往有一个稳定的背景图像，如果能够很好的对实现背景建模和背景剪除，将非常有利于事件检测成功率的提高。本项目通过提出一个统计图模型实现背景建模，并将该模型与卷积神经网络相融合，提出一个包含背景剪除层的卷积神经网络，实现既有稳定背景情况下的事件检测。

基于含有记忆单元的视频离线分析算法

为了利用多帧图像间的关联关系，主要是目标的运动信息，本项目提出一个基于视频的深度学习算法，通过提出一个带有记忆单元的卷积神经网络，同时处理时间上连续的若干张图像，挖掘图像间的关联关系，完成行为分析。该模型包含一个链式结构，通过该链将多个计算单元连接到一起，每个单元处理一个视频帧。单元之间通过各种门实现通信，进而将多帧图像聚合到一起，实现联合分析。

基于词带模型的高效图像检索系统

想要从海量视频库中找到感兴趣的视频片断或事件是一件非常困难的事情。本项目提出一个针对海量电梯监控视频数据库的高效检索系统，实现感兴趣事件的快速检索。具体地，我们利用词带模型从视频数据中提取特征，将图像块表示成视觉单词，将图像表示成视觉文档，将视频表示成视觉文档库。通过词带建模，找到面向视频的语义主题，通过主题分析实现视频的结构化和表示。另一方面，通过建立面向主题和视觉单词的倒排索引，实现快速特征匹配，进而完成高效检索，如图3。

图3 高效检索

基于GPU加速计算的智能监控演示平台设计

通常的CPU无法高效处理海量的视频数据，为此我们利用GPU实现加速计算。深度学习能够成功应用的一个前提就是可以用GPU加速计算完成。然而，我们还需要针对本项目研究的算法根据现场实际情况进一步优化，使得GPU加速可以发挥最大作用。

结语

随着经济的快速发展，社会整体生活水平的提高，电梯已经成为了我们绝大多数人工作生活的一部分。本文所讨论的内容有利于为各级政府提供电梯设备综合信息，为电梯安全管理工作提供事故预警、应急指挥服务、决策咨询、设备分布查询、动态监管和风险评估等，它有着长远的社会效益和经济效益。当然，由于应用环境的复杂性以及电梯自身的电气和机械原因，本文所探讨的有待进一步优化和提高。