En esta publicación, hablaremos sobre cómo resolvimos el problema de determinar el hecho de fumar a través de análisis de video de objetos en Intel NUC. En la entrada, las transmisiones de video de las cámaras de vigilancia que se decodifican se cortan en cuadros en la computadora, y luego cada cuadro (teniendo en cuenta el divisor de velocidad de cuadros) se entrega a una red neuronal que detecta la presencia de un hecho de fumar y devuelve la probabilidad de un evento.
Intel NUC8i5BEK
Ahora consideremos con más detalle los problemas, las principales diferencias con respecto a las soluciones existentes en el mercado, así como los indicadores obtenidos de velocidad y número de subprocesos.
En Rusia, el 1 de junio de 2014, entraron en vigencia las nuevas normas de la Ley Antitabaco. La ley contra el tabaco regula las relaciones que surgen en el campo de la protección de la salud de los ciudadanos de los efectos del humo de tabaco circundante y las consecuencias del consumo de tabaco: está prohibido fumar en trenes de larga distancia, en plataformas de pasajeros, en hostales y hoteles, locales comerciales, mercados, cafeterías, bares, restaurantes. .
Para combatir el tabaquismo, muchos estados han promulgado una prohibición de fumar en lugares públicos. En todas las oficinas y teatros, se eliminaron las "salas de fumadores", y las salas de fumadores se eliminaron en los establecimientos de restauración.
La introducción de las prohibiciones descritas anteriormente implica controlar el cumplimiento de las normas y reglamentos establecidos. Hasta la fecha, se utilizan una variedad de sensores de polvo y analizadores de gases (por ejemplo, CO2) para este propósito. El principio general de funcionamiento de estos dispositivos es el siguiente:
El principio general de funcionamiento de varios sensores de recolección de polvo y analizadores de gases.
El sensor detecta cambios en el entorno y el microcontrolador de control crea un evento de reacción de acuerdo con un algoritmo predeterminado.
Una alternativa a los sensores de recolección de polvo y analizadores de gases puede ser la analítica de video de objetos utilizando redes neuronales, donde la entrada es una transmisión de foto o video de una cámara de vigilancia, y la salida es la probabilidad de la presencia de tabaco u otras composiciones en el marco o conjunto de marcos.
Hay varias opciones para implementar el complejo:
Sistema separado en un diseño compacto para instalación en la instalación Sistema centralizado con transmisión y procesamiento de datos en el centro de datos con la capacidad de utilizar los sistemas de videovigilancia existentes Opción híbrida, cuando parte de los datos se procesan en la vecindad inmediata de la fuente de datos, y parte se procesa en el centro de datos con almacenamiento centralizado de los resultados de ambos sistemas
Consideremos con más detalle:
Diagrama de bloques general del funcionamiento del complejo hardware-software para la detección de tabaquismo.
La composición del complejo cuando se usa en las inmediaciones de la fuente de datos:
Cámara IP / cámara con conexión directa o un conjunto de cámaras (utilizadas como fuente de datos). Interruptor (al conectar más de una fuente de datos). Dispositivo ejecutivo, calculadora Intel NUC8i5BEK.
Con el bajo costo del complejo de hardware y software, se resuelven muchas tareas de seguridad importantes y significativas, tales como:
Monitorear el cumplimiento de las normas de seguridad contra incendios con alta precisión y con una grabación fotográfica del hecho del delito (incluidos los datos sobre la hora, fecha, lugar del delito) Identificación de los hechos de los delitos en industrias y empresas peligrosas cuyas actividades están asociadas con el uso de materiales inflamables y lubricantes combustibles modo en objetos sensibles
Un caso de uso válido es la arquitectura del servidor, en la que los datos de las cámaras se transmiten al centro de datos para su posterior procesamiento:
Arquitectura de servidor para procesamiento de datos
Al escalar y usar este esquema, como un dispositivo para inferencia centralizada, se supone que debe usar el mismo Intel NUC8i5BEK, pero en un factor de forma diferente (servidor 1U):
Servidor para inferencia basado en 8xIntel NUC en factor de forma 1U
Para detectar el hecho de fumar en la foto (cuadros del flujo de video entrante), se utiliza la red neuronal de la topología SSD Mobilenet v2 del Open Model Zoo. La red se entrena previamente en el conjunto de datos COCO y se entrena más en Tensorflow. Luego, el modelo se convirtió a través de Intel OpenVINO para una mayor operación en la CPU / GPU con el fin de optimizar el costo de FPS. Rendimiento del modelo después de la conversión:
En total, en un Intel NUC8i5BEK con un valor de divisor de trama de 5 (25 FPS / 5 = 5 FPS en la entrada), se pueden procesar hasta 40 transmisiones sin tener en cuenta el costo de la decodificación. Cuando se utiliza la decodificación de hardware VAAPI y el último controlador intel-media, los costos de decodificación serán mínimos.
Una de las ventajas del marco Intel OpenVINO es la capacidad de transferir redes entre diferentes dispositivos, por ejemplo, el mismo modelo con una modificación mínima se puede ejecutar en CPU, GPU, FPGA, VPU y otros dispositivos.
En aras del experimento, se lanzó un modelo para detectar el hecho de fumar en el Intel Neural Compute Stick 2 basado en Myriad X. Resultados:
Intel NUC8i5BEK e Intel NCS2
Basado en PC industriales con placas base de AAEON u otros fabricantes con chips MyriadX integrados, puede obtener y usar soluciones industriales.
Tableros industriales con MyriadX a bordo de AAEON
Para demostrar el funcionamiento de una red neuronal, se implementó un bot de Telegram: https://t.me/smokers_recognition_bot. La entrada es la imagen, y la salida es la probabilidad de fumar en ella. Intentamos, miramos, experimentamos …
La interferencia se realiza en la GPU Intel NUC8i5BEK.
Detector de humo Telegram Bot Interface
Se pueden observar las siguientes ventajas:
Existe la posibilidad de procesar datos de múltiples fuentes en un solo lugar; existe la posibilidad de detectar el hecho de fumar a una distancia limitada solo por la distancia focal de la cámara, una fuente de datos, por ejemplo, 5, 50 o 100 m (tales indicadores no pueden obtenerse con sensores y / o dispositivos clásicos) no solo cigarrillos clásicos, sino también otros dispositivos (por ejemplo, vapores o mezclas para fumar) Presencia de la posibilidad de preservar el hecho del delito (metadatos de fotos y eventos, como fecha, hora, ubicación Proposición) por fumar en el mestahNalichie mal posible adaptar las cámaras existentes característica de detección del hecho de fumar y las reacciones a la misma capacidad sobytieNalichie para integrarse con los sistemas existentes para la supervisión y vigilancia de sistemas, por ejemplo, Zabbix, Telegraf, Hikvision NVR y otros.
Considere algunos objetos y problemas para la aplicación del complejo de hardware y software descrito para la detección de tabaquismo en la transmisión de video:
Pasillos de centros de negocios y otros edificios y estructuras, huecos de escaleras, escuelas y jardines de infancia (debido a la ineficacia de los sensores de humo y otras soluciones existentes en espacios abiertos y en zonas expulsadas) estaciones de servicio (debido a la ineficiencia de los sensores de humo y otras soluciones existentes en espacios abiertos y en zonas sopladas) Metro (debido al área grande, las alturas del techo y la capacidad de conectar múltiples cámaras a un solo sistema) Estaciones y áreas de espera (debido al área grande, las alturas del techo y la capacidad de conectar múltiples cámaras en unidades un sistema diferente) Terminales del aeropuerto, pistas de aterrizaje (debido a la gran área, las alturas del techo y la ineficiencia de los detectores de humo al aire libre) Locales residenciales y de oficinas (para engañar a los sensores existentes, solo abra la ventana) Cafeterías y restaurantes (para engañar a los sensores existentes, solo abra la ventana ) Barras (para engañar a los sensores existentes, solo abra la ventana)
