Nostrum – FastPay, reconoce producto, precio y cobra

A nadie le gusta hacer colas para esperar a que le cobren, aunque hay momentos del día en que para ciertos comercios es inevitable la acumulación de clientes. La hora de la comida es uno de esos momentos y especialmente en los locales de comida rápida, donde los clientes deben fluir de forma permanente y constante.

Nostrum (130 locales en España) es una cadena de restaurantes nacida en Barcelona en el año 1998, con mucho ingenio y soluciones innovadoras de comida rápida, saludable y tradicional, para consumir en el propio local o para llevar.

Algunos de los restaurants de Nostrum, especialmente aquellos situados en zonas de oficinas o con alta densidad de estudiantes tienen una gran afluencia de público al mediodía, en momentos puntuales, y esto, a veces, genera colas para pagar.

A partir de la idea de acelerar el “checkout” del propio Nostrum, Boira Digital y Pervasive Technologies han desarrollado una solución de cobro rápido automatizada para sus restaurantes, basada en Inteligencia Artificial.

FastPayNostrum

 

Boira Digital es una empresa dedicada a desarrollar soluciones para retail con el objetivo de mejorar la experiencia de compra y Pervasive Technologies es una empresa especializada en el desarrollo de modelos predictivos basados en Machine Learning y Deep Learning, especialmente en temas de visión e imágenes.

platos_bandeja

 

El sistema de Inteligencia Artificial

ECajaNostruml sistema de AI desarrollado consiste en capturar imágenes de las bandejas de comida dentro de una caja automática, procesar las imágenes mediante un módulo compuesto por varias redes neuronales y extraer la lista de productos presentes en la bandeja.

Este sistema realiza de forma simultanea la localización de los elementos presentes en la bandeja y su reconocimiento. El proceso consiste en dos pasos, primero realizar la localización a partir de un modelo basado en un mapa de activación de clases y sus correspondientes cajas de localización. En una segunda fase, para cada caja de localización se predice el producto mediante un modelo de clasificación.

 

 

Modo de ejecución

El módulo, conjunto de modelos, puede ejecutarse en Google Cloud, en un ordenador conectado a la red del restaurante o incluso en la propia caja mediante la utilización de una cámara inteligente que combina la captura de imágenes con su procesamiento en un dispositivo compacto.

Para el procesamiento en la nube recurrimos al Cloud de Google (GCP) donde disponemos de entornos de máquinas virtualizadas o en docker, o incluso Google Cloud AI para ejecución masiva y entrenamiento de los modelos.

Para ejecución local en el ordenador de gestión del restaurante recurrimos a Tensorflow que se ejecuta en un entorno dockerizado, con las mismas funcionalidades que si estuviera en cloud.

En el caso que se quiera ejecutar el modelo integrado en un dispositivo de cámara inteligente, disponemos de una cámara que combina la captura de imágenes con su procesamiento en un dispositivo especializado NVIDIA Jetson TX1. Esta tarjeta es un supercomputador de tamaño reducido, con 256 cores CUDA, CPU de 64 bit, capacidad de procesamiento de más de 1 TeraFLOP con un interface para cámaras de hasta 1400 MPix/s.

HeurekaAI_camara_JetsonTX1

 

Evolución futura

El sistema irá incorporando toda la gama de productos de Nostrum, en los próximos meses, y se espera que esté en producción en los nuevos restaurantes, en España y el extranjero.

FastPay puede ser utilizado en restaurantes de otras cadenas e incluso en otros sectores, especialmente en retail, pudiendo ser adaptado al reconocimiento de otros tipos de productos.