Análisis del tráfico rodado en Bélgica usando Azure

Abstract

RESUMEN: Hoy en día el Big Data y la nube están en la mayoría de los servicios que utilizamos sin que ni siquiera seamos conscientes. Son una necesidad para el continuo desarrollo a día de hoy. Traffic Monitoring se trata de una plataforma de datos con la cual se procesan los datos que provienen de sensores de tráfico rodado que el gobierno belga tiene instalados a lo largo de sus carreteras. El sistema es capaz de procesar millones de registros por hora a un coste muy bajo a la vez que es capaz de servir resultados e información relevante en un periodo de tiempo muy bajo manteniendo una latencia aceptable a la hora de ofrecer la información en tiempo real. El producto ha sido desarrollado utilizando tecnologías que están siendo utilizadas por las compañías más punteras del mundo en el momento de su desarrollo como son BP, Alibaba, Tencent Games, McAfee o UpWork como pueden ser Delta Lake o Spark.

ABSTRACT: Nowadays the Big Data and Cloud are in most of the services we use, and we aren’t aware of it. They are a necessity for our continuous development in the world today. Traffic Monitoring is a data platform built in Azure that processes data retrieved from traffic sensors installed in the Belgium roads by the government. The system is capable of processing millions of records per hour at a very low cost while at the same time it is able to serve relevant results and information in a very low period of time while maintaining an acceptable latency in providing the information in real time. The product has been developed using technologies that are being used by the world’s leading companies such as BP, Alibaba, Tencent Games , McAfee or UpWork Some of the technologies are Delta Lake and Spark.