Herramientas para el análisis de grandes volúmenes de datos en iniciativas de participación ciudadana

Abstract

La adopción de nuevas tecnologías por parte de la sociedad, como el acceso a banda ancha y el uso de celulares, brinda nuevos canales para que los ciudadanos puedan expresar sus opiniones y conocimientos sobre distintas cuestiones de interés para la sociedad y los gobiernos. Estos nuevos canales no se limitan a las redes sociales, sino que incluyen también otros espacios como la sección de comentarios en periódicos digitales. Toda esta información resulta muy valiosa en los procesos de toma de decisiones de los gobiernos, ya que pueden utilizarla en diversas cuestiones de interés, que pueden variar desde el control y mantenimiento de servicios públicos al monitoreo de la opinión ciudadana sobre temas de políticas públicas. Las instituciones públicas tienen herramientas que permiten al ciudadano reportar problemáticas o realizar peticiones; sin embargo, no poseen soluciones tecnológicas que permitan buscar información relevante, procesarla y visualizarla eficientemente. En particular, existe una carencia de herramientas adecuadas que busquen y consoliden información distribuida en varias fuentes, que consideren la semántica de las opiniones ciudadanas, realizando procesamiento de texto y análisis de sentimiento. En esta tesis se presentan tres herramientas. Una para el análisis visual de peticiones, quejas y reclamos ciudadanos realizados en un municipio, utilizando algoritmos de agrupaciones y diferentes técnicas de visualización. Otra herramienta para la recopilación, visualización y análisis de interacciones gobierno-ciudadanos en Twitter, realizando análisis de sentimiento y ofreciendo diferentes técnicas de visualización. La tercera herramienta es para la recuperación de información e identificación de ítems de información relevantes para el usuario, obteniendo información de Google Noticias, Reddit y Twitter, y mejorando los resultados utilizando un ciclo de aprendizaje activo. Las contribuciones de esta tesis incluyen 1) un resumen de las iniciativas de participación ciudadana reflejadas en trabajos científicos, junto a un análisis y método de clasificación de las mismas; 2) el desarrollo de una plataforma para el análisis de peticiones, quejas y reclamos ciudadanos; 3) el desarrollo de una herramienta para recuperar datos de redes sociales y analizar la actividad de cuentas de gobierno y la interacción de las mismas con los ciudadanos; y 4) el desarrollo de una plataforma para la recuperación de información de diferentes fuentes y la identificación de aquellos documentos más relevantes para el usuario. El desarrollo de estas herramientas y su validación mediante casos de estudio relevantes al área, tuvo como objetivo la identificación de técnicas de minería de datos, de análisis de sentimientos y de visualización adecuadas para la aplicación en el ´área de participación ciudadana.

The adoption of new technologies by society, such as broadband access and smartphones, provides new channels for citizens to express their opinions and share their knowledge on various topics of interest to society and governments. These new channels include, but are not limited to, social networks, blogs and the comments section in digital newspapers. All this information is highly valuable in the government’s decision-making processes since it can be used in various matters of interest, which can vary from the control and maintenance of public services to the monitoring of citizen opinion on public policy issues. Public institutions have tools that allow citizens to report problems or make requests; however, they do not have technological solutions that allow them to search for relevant information, process it and visualize it efficiently. In particular, there is a lack of adequate tools to search and consolidate information distributed in various sources that consider the semantic of citizens’ opinions, performing text processing and sentiment analysis. Three tools are presented in this thesis. One of these tools incorporates the visual analysis of citizen requests, complaints and claims made in a municipality, using clustering algorithms and different visualization techniques. Another tool provides mechanisms for the collection, visualization and analysis of government-citizen interactions on Twitter, performing sentiment analysis and offering different visualization techniques. The third tool was developed for information retrieval and identification of relevant documents for the user. The information is recovered from Google News, Reddit and Twitter, and the results are improved by an active learning cycle. The contributions of this thesis include 1) a summary of the citizen participation initiatives reflected in scientific works, together with their analysis and classification methods; 2) the development of a platform for the analysis of citizen requests, complaints and claims; 3) the development of a tool with the capability of retrieving data from social networks and analyzing the activity of government accounts and their interaction with citizens; and 4) the development of a platform for the retrieval of information from different sources and the identification of the most relevant documents for the user. The development of these tools and their validation through case studies relevant to the area, were aimed at identifying techniques for data mining, sentiment analysis and visualization suitable for its application in the area of citizen participation.