Innova-tsn en el SAS Hackathon 2024
El equipo de Innova-tsn ha participado recientemente en la prestigiosa competición SAS Hackathon 2024. Este año, decidimos plantearnos el reto de diseñar una solución innovadora para una situación social crítica: la pobreza y la vulnerabilidad.
Nuestra herramienta, diseñada con SAS Viya y potenciada por Grandes Modelos de Lenguaje (LLMs), se enfoca en analizar contenido digital en tiempo real de plataformas como Facebook, X, Google News y Google Trends. A través de este enfoque, se busca identificar posibles problemáticas sobre lo que percibe la ciudadanía en redes sociales y medios de comunicación, ofreciendo una perspectiva sobre las zonas geográficas donde existe mayor pobreza y vulnerabilidad. Este método nos ayuda a comprender el bienestar social, las expectativas de vida y su relación con el nivel de ingresos y el acceso a bienes y servicios.
Como punto de partida para este proyecto, buscamos entender la realidad socioeconómicas de Colombia y los métodos implementados para la medición oficial de pobreza en el país a través del Departamento Administrativo Nacional de Estadística – DANE. En Colombia hay metodologías de medición: pobreza monetaria y pobreza multidimensional. La primera evalúa el ingreso per cápita de los hogares frente los ingresos requeridos para cubrir la canasta básica de alimentos, mientras que la segunda mide el acceso a bienes y servicios y carencias en la calidad de vida de los hogares diferenciando cinco dimensiones: educación, salud, trabajo, vivienda y condiciones de la niñez y adolescencia. Los métodos tradicionales requieren de encuestas costosas que requieren de largos periodos de recolección y no permite la desagregación por zonas geográficas dadas las limitaciones con el tamaño de muestra, lo que genera un rezago en la publicación de resultados y la imposibilidad de análisis desagregados a nivel geográfico limitando la asignación eficiente de recursos. Nuestra solución integra datos en tiempo real de diversas fuentes, cerrando una brecha crítica en el análisis socioeconómico y aportando a la focalización de programas sociales.
El desarrollo de nuestra herramienta comenzó con la identificación de fuentes clave de información como Google Trends, Google News, Facebook y X. A partir de estas plataformas, se realizó la búsqueda con base en las 5 dimensiones establecidas por DANE para el IPM colombiano y teniendo en cuenta la temática, incluimos dos indicadores más para la búsqueda y categorización de información: desigualdad y hambre.
Utilizando técnicas de web scraping a través de la biblioteca Selenium de Python, recolectamos los textos relacionados con las temáticas definidas a través de noticias, búsquedas y comentarios en redes sociales, los cuales posteriormente fueron analizados con LLMs y SAS Viya. Este análisis incluyó la eliminación de textos no relacionados mediante similitud coseno, la categorización del sentimiento de las publicaciones (positivo, neutro o negativo) y la identificación de la ubicación geográfica a través de nombres de departamentos o municipios.
Los textos y comentarios de los usuarios se estructuraron en tres variables: Departamento/Región, Dimensión y Sentimiento. Esto nos permitió construir indicadores para identificar las proporciones de textos negativos que indican alertas sobre problemáticas sociales. Como resultado, construimos un indicador agregado por departamento y dimensión, facilitando la identificación de áreas prioritarias y proporcionando un resumen de las alertas para los tomadores de decisiones.
Nuestra herramienta no solo identifica zonas de alta vulnerabilidad, sino que también escucha la voz de la ciudadanía para facilitar el enfoque y la efectividad de la implementación de políticas y programas sociales, permitiendo una mejor distribución de recursos. La integración de técnicas de IA Generativa potencia nuestra solución, habilitando el análisis de grandes volúmenes de datos.
Con un gran potencial de escalabilidad, nuestra herramienta puede adaptarse para monitorear cambios en la percepción pública respecto a cuestiones económicas, desastres naturales y situaciones políticas. Este enfoque innovador tiene el potencial de revolucionar la forma en que se distribuyen recursos a nivel global, estableciendo un nuevo estándar para el análisis y comparación de problemas sociales en diferentes regiones.
Como desarrollos futuros de esta solución, para tener un mayor alcance se podría realizar una interfaz con un chatbot que le permita indagar más sobre las problemáticas encontradas, ofreciendo a los responsables de la política pública respuestas a preguntas que los métodos tradicionales no pueden abordar.
Estamos entusiasmados con las oportunidades que nuestra herramienta ofrece en la transformación del análisis socioeconómico y la focalización de programas sociales.
Creemos que, al utilizar datos en tiempo real y la Inteligencia Artificial, podemos contribuir a un futuro más equitativo y sostenible para todos. Además, estamos muy orgullosos de haber participado, un año más, en este prestigioso concurso internacional como es el SAS Hackathon 2024 y esperamos seguir haciéndolo en las siguientes ediciones.
Este año, hemos conseguido obtener el 3º puesto a nivel mundial en la categoría Data4Good, además del reconocimiento del jurado con el emblema People’s Choice Winners.
¡Gracias por acompañarnos en este viaje hacia la innovación y el cambio social!
