A medida que la información en general se digitaliza y aumenta el número de dispositivos inteligentes e interconectados, así como los servicios en la nube, crece el volumen masivo de datos. Solo imagine cuántas transacciones electrónicas ocurren a diario en el mundo, todos los comentarios, fotografías, videos y otros contenidos que se suben a las redes sociales y las búsquedas en internet.
Desde hace años se habla del concepto de “Big Data” para referirse a toda esta información y se plantea que su análisis permite desarrollar nuevos sistemas de predicción.
Los comentarios y datos que suben las personas a las redes sociales y sitios web, por ejemplo, pueden dar luces sobre cómo se difunde la información, sobre la opinión pública en temas de salud, política y otros, hasta el alcance de un fenómeno, como una pandemia. La información también es útil para investigaciones en ciencias sociales, para impulsar la innovación, y para la toma de decisiones en las organizaciones.
Este fue uno de los temas abordados la semana pasada durante la gira de actualización tecnológica empresarial Technology Day en Panamá, que se realiza desde hace ocho años, y que concluirá en octubre próximo en República Dominicana.
Marcelo Sztainberg, científico de datos, doctor en Matemática Aplicada y Estadística, y vicedecano de la Facultad de Artes y Ciencias de la Universidad Northeastern Illinois, se refirió al rol del científico de datos, que consiste en describir, predecir e informar.
El secreto de “Big Data” es enfocarse más en la pregunta que en las respuestas, señaló. “Tenemos que entender la información disponible, aún si es más de lo que podamos procesar. El siguiente paso es poder predecir. Y finalmente, nuestra tarea como científicos de datos es informar”.
Pero, como explicó, si se estudia un asunto por seis meses y se produce un informe de mil 600 páginas, es probable que la persona interesada pueda leer una buena descripción pero, la información crucial en tiempos de Twitter debe ser más sucinta.
En el pasado, “Big Data” era un tema más teórico y se empleaba la estadística clásica para analizar los datos, pero ahora hay una mayor capacidad de almacenar información, al alcance de más compañías a las cuales les interesa extraer información útil y rápido, que les ayude a optimizar su rendimiento y a posicionarse.
“Big Data” comprende grandes volúmenes de datos que se generan en buscadores, redes sociales, YouTube, etc., una variedad de sistemas, transacciones, bases de datos, texto, video, sensores, periféricos. Todo a gran velocidad, en tiempo real. Esta tendencia plantea retos en torno a la captación de datos, su almacenamiento, procesamiento, visualización, seguridad y análisis.
En estadística clásica se usan mucho las simulaciones, pero al bajar los costos de almacenamiento y con la proliferación de sensores y sistemas de información en la vida cotidiana, se generó un nuevo paradigma en la estadística. A menudo se requería analizar una muestra representativa, pero ahora se pueden hacer predicciones con base a un universo.
La abundancia de datos viene en diferentes formatos, hay información incompleta o incorrecta, pero es importante la veracidad de la información para que esta “aporte algo”. Hay que tener cuidado con la calidad de los datos, mencionó Sztainberg.
El científico de datos trata de describir la información y, si tiene una buena lectura, puede predecir comportamientos, actitudes, prácticas. La información es clasificada por valores, categorías, clases, orden. Además de la estadística tradicional se usan algoritmos de agrupamiento.
Se debe determinar el método correcto a aplicar para interpretar la información, formular el problema y la pregunta correcta. Presentar los conocimientos para facilitar la toma de decisiones. Visualizar los datos, crear reportes que sean informativos y saber usar los gráficos. Al final del proceso, lo que se busca es generar un reporte, no de miles de páginas, sino breve, que sea válido para quien debe tomar una decisión.
Dentro de esta tendencia y su potencial, hay elementos a considerar, como el almacenaje y mantenimiento de los datos y la ausencia de talento para extraer un conocimiento útil. Saber de programación o de administración no es suficiente. En Estados Unidos, dijo Sztainberg, no hay mucho personal especializado en esta materia y tomará unos años contar con suficientes personas con talento TI y matemática.