Referencias de Interés
28/11/2012
Concepto de BIG DATA y su aplicación a defensa y seguridad
En la película “Cortocircuito”, de 1986, el robot Número 5 expresaba su necesidad de conocimientos con la frase: ¡datos, necesito más datos!. Hoy en día alimentar esa necesidad no sería ningún problema, solamente en 2010 se generaron más de 1200 exabytes de información (un exabyte equivale a 1000 millones de gigabytes). Enmarcando el ejemplo en el ámbito de la defensa, baste decir que durante 2009 los UAVs de EE.UU. remitieron a sus mandos de control el equivalente a 24 años de grabación.
Sin embargo, hoy en día “Número 5” tendría problemas para:
- Almacenar la información que recibiera.
- Procesar y analizar esa información en forma y en tiempo. El 95 por ciento de esos 1200 exabytes creados en 2010, eran datos no estructurados. Este volumen de datos, conjuntamente con la falta de estructura, supone un desafío técnico para los sistemas de bases de datos relacionales existentes hoy en día.
En estos últimos años, los ámbitos empresarial, académico, investigador y de la administración han estado haciendo frente a esta avalancha de datos, con la ayuda de un nuevo término, el Big Data. Aunque no todos estos ámbitos comparten una visión común sobre qué comprende el término Big Data, ni sobre el tipo de aplicaciones de Big Data a sus respectivos intereses. Así, mientras en el ámbito empresarial e investigador, las aplicaciones están bastante definidas, en el ámbito de la administración, donde la abundancia de datos es también un problema y una oportunidad, no está tan desarrollada la aplicación de Big Data para obtener de esos datos un valor añadido que se convierta en optimización e innovación en el servicio público.
¿Cómo podemos definir Big Data? Una de las definiciones más aceptadas es “el término que describe grandes volúmenes de datos (de terabytes pasamos a zetabytes) que se generan a gran velocidad (pasamos de datos en lotes/archivos a datos en “streaming”), con una posible componente de complejidad y variabilidad en el formato de esos datos (pasamos de datos estructurados a datos semi-estructurados o no estructurados) y que requieren de técnicas y tecnologías específicas para su captura, almacenamiento, distribución, gestión, y análisis de la información”.
Otras acepciones más escuetas y que aportan nuevas perspectivas son:
- “Se considera Big Data cuando el volumen de los datos se convierte en sí mismo parte del problema a solventar” (O’Reilly Radar).
- “Las tecnologías de Big Data describen un nuevo conjunto de tecnologías y arquitecturas, diseñadas para extraer valor y beneficio de grandes volúmenes de datos con una amplia variedad en su naturaleza, mediante procesos que permitan capturar, descubrir y analizar información a alta velocidad y con un coste reducido”. (EMC/IDC)
Hay que hacer énfasis que Big Data no es una tecnología en sí misma. Si no más bien con un planteamiento de trabajo para la obtención de valor y beneficios de los grandes volúmenes de datos que se están generando hoy en día. Por lo tanto, además de identificar las posibles plataformas tecnológicas que sustenten nuestras actividades de Big Data, en el planteamiento se deben contemplar aspectos como los siguientes:
- Cómo capturar, gestionar y explotar todos estos datos.
- Cómo asegurar estos datos y sus derivados, así como su validez y fiabilidad.
- Cómo disponer la compartición de estos datos y sus derivados en la organización para la obtener mejoras y beneficios.
- Cómo comunicar estos datos y sus derivados (técnicas de visualización, herramientas, y formatos) para facilitar la toma de decisión y posteriores análisis.
Aplicación a Defensa
Aunque la generación de esta inmensa cantidad de datos, así como la necesidad de procesarlos y explotarlos de manera eficaz y eficiente es transversal a toda nuestra sociedad, qué duda cabe que el ámbito de la defensa es uno de los entornos donde el Big Data más puede aplicarse y ofrecer beneficios.
De manera general, la aplicación de “Big Data” a defensa persigue capturar y utilizar grandes cantidades de datos para poder aunar sensores, percepción y decisión en sistemas autónomos, y para incrementar significativamente el “situational awareness” del analista y el combatiente.
Como suele suceder en otras áreas del ámbito de defensa, el Departamento de Defensa (DoD) de EEUU, lleva el liderazgo mundial con una gran actividad ya en marcha, de hecho el EEUU y el DoD han identificado BIG DATA como “una gran apuesta” transformadora, tanto a nivel federal como en el DoD. Para ello el DoD ha comprometido 250 M$ anuales, de los cuales 60 M$ se dedican a Investigación, a inversiones en relacionadas con BIG DATA en las áreas de transformación de datos en decisiones, autonomía, y sistemas de interfaz hombre-máquina.
Hay que destacar que estas áreas coinciden con tres áreas “multiplicadoras de la fuerza” de las siete áreas prioritarias en Ciencia y Tecnología identificadas por el DoD para 2013-2017.
La hoja de ruta de la prioridad de transformación de datos y decisiones (Data to Decisions) reconoce que la complejidad y capacidad de adapatación de las posibles amenazas ha sobrepasado la habilidad existente de identificarlas en grandes volúmenes de datos y dentro de la ventana de tiempo de las misiones.
Por otro lado, la hoja de ruta también identifica la capa de análisis como la más crítica, ya que presenta los mayores desafíos y la mayor necesidad de empuje militar, en comparación con las de gestión de datos (data management) e interfaces de usuario, que considera más maduras y mayormente lideradas por la industria de TICS. Así, relacionado con la capacidad de análisis, determina que el análisis de datos no estructurados como el gran caballo de batalla de la prioridad de “Data to Decisions”. El DoD persigue una mejora de dos órdenes de magnitud en la extracción y análisis de textos en cualquier idioma, y en el número de entidades, actividades y sucesos que un analista pueda observar y procesar.
En este enlace se listan un conjunto de ejemplos destacados de proyectos en marcha tanto en el DoD como en otros ministerios y agencias de EE.UU.
También es necesario destacar que la DISA (Agencia de Sistemas de Información de Defensa) ha incluido las tecnologías para Big Data como estratégicas dentro de su Plan Estratégico 2013-2018.
Por lo tanto, la aplicación de Big Data en defensa parece que pasará por la obtención de herramientas que complementen y/o ayuden a los usuarios (combatiente/analista) a identificar las amenazas actuales y futuras (altamente complejas y adaptables) dentro de los límites temporales de la misión.
Este objetivo se puede especificar en:
- Clasificación robusta y precisa para detectar, geo-referenciar, clasificar e identificar objetos y elementos en la superficie terrestre con independencia de su entorno, configuración y disposición.
- Herramientas de automatización para la identificación de patrones de actividad de objetos y elementos en la superficie terrestre.
- Herramientas para la captura, almacenamiento y análisis de información de HUMINT.
Gráfico: elaboración propia. Fuentes: IDC IVIEW, “Extracting Value from Chaos,” June 2011, and Gartner, Market Trends: “Enlarging the Library of Forms in Which Storage is a Necessary Element,” June 30, 2011.
Etiquetas
Áreas de actuación
Tecnologías