Proliferación de datos

La proliferación de datos se refiere a la enorme cantidad de datos , estructurados y no estructurados, que las empresas y los gobiernos siguen generando a un ritmo sin precedentes y a los problemas de usabilidad que resultan de intentar almacenar y gestionar esos datos. Aunque originalmente se refería a problemas asociados con la documentación en papel , la proliferación de datos se ha convertido en un problema importante en el almacenamiento primario y secundario de datos en computadoras.

Si bien el almacenamiento digital se ha vuelto más barato, los costos asociados, desde la energía bruta hasta el mantenimiento y desde los metadatos hasta los motores de búsqueda, no han seguido el ritmo de la proliferación de datos. Si bien la energía necesaria para mantener una unidad de datos ha disminuido, el costo de las instalaciones que albergan el almacenamiento digital ha tendido a aumentar. ^[1]

En el nivel más simple, los sistemas de correo electrónico de las empresas generan grandes cantidades de datos. Se estima que el correo electrónico empresarial (algunos de ellos importantes para la empresa, otros mucho menos) crece a un ritmo del 25 al 30 % anual. Y, sea relevante o no, la carga del sistema se ve magnificada por prácticas como el envío de direcciones múltiples y la inclusión de archivos adjuntos de texto, audio e incluso vídeo de gran tamaño .

—  Servicios tecnológicos globales de IBM ^[2]

La proliferación de datos ha sido documentada como un problema para el ejército estadounidense desde agosto de 1971, en particular en relación con la excesiva documentación presentada durante la adquisición de importantes sistemas de armas. ^[3] Se están realizando esfuerzos para mitigar la proliferación de datos y los problemas asociados con ella. ^[4]

El problema de la proliferación de datos está afectando a todas las áreas del comercio como resultado de la disponibilidad de dispositivos de almacenamiento de datos relativamente económicos. Esto ha hecho que sea muy fácil volcar los datos en un almacenamiento secundario inmediatamente después de que haya pasado su ventana de uso. Esto enmascara un problema que podría afectar gravemente la rentabilidad de las empresas y el funcionamiento eficiente de los servicios de salud, la policía y las fuerzas de seguridad, los gobiernos locales y nacionales y muchos otros tipos de organizaciones. ^[2] La proliferación de datos es problemática por varias razones:

• Dificultad para encontrar y recuperar información. En Xerox , los empleados necesitan, en promedio, más de una hora por semana para encontrar documentos impresos, lo que supone un coste de 2.152 dólares al año para gestionarlos y almacenarlos. En el caso de las empresas con más de 10 empleados, esta cifra aumenta a casi dos horas por semana, lo que supone un coste de 5.760 dólares al año. ^[5] En las grandes redes de almacenamiento de datos primarios y secundarios, los problemas para encontrar datos electrónicos son análogos a los problemas para encontrar datos impresos.
• Pérdida de datos y responsabilidad legal cuando los datos están desorganizados, no se replican correctamente o no se pueden encontrar rápidamente. En abril de 2005, Ameritrade Holding Corporation informó a 200.000 clientes actuales y anteriores que una cinta que contenía información confidencial se había perdido o destruido durante el transporte. En mayo del mismo año, Time Warner Incorporated informó que 40 cintas que contenían datos personales de 600.000 empleados actuales y anteriores se habían perdido en el camino a una instalación de almacenamiento. En marzo de 2005, un juez de Florida que escuchaba una demanda de 2.700 millones de dólares contra Morgan Stanley emitió una " orden de inferencia adversa " contra la empresa por "abuso deliberado y grave de sus obligaciones de descubrimiento". El juez citó a Morgan Stanley por encontrar repetidamente cintas extraviadas de mensajes de correo electrónico mucho después de que la empresa hubiera afirmado que había entregado todas esas cintas al tribunal. ^[6]
• Aumento de las necesidades de mano de obra para gestionar recursos de almacenamiento de datos cada vez más caóticos.
• Redes más lentas y rendimiento de las aplicaciones más lento debido al exceso de tráfico a medida que los usuarios buscan una y otra vez el material que necesitan. ^[2]
• Alto costo en términos de los recursos energéticos necesarios para operar el hardware de almacenamiento. Un sistema de 100 terabytes costará hasta 35.040 dólares al año para operar, sin contar los costos de refrigeración. ^[7]

• Aplicaciones que aprovechan mejor la tecnología moderna
• Reducción de datos duplicados (especialmente los causados ​​por el movimiento de datos)
• Mejora de las estructuras de metadatos
• Mejora de las estructuras de transferencia de archivos y almacenamiento
• Educación y disciplina del usuario ^[3]
• La implementación de soluciones de gestión del ciclo de vida de la información para eliminar la información de bajo valor lo antes posible antes de colocar el resto en un almacenamiento a largo plazo administrado activamente en el que se puede acceder a ella de forma rápida y económica. ^[2]

• Respaldo
• Gestión de activos digitales
• Almacenamiento en disco
• Sistema de gestión documental
• Gestión de almacenamiento jerárquico
• Gestión del ciclo de vida de la información
• Repositorio de información
• Almacenamiento de datos en cinta magnética
• Calendario de retención