Grandes datos

El término big data se refiere principalmente a conjuntos de datos que son demasiado grandes o complejos para ser tratados por un software de procesamiento de datos tradicional . Los datos con muchas entradas (filas) ofrecen un mayor poder estadístico , mientras que los datos con mayor complejidad (más atributos o columnas) pueden llevar a una mayor tasa de descubrimientos falsos . ^[2] Aunque a veces se utiliza de forma imprecisa, en parte debido a la falta de una definición formal, la mejor interpretación es que se trata de un gran cuerpo de información que no se puede comprender cuando se utiliza solo en pequeñas cantidades. ^[3]

Los desafíos del análisis de big data incluyen la captura de datos , el almacenamiento de datos , el análisis de datos , la búsqueda, el uso compartido , la transferencia , la visualización , la consulta , la actualización, la privacidad de la información y la fuente de datos. Originalmente, el big data se asociaba con tres conceptos clave: volumen , variedad y velocidad . ^[4] El análisis de big data presenta desafíos en el muestreo, por lo que anteriormente solo permitía observaciones y muestreos. Por lo tanto, un cuarto concepto, la veracidad, se refiere a la calidad o el grado de conocimiento de los datos. ^[5] Sin una inversión suficiente en experiencia para la veracidad de big data, el volumen y la variedad de datos pueden producir costos y riesgos que excedan la capacidad de una organización para crear y capturar valor a partir de big data . ^[6]

El uso actual del término big data tiende a referirse al uso de análisis predictivos , análisis del comportamiento del usuario u otros métodos avanzados de análisis de datos que extraen valor de los grandes datos, y rara vez a un tamaño particular de conjunto de datos. "Hay pocas dudas de que las cantidades de datos disponibles ahora son de hecho grandes, pero esa no es la característica más relevante de este nuevo ecosistema de datos". ^[7] El análisis de conjuntos de datos puede encontrar nuevas correlaciones para "detectar tendencias comerciales, prevenir enfermedades, combatir el crimen, etc." ^[8] Los científicos, ejecutivos de empresas, médicos, publicidad y gobiernos por igual encuentran regularmente dificultades con grandes conjuntos de datos en áreas que incluyen búsquedas en Internet , tecnología financiera , análisis de atención médica, sistemas de información geográfica, informática urbana e informática empresarial . Los científicos encuentran limitaciones en el trabajo de e-Ciencia , incluida la meteorología , la genómica , ^[9] la conectómica , simulaciones físicas complejas, biología e investigación ambiental. ^[10]

El tamaño y la cantidad de conjuntos de datos disponibles han crecido rápidamente a medida que los datos se recopilan mediante dispositivos como dispositivos móviles , dispositivos de Internet de las cosas baratos y numerosos que detectan información , equipos aéreos ( detección remota ), registros de software, cámaras , micrófonos, lectores de identificación por radiofrecuencia (RFID) y redes de sensores inalámbricos . ^{[11] [12]} La capacidad tecnológica per cápita del mundo para almacenar información se ha duplicado aproximadamente cada 40 meses desde la década de 1980; ^[13] a partir de 2012 , cada día se generan ^[update]2,5 exabytes (2,17 × 2 ^{60 bytes) de datos. [14]} Según una predicción de un informe de IDC , se predijo que el volumen global de datos crecería exponencialmente de 4,4 zettabytes a 44 zettabytes entre 2013 y 2020. Para 2025, IDC predice que habrá 163 zettabytes de datos. ^[15] Según IDC, se estima que el gasto mundial en soluciones de big data y análisis de negocios (BDA) alcanzará los 215.700 millones de dólares en 2021. ^{[16] [17]} Según un informe de Statista , se prevé que el mercado mundial de big data crezca hasta los 103.000 millones de dólares en 2027. ^[18] En 2011, McKinsey & Company informó que, si el sector sanitario estadounidense utilizara big data de forma creativa y eficaz para impulsar la eficiencia y la calidad, podría crear más de 300.000 millones de dólares en valor cada año. ^[19] En las economías desarrolladas de Europa, los administradores gubernamentales podrían ahorrar más de 100.000 millones de euros (149.000 millones de dólares) solo en mejoras de eficiencia operativa utilizando big data. ^[19] Y los usuarios de servicios habilitados por datos de ubicación personal podrían capturar 600.000 millones de dólares en excedente del consumidor. ^[19] Una cuestión para las grandes empresas es determinar quién debería ser el propietario de las iniciativas de big data que afectan a toda la organización. ^[20]

Los sistemas de gestión de bases de datos relacionales y los paquetes de software estadístico de escritorio que se utilizan para visualizar datos suelen tener dificultades para procesar y analizar grandes volúmenes de datos. El procesamiento y análisis de grandes volúmenes de datos puede requerir "un software masivamente paralelo que se ejecute en decenas, cientos o incluso miles de servidores". ^[21] Lo que se considera "grandes volúmenes de datos" varía en función de las capacidades de quienes los analizan y de sus herramientas. Además, la expansión de las capacidades convierte a los grandes volúmenes de datos en un objetivo en movimiento. "Para algunas organizaciones, enfrentarse por primera vez a cientos de gigabytes de datos puede desencadenar la necesidad de reconsiderar las opciones de gestión de datos. Para otras, pueden ser necesarias decenas o cientos de terabytes antes de que el tamaño de los datos se convierta en una consideración importante". ^[22]

El término big data se ha utilizado desde la década de 1990, y algunos atribuyen el mérito a John Mashey por popularizar el término. ^{[23] [24]} El big data generalmente incluye conjuntos de datos con tamaños que superan la capacidad de las herramientas de software comúnmente utilizadas para capturar , curar , administrar y procesar datos dentro de un tiempo transcurrido tolerable. ^{[25] [ página necesaria ]} La filosofía del big data abarca datos no estructurados, semiestructurados y estructurados; sin embargo, el enfoque principal está en los datos no estructurados. ^[26] El "tamaño" del big data es un objetivo en constante movimiento; a partir de 2012, ^[update]oscilaba entre unas pocas docenas de terabytes y muchos zettabytes de datos. ^[27] El big data requiere un conjunto de técnicas y tecnologías con nuevas formas de integración para revelar información de conjuntos de datos que son diversos, complejos y de escala masiva. ^[28]

Algunas organizaciones añaden "volumen", "variedad", "velocidad" y otras "V" para describirlo, una revisión que ha sido cuestionada por algunas autoridades de la industria. ^[29] Las V de los macrodatos se denominaban a menudo "tres V", "cuatro V" y "cinco V". Representaban las cualidades de los macrodatos en volumen, variedad, velocidad, veracidad y valor. ^[5] La variabilidad se incluye a menudo como una cualidad adicional de los macrodatos.

Una definición de 2018 establece que "Big data es donde se necesitan herramientas de computación paralela para manejar datos", y señala: "Esto representa un cambio distinto y claramente definido en la ciencia informática utilizada, a través de teorías de programación paralela, y pérdidas de algunas de las garantías y capacidades hechas por el modelo relacional de Codd ". ^[30]

En un estudio comparativo de grandes conjuntos de datos, Kitchin y McArdle descubrieron que ninguna de las características comúnmente consideradas de los grandes datos aparece de manera consistente en todos los casos analizados. ^[31] Por esta razón, otros estudios identificaron la redefinición de la dinámica de poder en el descubrimiento de conocimiento como el rasgo definitorio. ^[32] En lugar de centrarse en las características intrínsecas de los grandes datos, esta perspectiva alternativa impulsa una comprensión relacional del objeto afirmando que lo que importa es la forma en que los datos se recopilan, almacenan, ponen a disposición y analizan.

La creciente madurez del concepto delinea más claramente la diferencia entre "big data" e " inteligencia empresarial ": ^[33]

• La inteligencia de negocios utiliza herramientas de matemática aplicada y estadística descriptiva con datos con alta densidad de información para medir cosas, detectar tendencias, etc.
• Big data utiliza análisis matemático, optimización, estadística inductiva y conceptos de identificación de sistemas no lineales ^[34] para inferir leyes (regresiones, relaciones no lineales y efectos causales) a partir de grandes conjuntos de datos con baja densidad de información ^[35] para revelar relaciones y dependencias, o para realizar predicciones de resultados y comportamientos. ^{[34] [36] [ fuente promocional? ]}

El big data se puede describir mediante las siguientes características:

Volumen

La cantidad de datos generados y almacenados. El tamaño de los datos determina el valor y la información potencial, y si se pueden considerar big data o no. El tamaño de los big data suele ser mayor que terabytes y petabytes. ^[37]

Variedad

El tipo y la naturaleza de los datos. Las tecnologías anteriores, como los RDBMS, eran capaces de manejar datos estructurados de manera eficiente y eficaz. Sin embargo, el cambio de tipo y naturaleza de estructurado a semiestructurado o no estructurado desafió las herramientas y tecnologías existentes. Las tecnologías de big data evolucionaron con la intención principal de capturar, almacenar y procesar los datos semiestructurados y no estructurados (variedad) generados con alta velocidad (velocidad) y gran tamaño (volumen). Más tarde, estas herramientas y tecnologías se exploraron y utilizaron también para manejar datos estructurados, pero preferibles para el almacenamiento. Finalmente, el procesamiento de datos estructurados se mantuvo como opcional, ya sea utilizando big data o RDBMS tradicionales. Esto ayuda a analizar los datos para el uso efectivo de los conocimientos ocultos expuestos a partir de los datos recopilados a través de las redes sociales, archivos de registro, sensores, etc. Big data se nutre de texto, imágenes, audio, video; además, completa las piezas faltantes a través de la fusión de datos .

Velocidad

La velocidad a la que se generan y procesan los datos para satisfacer las demandas y los desafíos que se presentan en el camino del crecimiento y el desarrollo. Los macrodatos suelen estar disponibles en tiempo real. En comparación con los macrodatos , los macrodatos se producen de forma más continua. Dos tipos de velocidad relacionados con los macrodatos son la frecuencia de generación y la frecuencia de manipulación, registro y publicación. ^[38]

Veracidad

La veracidad o fiabilidad de los datos, que se refiere a la calidad de los mismos y a su valor. ^[39] Los macrodatos no solo deben ser de gran tamaño, sino que también deben ser fiables para que su análisis sea valioso. La calidad de los datos capturados puede variar en gran medida, lo que afecta a la precisión del análisis. ^[40]

Valor

El valor de la información que se puede lograr mediante el procesamiento y análisis de grandes conjuntos de datos. El valor también se puede medir mediante una evaluación de las otras cualidades de los macrodatos. ^[41] El valor también puede representar la rentabilidad de la información que se recupera del análisis de los macrodatos.

Variabilidad

La característica de los formatos, la estructura o las fuentes cambiantes de los macrodatos. Los macrodatos pueden incluir datos estructurados, no estructurados o combinaciones de ambos. El análisis de macrodatos puede integrar datos sin procesar de múltiples fuentes. El procesamiento de datos sin procesar también puede implicar transformaciones de datos no estructurados en datos estructurados.

Otras posibles características del big data son: ^[42]

Exhaustivo

Ya sea que se capture o registre todo el sistema (es decir, todo). Los macrodatos pueden incluir o no todos los datos disponibles de las fuentes.${\textstyle n}$

De grano fino y léxico único

Respectivamente, la proporción de datos específicos de cada elemento por elemento recogido y si el elemento y sus características están debidamente indexados o identificados.

Relacional

Si los datos recopilados contienen campos comunes que permitirían una combinación o metanálisis de diferentes conjuntos de datos.

Extensional

Si se pueden agregar o cambiar fácilmente nuevos campos en cada elemento de los datos recopilados.

Escalabilidad

Si el tamaño del sistema de almacenamiento de big data puede expandirse rápidamente.

Los repositorios de big data han existido en muchas formas, a menudo creados por corporaciones con una necesidad especial. Históricamente, los proveedores comerciales ofrecieron sistemas de gestión de bases de datos paralelas para big data a partir de la década de 1990. Durante muchos años, WinterCorp publicó el informe de bases de datos más grande. ^{[43] [ ¿ Fuente promocional? ]}

En 1984, Teradata Corporation comercializó el sistema de procesamiento paralelo DBC 1012. Los sistemas Teradata fueron los primeros en almacenar y analizar 1 terabyte de datos en 1992. Las unidades de disco duro eran de 2,5 GB en 1991, por lo que la definición de big data evoluciona continuamente. Teradata instaló el primer sistema basado en RDBMS de clase petabyte en 2007. A partir de 2017 ^[update], hay unas pocas docenas de bases de datos relacionales Teradata de clase petabyte instaladas, la más grande de las cuales supera los 50 PB. Los sistemas hasta 2008 eran datos relacionales 100% estructurados. Desde entonces, Teradata ha agregado tipos de datos no estructurados, incluidos XML , JSON y Avro.

En 2000, Seisint Inc. (ahora LexisNexis Risk Solutions ) desarrolló una plataforma distribuida basada en C++ para el procesamiento y la consulta de datos conocida como la plataforma HPCC Systems . Este sistema particiona, distribuye, almacena y entrega automáticamente datos estructurados, semiestructurados y no estructurados en múltiples servidores de productos básicos. Los usuarios pueden escribir consultas y canalizaciones de procesamiento de datos en un lenguaje de programación de flujo de datos declarativo llamado ECL. Los analistas de datos que trabajan en ECL no necesitan definir esquemas de datos por adelantado y pueden centrarse en el problema particular en cuestión, remodelando los datos de la mejor manera posible a medida que desarrollan la solución. En 2004, LexisNexis adquirió Seisint Inc. ^[44] y su plataforma de procesamiento paralelo de alta velocidad y utilizó con éxito esta plataforma para integrar los sistemas de datos de Choicepoint Inc. cuando adquirieron esa empresa en 2008. ^[45] En 2011, la plataforma de sistemas HPCC se convirtió en código abierto bajo la licencia Apache v2.0.

El CERN y otros experimentos de física han recopilado grandes conjuntos de datos durante muchas décadas, generalmente analizados mediante computación de alto rendimiento en lugar de las arquitecturas de mapa-reducción a las que suele referirse el actual movimiento de "big data".

En 2004, Google publicó un artículo sobre un proceso llamado MapReduce que utiliza una arquitectura similar. El concepto de MapReduce proporciona un modelo de procesamiento paralelo y se lanzó una implementación asociada para procesar grandes cantidades de datos. Con MapReduce, las consultas se dividen y distribuyen entre nodos paralelos y se procesan en paralelo (el paso "map"). Luego, los resultados se recopilan y se entregan (el paso "reduce"). El marco tuvo mucho éxito, ^[46] por lo que otros quisieron replicar el algoritmo. Por lo tanto, un proyecto de código abierto Apache llamado " Hadoop " adoptó una implementación del marco MapReduce . ^[47] Apache Spark se desarrolló en 2012 en respuesta a las limitaciones del paradigma MapReduce, ya que agrega procesamiento en memoria y la capacidad de configurar muchas operaciones (no solo mapear seguido de reducir).

MIKE2.0 es un enfoque abierto para la gestión de la información que reconoce la necesidad de revisiones debido a las implicaciones de los macrodatos identificadas en un artículo titulado "Oferta de soluciones de macrodatos". ^[48] La metodología aborda el manejo de macrodatos en términos de permutaciones útiles de fuentes de datos, complejidad en las interrelaciones y dificultad para eliminar (o modificar) registros individuales. ^[49]

Estudios realizados en 2012 demostraron que una arquitectura de múltiples capas era una opción para abordar los problemas que presenta el big data. Una arquitectura paralela distribuida distribuye los datos entre varios servidores; estos entornos de ejecución paralelos pueden mejorar drásticamente las velocidades de procesamiento de datos. Este tipo de arquitectura inserta los datos en un DBMS paralelo, que implementa el uso de los marcos MapReduce y Hadoop. Este tipo de marco busca hacer que la potencia de procesamiento sea transparente para el usuario final mediante el uso de un servidor de aplicaciones front-end. ^[50]

El lago de datos permite a una organización cambiar su enfoque del control centralizado a un modelo compartido para responder a la dinámica cambiante de la gestión de la información. Esto permite una rápida segregación de los datos en el lago de datos, reduciendo así el tiempo de sobrecarga. ^{[51] [52]}

Un informe del McKinsey Global Institute de 2011 caracteriza los principales componentes y el ecosistema del big data de la siguiente manera: ^[53]

• Técnicas para analizar datos, como pruebas A/B , aprendizaje automático y procesamiento del lenguaje natural.
• Tecnologías de big data, como inteligencia empresarial , computación en la nube y bases de datos
• Visualización, como gráficos, cuadros y otras presentaciones de los datos.

Los big data multidimensionales también se pueden representar como cubos de datos OLAP o, matemáticamente, tensores . Los sistemas de bases de datos de matriz se han propuesto proporcionar almacenamiento y soporte de consultas de alto nivel en este tipo de datos. Las tecnologías adicionales que se están aplicando a los big data incluyen computación eficiente basada en tensores, ^[54] como aprendizaje de subespacios multilineales , ^[55] bases de datos de procesamiento masivo en paralelo ( MPP ), aplicaciones basadas en búsquedas , minería de datos , ^[56] sistemas de archivos distribuidos , caché distribuida (por ejemplo, búfer de ráfagas y Memcached ), bases de datos distribuidas , infraestructura basada en la nube y HPC (aplicaciones, almacenamiento y recursos informáticos), ^[57] e Internet. ^{[ cita requerida ]} Aunque se han desarrollado muchos enfoques y tecnologías, todavía sigue siendo difícil llevar a cabo aprendizaje automático con big data. ^[58]

Algunas bases de datos relacionales MPP tienen la capacidad de almacenar y gestionar petabytes de datos. Esto implica la capacidad de cargar, supervisar, realizar copias de seguridad y optimizar el uso de las grandes tablas de datos en el RDBMS . ^{[59] [¿ Fuente promocional? ]}

El programa de Análisis de Datos Topológicos de DARPA busca la estructura fundamental de conjuntos masivos de datos y en 2008 la tecnología se hizo pública con el lanzamiento de una empresa llamada "Ayasdi". ^{[60] [ se necesita una fuente de terceros ]}

Los profesionales de los procesos de análisis de big data son generalmente hostiles al almacenamiento compartido más lento, ^[61] prefiriendo el almacenamiento de conexión directa ( DAS ) en sus diversas formas, desde unidades de estado sólido ( SSD ) hasta discos SATA de alta capacidad enterrados dentro de nodos de procesamiento paralelo. La percepción de las arquitecturas de almacenamiento compartido ( red de área de almacenamiento [SAN] y almacenamiento conectado a red [NAS]) es que son relativamente lentas, complejas y costosas. Estas cualidades no son consistentes con los sistemas de análisis de big data que prosperan gracias al rendimiento del sistema, la infraestructura básica y el bajo costo.

La entrega de información en tiempo real o casi real es una de las características que definen el análisis de big data. Por lo tanto, se evita la latencia siempre que sea posible. Los datos en la memoria o disco conectados directamente son buenos, pero los datos en la memoria o disco en el otro extremo de una conexión SAN FC no lo son. El costo de una SAN a la escala necesaria para las aplicaciones de análisis es mucho más alto que el de otras técnicas de almacenamiento.

El big data ha aumentado la demanda de especialistas en gestión de la información hasta tal punto que Software AG , Oracle Corporation , IBM , Microsoft , SAP , EMC , HP y Dell han gastado más de 15.000 millones de dólares en empresas de software especializadas en gestión y análisis de datos. En 2010, esta industria valía más de 100.000 millones de dólares y crecía a un ritmo de casi el 10 por ciento anual, aproximadamente el doble de rápido que el negocio del software en su conjunto. ^[8]

Las economías desarrolladas utilizan cada vez más tecnologías que hacen un uso intensivo de los datos. En todo el mundo hay 4.600 millones de suscripciones a teléfonos móviles y entre 1.000 y 2.000 millones de personas acceden a Internet. ^[8] Entre 1990 y 2005, más de 1.000 millones de personas de todo el mundo entraron en la clase media, lo que significa que más gente se volvió más alfabetizada, lo que a su vez condujo al crecimiento de la información. La capacidad efectiva del mundo para intercambiar información a través de las redes de telecomunicaciones era de 281 petabytes en 1986, 471 petabytes en 1993, 2,2 exabytes en 2000, 65 exabytes en 2007 ^[13] y las predicciones sitúan la cantidad de tráfico de Internet en 667 exabytes anuales para 2014. ^[8] Según una estimación, una tercera parte de la información almacenada a nivel mundial está en forma de texto alfanumérico y datos de imágenes fijas, ^[62] que es el formato más útil para la mayoría de las aplicaciones de big data. Esto también muestra el potencial de los datos aún no utilizados (es decir, en forma de contenido de vídeo y audio).

Si bien muchos proveedores ofrecen productos listos para usar para big data, los expertos promueven el desarrollo de sistemas internos personalizados si la empresa tiene capacidades técnicas suficientes. ^[63]

This section needs additional citations for verification. Please help improve this article by adding citations to reliable sources in this section. Unsourced material may be challenged and removed. Find sources: "Big data" – news · newspapers · books · scholar · JSTOR (September 2023) (Learn how and when to remove this message)

El uso y la adopción de big data en los procesos gubernamentales permite eficiencias en términos de costos, productividad e innovación, ^[64] pero tiene fallas. El análisis de datos a menudo requiere que varias partes del gobierno (central y local) trabajen en colaboración y creen procesos nuevos e innovadores para obtener el resultado deseado. Una organización gubernamental común que hace uso de big data es la Administración de Seguridad Nacional ( NSA ), que monitorea las actividades de Internet constantemente en busca de posibles patrones de actividades sospechosas o ilegales que su sistema pueda detectar.

El registro civil y las estadísticas vitales (CRVS) recopilan todos los estados de los certificados desde el nacimiento hasta la muerte. El CRVS es una fuente de macrodatos para los gobiernos.

Las investigaciones sobre el uso eficaz de las tecnologías de la información y la comunicación para el desarrollo (también conocidas como "ICT4D") sugieren que la tecnología de big data puede hacer contribuciones importantes, pero también presentar desafíos únicos para el desarrollo internacional . ^{[65] [66]} Los avances en el análisis de big data ofrecen oportunidades rentables para mejorar la toma de decisiones en áreas críticas para el desarrollo, como la atención médica, el empleo, la productividad económica , el crimen, la seguridad y la gestión de recursos y desastres naturales . ^{[67] [ página necesaria ] [68] [69]} Además, los datos generados por los usuarios ofrecen nuevas oportunidades para dar voz a los no escuchados. ^[70] Sin embargo, los desafíos de larga data para las regiones en desarrollo, como la infraestructura tecnológica inadecuada y la escasez de recursos económicos y humanos, exacerban las preocupaciones existentes con big data, como la privacidad, la metodología imperfecta y los problemas de interoperabilidad. ^{[67] [ página necesaria ]} El desafío de "big data para el desarrollo" ^{[67] [ página necesaria ]} está evolucionando actualmente hacia la aplicación de estos datos a través del aprendizaje automático, conocido como "inteligencia artificial para el desarrollo (AI4D)". ^[71]

Una de las principales aplicaciones prácticas de los macrodatos para el desarrollo ha sido la "lucha contra la pobreza con datos". ^[72] En 2015, Blumenstock y sus colegas estimaron la pobreza y la riqueza previstas a partir de metadatos de teléfonos móviles ^[73] y en 2016 Jean y sus colegas combinaron imágenes satelitales y aprendizaje automático para predecir la pobreza. ^[74] Al utilizar datos de trazas digitales para estudiar el mercado laboral y la economía digital en América Latina, Hilbert y sus colegas ^{[75] [76]} sostienen que los datos de trazas digitales tienen varios beneficios, como:

• Cobertura temática: incluye áreas que antes eran difíciles o imposibles de medir
• Cobertura geográfica: proporcionar datos considerables y comparables para casi todos los países, incluidos muchos países pequeños que normalmente no se incluyen en los inventarios internacionales
• Nivel de detalle: proporcionar datos de grano fino con muchas variables interrelacionadas y nuevos aspectos, como conexiones de red.
• Puntualidad y series temporales: los gráficos se pueden producir a los pocos días de ser recopilados.

Al mismo tiempo, trabajar con datos de rastreo digitales en lugar de datos de encuestas tradicionales no elimina los desafíos tradicionales que implica trabajar en el campo del análisis cuantitativo internacional. Las prioridades cambian, pero los debates básicos siguen siendo los mismos. Entre los principales desafíos se encuentran:

• Representatividad. Mientras que las estadísticas de desarrollo tradicionales se ocupan principalmente de la representatividad de muestras de encuestas aleatorias, los datos de rastreo digital nunca son una muestra aleatoria. ^[77]
• Generalización. Si bien los datos de observación siempre representan muy bien esta fuente, solo representan lo que representa y nada más. Si bien es tentador generalizar a partir de observaciones específicas de una plataforma a entornos más amplios, esto suele ser muy engañoso.
• Armonización. Los datos de trazas digitales aún requieren una armonización internacional de los indicadores. A ello se suma el desafío de la denominada "fusión de datos", la armonización de diferentes fuentes.
• Sobrecarga de datos. Los analistas y las instituciones no están acostumbrados a manejar eficazmente una gran cantidad de variables, algo que se hace de manera eficiente con los tableros interactivos. Los profesionales aún carecen de un flujo de trabajo estándar que permita a los investigadores, usuarios y responsables de políticas manejar los datos de manera eficiente y eficaz. ^[75]

El Big Data se está adoptando rápidamente en las finanzas para 1) acelerar el procesamiento y 2) ofrecer inferencias mejores y más informadas, tanto internamente como a los clientes de las instituciones financieras. ^[78] Las aplicaciones financieras del Big Data van desde las decisiones de inversión y el comercio (procesamiento de volúmenes de datos de precios disponibles, libros de órdenes limitadas, datos económicos y más, todo al mismo tiempo), la gestión de carteras (optimización sobre una gama cada vez mayor de instrumentos financieros, potencialmente seleccionados de diferentes clases de activos), la gestión de riesgos (calificación crediticia basada en información extendida) y cualquier otro aspecto en el que las entradas de datos sean grandes. ^[79] El Big Data también ha sido un concepto típico dentro del campo de los servicios financieros alternativos . Algunas de las áreas principales involucran plataformas de financiación colectiva e intercambios de criptomonedas. ^[80]

El análisis de big data se ha utilizado en el ámbito sanitario para proporcionar medicina personalizada y análisis prescriptivos , intervención de riesgo clínico y análisis predictivos, reducción de la variabilidad de los residuos y la atención, informes internos y externos automatizados de datos de pacientes, términos médicos estandarizados y registros de pacientes. ^{[81] [82] [83] [84]} Algunas áreas de mejora son más aspiracionales que implementadas realmente. El nivel de datos generados dentro de los sistemas sanitarios no es trivial. Con la adopción adicional de mHealth, eHealth y tecnologías portátiles, el volumen de datos seguirá aumentando. Esto incluye datos de registros sanitarios electrónicos , datos de imágenes, datos generados por pacientes, datos de sensores y otras formas de datos difíciles de procesar. Ahora existe una necesidad aún mayor de que dichos entornos presten mayor atención a la calidad de los datos y la información. ^[85] "Big data muy a menudo significa ' datos sucios ' y la fracción de inexactitudes de datos aumenta con el crecimiento del volumen de datos". La inspección humana a escala de big data es imposible y existe una necesidad desesperada en el servicio sanitario de herramientas inteligentes para el control de la precisión y la credibilidad y el manejo de la información omitida. ^[86] Si bien una gran cantidad de información en el ámbito de la atención de la salud es ahora electrónica, encaja dentro del concepto de big data, ya que la mayor parte no está estructurada y es difícil de utilizar. ^[87] El uso de big data en el ámbito de la atención de la salud ha planteado importantes desafíos éticos que van desde los riesgos para los derechos individuales, la privacidad y la autonomía hasta la transparencia y la confianza. ^[88]

Los macrodatos en la investigación sanitaria son particularmente prometedores en términos de investigación biomédica exploratoria, ya que el análisis basado en datos puede avanzar más rápidamente que la investigación basada en hipótesis. ^[89] Luego, las tendencias observadas en el análisis de datos se pueden probar en la investigación biológica de seguimiento tradicional basada en hipótesis y, eventualmente, en la investigación clínica.

Un subárea de aplicación relacionada, que depende en gran medida de los macrodatos, dentro del campo de la atención sanitaria es el diagnóstico asistido por ordenador en medicina. ^{[90] [ página necesaria ]} Por ejemplo, para el seguimiento de la epilepsia se acostumbra a crear de 5 a 10 GB de datos al día. ^[91] De manera similar, una sola imagen sin comprimir de una tomosíntesis de mama tiene un promedio de 450 MB de datos. ^[92] Estos son solo algunos de los muchos ejemplos en los que el diagnóstico asistido por ordenador utiliza macrodatos. Por esta razón, el macrodato ha sido reconocido como uno de los siete desafíos clave que los sistemas de diagnóstico asistido por ordenador deben superar para alcanzar el siguiente nivel de rendimiento. ^[93]

Un estudio del McKinsey Global Institute encontró una escasez de 1,5 millones de profesionales y administradores de datos altamente capacitados ^[53] y varias universidades ^{[94] [ se necesita una mejor fuente ],} incluida la Universidad de Tennessee y la UC Berkeley , han creado programas de maestría para satisfacer esta demanda. Los campamentos de entrenamiento privados también han desarrollado programas para satisfacer esa demanda, incluidos programas pagos como The Data Incubator o General Assembly . ^[95] En el campo específico del marketing, uno de los problemas enfatizados por Wedel y Kannan ^[96] es que el marketing tiene varios subdominios (por ejemplo, publicidad, promociones, desarrollo de productos, marca) que utilizan diferentes tipos de datos.

Para entender cómo los medios de comunicación utilizan el big data, primero es necesario contextualizar el mecanismo que se utiliza para procesarlo. Nick Couldry y Joseph Turow han sugerido que los profesionales de los medios de comunicación y la publicidad abordan el big data como muchos puntos de información procesables sobre millones de personas. La industria parece estar alejándose del enfoque tradicional de utilizar entornos de medios específicos, como periódicos, revistas o programas de televisión, y en su lugar se conecta con los consumidores con tecnologías que llegan a las personas objetivo en momentos óptimos y lugares óptimos. El objetivo final es servir o transmitir un mensaje o contenido que esté (estadísticamente hablando) en línea con la mentalidad del consumidor. Por ejemplo, los entornos editoriales están adaptando cada vez más los mensajes (anuncios) y el contenido (artículos) para atraer a los consumidores, que han sido obtenidos exclusivamente a través de diversas actividades de minería de datos . ^[97]

• Segmentación de los consumidores (para publicidad de los comercializadores) ^[98]
• Captura de datos
• Periodismo de datos : editores y periodistas utilizan herramientas de big data para proporcionar información e infografías únicas e innovadoras .

Channel 4 , la cadena de televisión pública británica , es líder en el campo del big data y el análisis de datos . ^[99]

Los proveedores de seguros de salud están recopilando datos sobre los "determinantes sociales de la salud", como el consumo de alimentos y televisión , el estado civil, la talla de ropa y los hábitos de compra, a partir de los cuales hacen predicciones sobre los costos de la salud, con el fin de detectar problemas de salud en sus clientes. Es controvertido si estas predicciones se están utilizando actualmente para la fijación de precios. ^[100]

Los macrodatos y la IoT trabajan en conjunto. Los datos extraídos de los dispositivos IoT proporcionan un mapeo de la interconectividad de los dispositivos. Estos mapeos han sido utilizados por la industria de los medios, las empresas y los gobiernos para llegar a su audiencia con mayor precisión y aumentar la eficiencia de los medios. La IoT también se adopta cada vez más como un medio para recopilar datos sensoriales, y estos datos sensoriales se han utilizado en contextos médicos ^[101] , de fabricación ^[102] y de transporte ^[103] .

Kevin Ashton , el experto en innovación digital a quien se le atribuye haber acuñado el término, ^[104] define la Internet de las cosas con esta cita: "Si tuviéramos computadoras que supieran todo lo que hay que saber sobre las cosas, utilizando datos que recopilaran sin nuestra ayuda, seríamos capaces de rastrear y contar todo, y reducir enormemente el desperdicio, las pérdidas y los costos. Sabríamos cuándo es necesario reemplazar, reparar o retirar las cosas, y si están nuevas o han pasado su mejor momento".

Especialmente desde 2015, el big data ha cobrado importancia dentro de las operaciones comerciales como una herramienta para ayudar a los empleados a trabajar de manera más eficiente y agilizar la recopilación y distribución de tecnología de la información (TI). El uso de big data para resolver problemas de TI y recopilación de datos dentro de una empresa se denomina análisis de operaciones de TI (ITOA). ^[105] Al aplicar los principios de big data a los conceptos de inteligencia artificial y computación profunda, los departamentos de TI pueden predecir posibles problemas y prevenirlos. ^[105] Las empresas ITOA ofrecen plataformas para la gestión de sistemas que reúnen silos de datos y generan información de todo el sistema en lugar de hacerlo a partir de grupos aislados de datos.

En comparación con la recopilación de datos basada en encuestas , los macrodatos tienen un bajo costo por punto de datos, aplican técnicas de análisis a través del aprendizaje automático y la minería de datos , e incluyen fuentes de datos diversas y nuevas, por ejemplo, registros, redes sociales, aplicaciones y otras formas de datos digitales. Desde 2018, los científicos de encuestas han comenzado a examinar cómo los macrodatos y la ciencia de las encuestas pueden complementarse entre sí para permitir que los investigadores y los profesionales mejoren la producción de estadísticas y su calidad. Se han celebrado tres conferencias Big Data Meets Survey Science (BigSurv) en 2018, 2020 (virtual), 2023 y, a partir de 2023, ^[update]una conferencia próxima en 2025, ^[106] un número especial en Social Science Computer Review , ^[107] un número especial en Journal of the Royal Statistical Society , ^[108] y un número especial en EP J Data Science , ^[109] y un libro llamado Big Data Meets Social Sciences ^[110] editado por Craig Hill y otros cinco miembros de la American Statistical Association . En 2021, los miembros fundadores de BigSurv recibieron el premio Warren J. Mitofsky Innovators Award de la Asociación Estadounidense de Investigación de Opinión Pública . ^[111]

El big data es importante en el marketing debido a la constante “datificación” ^[112] de los consumidores cotidianos de Internet, en la que se rastrean todas las formas de datos. La datificación de los consumidores puede definirse como la cuantificación de muchos o todos los comportamientos humanos con fines de marketing. ^[112] El mundo cada vez más digital de rápida datificación hace que esta idea sea relevante para el marketing porque la cantidad de datos crece constantemente de manera exponencial. Se predice que aumentará de 44 a 163 zettabytes en el lapso de cinco años. ^[113] El tamaño del big data a menudo puede ser difícil de manejar para los especialistas en marketing. ^[114] Como resultado, los adoptantes del big data pueden encontrarse en desventaja. Los hallazgos algorítmicos pueden ser difíciles de lograr con conjuntos de datos tan grandes. ^[115] El big data en marketing es una herramienta altamente lucrativa que puede ser utilizada por grandes corporaciones, y su valor es el resultado de la posibilidad de predecir tendencias significativas, intereses o resultados estadísticos de una manera basada en el consumidor. ^[116]

Hay tres factores importantes en el uso de big data en marketing:

1. El big data permite a los profesionales del marketing detectar patrones de comportamiento de los clientes, ya que todas las acciones humanas se cuantifican en números legibles que los profesionales del marketing pueden analizar y utilizar para sus investigaciones. ^[117] Además, el big data también puede considerarse una herramienta de recomendación de productos personalizados. En concreto, dado que el big data es eficaz para analizar los patrones de navegación y los comportamientos de compra de los clientes, esta tecnología puede ayudar a las empresas a promocionar productos personalizados específicos para clientes específicos. ^[118]
2. La capacidad de respuesta al mercado en tiempo real es importante para los especialistas en marketing debido a la capacidad de adaptar los esfuerzos de marketing y corregir las tendencias actuales, lo que resulta útil para mantener la relevancia para los consumidores. Esto puede proporcionar a las empresas la información necesaria para predecir los deseos y necesidades de los consumidores con antelación. ^[117]
3. La ambidextría del mercado basada en datos está siendo impulsada en gran medida por el big data. ^[117] Se están desarrollando nuevos modelos y algoritmos para hacer predicciones significativas sobre ciertas situaciones económicas y sociales. ^[119]

• El gobierno utiliza la Plataforma Integrada de Operaciones Conjuntas (IJOP, 一体化联合作战平台) para monitorear a la población, particularmente a los uigures . ^[120] Los datos biométricos , incluidas las muestras de ADN, se recopilan a través de un programa de exámenes físicos gratuitos. ^[121]
• Para 2020, China planea dar a todos sus ciudadanos una puntuación personal de "crédito social" basada en su comportamiento. ^[122] El Sistema de Crédito Social , que ahora se está poniendo a prueba en varias ciudades chinas, se considera una forma de vigilancia masiva que utiliza tecnología de análisis de big data. ^{[123] [124]}

• El BJP puso a prueba el análisis de big data para ganar las elecciones generales de la India de 2014. ^[125]
• El gobierno indio utiliza numerosas técnicas para determinar cómo responde el electorado indio a la acción gubernamental, así como ideas para ampliar las políticas.

• Se pueden crear tratamientos diabéticos personalizados a través de la solución de big data de GlucoMe. ^[126]

Ejemplos de usos del big data en los servicios públicos:

• Datos sobre medicamentos recetados: al relacionar el origen, la ubicación y el momento de cada receta, una unidad de investigación pudo ejemplificar y examinar el considerable retraso entre la comercialización de un medicamento determinado y la adaptación en todo el Reino Unido de las directrices del Instituto Nacional para la Excelencia en la Salud y la Atención . Esto sugiere que los medicamentos nuevos o más actualizados tardan un tiempo en llegar al paciente general. ^{[ cita requerida ] [127]}
• Combinación de datos: una autoridad local combinó datos sobre servicios, como turnos para echar sal en las carreteras, con servicios para personas en riesgo, como Meals on Wheels . La conexión de datos permitió a la autoridad local evitar cualquier retraso relacionado con el clima. ^[128]

• En 2012, la administración Obama anunció la Iniciativa de Investigación y Desarrollo de Big Data, para explorar cómo se podrían utilizar los grandes datos para abordar problemas importantes que enfrenta el gobierno. ^[129] La iniciativa está compuesta por 84 programas diferentes de big data distribuidos en seis departamentos. ^[130]
• El análisis de big data jugó un papel importante en la exitosa campaña de reelección de Barack Obama en 2012. ^[131]
• El Gobierno Federal de los Estados Unidos posee cuatro de las diez supercomputadoras más poderosas del mundo. ^{[132] [133]}
• El Centro de Datos de Utah ha sido construido por la Agencia de Seguridad Nacional de los Estados Unidos . Cuando esté terminado, la instalación podrá manejar una gran cantidad de información recopilada por la NSA a través de Internet. Se desconoce la cantidad exacta de espacio de almacenamiento, pero fuentes más recientes afirman que será del orden de unos pocos exabytes . ^{[134] [135] [136]} Esto ha planteado preocupaciones de seguridad con respecto al anonimato de los datos recopilados. ^[137]

• Walmart maneja más de un millón de transacciones de clientes cada hora, las cuales se importan a bases de datos que se estima contienen más de 2,5 petabytes (2560 terabytes) de datos, el equivalente a 167 veces la información contenida en todos los libros de la Biblioteca del Congreso de Estados Unidos . ^[8]
• Windermere Real Estate utiliza información de ubicación de casi 100 millones de conductores para ayudar a los compradores de viviendas nuevas a determinar sus tiempos de viaje típicos hacia y desde el trabajo en distintos momentos del día. ^[138]
• El sistema de detección de tarjetas FICO protege cuentas en todo el mundo. ^[139]
• El comercio minorista omnicanal ^[140] aprovecha el big data en línea para mejorar las experiencias fuera de línea.

• Los experimentos del Gran Colisionador de Hadrones representan alrededor de 150 millones de sensores que envían datos 40 millones de veces por segundo. Se producen casi 600 millones de colisiones por segundo. Después de filtrar y abstenerse de registrar más del 99,99995% ^[141] de estos flujos, hay 1000 colisiones de interés por segundo. ^{[142] [143] [144]}
  • Como resultado, trabajando solo con menos del 0,001 % de los datos del flujo de sensores, el flujo de datos de los cuatro experimentos del LHC representa una tasa anual de 25 petabytes antes de la replicación (en 2012 ^[update]), que se convierte en casi 200 petabytes después de la replicación.
  • Si todos los datos de los sensores se registraran en el LHC, sería extremadamente difícil trabajar con el flujo de datos. El flujo de datos superaría los 150 millones de petabytes a un ritmo anual, o casi 500 exabytes por día, antes de la replicación. Para poner la cifra en perspectiva, esto equivale a 500 quintillones (5×10 ²⁰ ) de bytes por día, casi 200 veces más que todas las demás fuentes combinadas en el mundo.
• El Square Kilometre Array es un radiotelescopio formado por miles de antenas. Se espera que esté operativo en 2024. En conjunto, se espera que estas antenas recopilen 14 exabytes y almacenen un petabyte por día. ^{[145] [146]} Se considera uno de los proyectos científicos más ambiciosos jamás emprendidos. ^[147]
• Cuando el Sloan Digital Sky Survey (SDSS) comenzó a recopilar datos astronómicos en 2000, acumuló más datos en sus primeras semanas que todos los datos recopilados en la historia de la astronomía hasta entonces. Continuando a un ritmo de unos 200 GB por noche, el SDSS ha acumulado más de 140 terabytes de información. ^[8] Cuando el Gran Telescopio para Rastreos Sinópticos , sucesor del SDSS, entre en funcionamiento en 2020, sus diseñadores esperan que adquiera esa cantidad de datos cada cinco días. ^[8]
• La decodificación del genoma humano , que en un principio se realizaba en diez años, ahora se puede lograr en menos de un día. Los secuenciadores de ADN han dividido el coste de la secuenciación por diez mil en los últimos diez años, lo que resulta cien veces menos costoso que la reducción de costes prevista por la ley de Moore . ^[148]
• El Centro de Simulación Climática de la NASA (NCCS) almacena 32 petabytes de observaciones y simulaciones climáticas en el clúster de supercomputación Discover. ^{[149] [150]}
• DNAStack de Google recopila y organiza muestras de ADN de datos genéticos de todo el mundo para identificar enfermedades y otros defectos médicos. Estos cálculos rápidos y exactos eliminan cualquier "punto de fricción" o error humano que pudiera cometer alguno de los numerosos expertos en ciencia y biología que trabajan con el ADN. DNAStack, parte de Google Genomics, permite a los científicos utilizar la vasta muestra de recursos del servidor de búsqueda de Google para escalar experimentos sociales que normalmente llevarían años, de forma instantánea. ^{[151] [152]}
• La base de datos de ADN de 23andMe contiene la información genética de más de 1.000.000 de personas en todo el mundo. ^[153] La empresa explora la venta de los "datos genéticos agregados anónimos" a otros investigadores y compañías farmacéuticas para fines de investigación si los pacientes dan su consentimiento. ^{[154] [155] [156] [157] [158]} Ahmad Hariri, profesor de psicología y neurociencia en la Universidad de Duke que ha estado utilizando 23andMe en su investigación desde 2009, afirma que el aspecto más importante del nuevo servicio de la empresa es que hace que la investigación genética sea accesible y relativamente barata para los científicos. ^[154] Un estudio que identificó 15 sitios del genoma vinculados a la depresión en la base de datos de 23andMe provocó un aumento en las demandas de acceso al repositorio, y 23andMe recibió casi 20 solicitudes de acceso a los datos sobre depresión en las dos semanas posteriores a la publicación del artículo. ^[159]
• La dinámica de fluidos computacional ( CFD ) y la investigación de la turbulencia hidrodinámica generan conjuntos de datos masivos. La base de datos de turbulencia de Johns Hopkins (JHTDB) contiene más de 350 terabytes de campos espaciotemporales de simulaciones numéricas directas de varios flujos turbulentos. Dichos datos han sido difíciles de compartir utilizando métodos tradicionales, como la descarga de archivos de salida de simulación plana. Se puede acceder a los datos dentro de JHTDB utilizando "sensores virtuales" con varios modos de acceso que van desde consultas directas en el navegador web, acceso a través de programas Matlab, Python, Fortran y C que se ejecutan en las plataformas de los clientes, hasta servicios de descarga para descargar datos sin procesar. Los datos se han utilizado en más de 150 publicaciones científicas.

El big data se puede utilizar para mejorar el entrenamiento y la comprensión de los competidores mediante sensores deportivos. También es posible predecir los ganadores de un partido mediante el análisis de big data. ^[160] También se puede predecir el rendimiento futuro de los jugadores. ^[161] Por lo tanto, el valor y el salario de los jugadores se determinan a partir de los datos recopilados a lo largo de la temporada. ^[162]

En las carreras de Fórmula 1 , los coches de carreras con cientos de sensores generan terabytes de datos. Estos sensores recogen datos que van desde la presión de los neumáticos hasta la eficiencia del consumo de combustible. ^[163] Con base en los datos, los ingenieros y analistas de datos deciden si se deben realizar ajustes para ganar una carrera. Además, utilizando big data, los equipos de carreras intentan predecir de antemano el tiempo en el que terminarán la carrera, basándose en simulaciones con datos recopilados durante la temporada. ^[164]

• A partir de 2013 ^[update], eBay.com utiliza dos almacenes de datos de 7,5 petabytes y 40 PB, así como un clúster Hadoop de 40 PB para búsquedas, recomendaciones de consumidores y comercialización. ^[165]
• Amazon.com gestiona millones de operaciones back-end cada día, así como consultas de más de medio millón de vendedores externos. La tecnología básica que mantiene en funcionamiento a Amazon se basa en Linux y, en 2005, ^[update]contaba con las tres bases de datos Linux más grandes del mundo, con capacidades de 7,8 TB, 18,5 TB y 24,7 TB. ^[166]
• Facebook maneja 50 mil millones de fotos de su base de usuarios. ^[167] En junio de 2017 ^[update], Facebook alcanzó los 2 mil millones de usuarios activos mensuales . ^[168]
• En agosto de 2012, Google manejaba aproximadamente 100 mil millones de búsquedas por mes ^[update]. ^[169]

Durante la pandemia de COVID-19 , el uso de big data se ha convertido en una forma de minimizar el impacto de la enfermedad. Entre las aplicaciones más importantes de este tipo de datos se encuentran la minimización de la propagación del virus, la identificación de casos y el desarrollo de tratamientos médicos. ^[170]

Los gobiernos utilizaron big data para rastrear a las personas infectadas y minimizar la propagación. Entre los primeros en adoptar esta medida se encuentran China, Taiwán, Corea del Sur e Israel. ^{[171] [172] [173]}

En marzo de 2014, en la Sociedad Estadounidense de Educación en Ingeniería, se demostró la búsqueda cifrada y la formación de clústeres en big data. Gautam Siwach participó en el proyecto Tackling the challenges of Big Data del Laboratorio de Ciencias Informáticas e Inteligencia Artificial del MIT y Amir Esmailpour del Grupo de Investigación de la UNH investigaron las características clave de los big data, como la formación de clústeres y sus interconexiones. Se centraron en la seguridad de los big data y la orientación del término hacia la presencia de diferentes tipos de datos en forma cifrada en la interfaz de la nube, proporcionando definiciones sin procesar y ejemplos en tiempo real dentro de la tecnología. Además, propusieron un enfoque para identificar la técnica de codificación para avanzar hacia una búsqueda acelerada sobre texto cifrado que conduzca a mejoras de seguridad en los big data. ^[174]

En marzo de 2012, la Casa Blanca anunció una "Iniciativa de Big Data" nacional que consistía en que seis departamentos y agencias federales comprometieran más de 200 millones de dólares a proyectos de investigación de big data. ^[175]

La iniciativa incluyó una subvención de la National Science Foundation "Expeditions in Computing" de 10 millones de dólares durante cinco años al AMPLab ^[176] en la Universidad de California, Berkeley. ^[177] El AMPLab también recibió fondos de DARPA y más de una docena de patrocinadores industriales y utiliza big data para atacar una amplia gama de problemas, desde predecir la congestión del tráfico ^[178] hasta combatir el cáncer. ^[179]

La Iniciativa de Big Data de la Casa Blanca también incluyó un compromiso por parte del Departamento de Energía de proporcionar 25 millones de dólares en financiación durante cinco años para establecer el Instituto de Gestión, Análisis y Visualización de Datos Escalables (SDAV, por sus siglas en inglés), ^[180] dirigido por el Laboratorio Nacional Lawrence Berkeley del Departamento de Energía . El Instituto SDAV tiene como objetivo reunir la experiencia de seis laboratorios nacionales y siete universidades para desarrollar nuevas herramientas que ayuden a los científicos a gestionar y visualizar datos en las supercomputadoras del departamento.

En mayo de 2012, el estado estadounidense de Massachusetts anunció la Iniciativa de Big Data de Massachusetts, que proporciona financiación del gobierno estatal y de empresas privadas a una variedad de instituciones de investigación. ^[181] El Instituto Tecnológico de Massachusetts alberga el Centro de Ciencia y Tecnología Intel para Big Data en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT , que combina financiación gubernamental, corporativa e institucional y esfuerzos de investigación. ^[182]

La Comisión Europea está financiando el Foro Público-Privado sobre Big Data, de dos años de duración, a través de su Séptimo Programa Marco, para que empresas, académicos y otras partes interesadas participen en el debate sobre cuestiones relacionadas con los big data. El proyecto tiene por objeto definir una estrategia en términos de investigación e innovación que oriente las acciones de apoyo de la Comisión Europea para la implementación exitosa de la economía de los big data. Los resultados de este proyecto se utilizarán como insumo para Horizonte 2020 , su próximo programa marco . ^[183]

El gobierno británico anunció en marzo de 2014 la fundación del Instituto Alan Turing , llamado así en honor al pionero de la informática y descifrador de códigos, que se centrará en nuevas formas de recopilar y analizar grandes conjuntos de datos. ^[184]

En el Día de inspiración de la Experiencia de Datos Abiertos Canadienses (CODE) del campus Stratford de la Universidad de Waterloo , los participantes demostraron cómo el uso de la visualización de datos puede aumentar la comprensión y el atractivo de los grandes conjuntos de datos y comunicar su historia al mundo. ^[185]

Ciencias sociales computacionales  – Cualquiera puede usar interfaces de programación de aplicaciones (API) proporcionadas por los grandes propietarios de datos, como Google y Twitter, para realizar investigaciones en las ciencias sociales y del comportamiento. ^[186] A menudo, estas API se proporcionan de forma gratuita. ^[186] Tobias Preis et al. utilizaron datos de Google Trends para demostrar que los usuarios de Internet de países con un producto interno bruto (PIB) per cápita más alto tienen más probabilidades de buscar información sobre el futuro que información sobre el pasado. Los hallazgos sugieren que puede haber un vínculo entre los comportamientos en línea y los indicadores económicos del mundo real. ^{[187] [188] [189]} Los autores del estudio examinaron los registros de consultas de Google realizados en función del volumen de búsquedas para el año siguiente (2011) con el volumen de búsquedas del año anterior (2009), lo que denominan "índice de orientación al futuro ". ^[190] Compararon el índice de orientación al futuro con el PIB per cápita de cada país y encontraron una fuerte tendencia a que los países donde los usuarios de Google preguntan más sobre el futuro tengan un PIB más alto.

Tobias Preis y sus colegas Helen Susannah Moat y H. Eugene Stanley introdujeron un método para identificar precursores en línea de movimientos del mercado de valores, utilizando estrategias comerciales basadas en datos de volumen de búsqueda proporcionados por Google Trends. ^[191] Su análisis del volumen de búsqueda de Google para 98 términos de relevancia financiera variable, publicado en Scientific Reports , ^[192] sugiere que los aumentos en el volumen de búsqueda para términos de búsqueda financieramente relevantes tienden a preceder a grandes pérdidas en los mercados financieros. ^{[193] [194] [195] [196] [197] [198] [199]}

Los grandes conjuntos de datos presentan desafíos algorítmicos que antes no existían. Por lo tanto, algunos consideran que es necesario cambiar radicalmente los métodos de procesamiento. ^[200]

Una pregunta de investigación que se plantea sobre los grandes conjuntos de datos es si es necesario examinar todos los datos para sacar ciertas conclusiones sobre las propiedades de los mismos o si una muestra es suficiente. El nombre de big data en sí mismo contiene un término relacionado con el tamaño y esta es una característica importante de los grandes datos. Pero el muestreo permite la selección de los puntos de datos correctos dentro de un conjunto de datos más grande para estimar las características de toda la población. En la fabricación, se dispone de diferentes tipos de datos sensoriales, como datos acústicos, de vibración, de presión, de corriente, de voltaje y de controlador, en intervalos de tiempo cortos. Para predecir el tiempo de inactividad, puede que no sea necesario examinar todos los datos, pero una muestra puede ser suficiente. Los grandes datos se pueden desglosar en varias categorías de puntos de datos, como datos demográficos, psicográficos, de comportamiento y transaccionales. Con grandes conjuntos de puntos de datos, los especialistas en marketing pueden crear y utilizar segmentos de consumidores más personalizados para una segmentación más estratégica.

Las críticas al paradigma del big data vienen en dos formas: aquellas que cuestionan las implicaciones del enfoque en sí, y aquellas que cuestionan la forma en que se realiza actualmente. ^[201] Un enfoque a esta crítica es el campo de los estudios críticos de datos .

"Un problema crucial es que no sabemos mucho sobre los microprocesos empíricos subyacentes que conducen al surgimiento de las características de red típicas de Big Data". ^{[25] [ página necesaria ]} En su crítica, Snijders, Matzat y Reips señalan que a menudo se hacen suposiciones muy fuertes sobre propiedades matemáticas que pueden no reflejar en absoluto lo que realmente está sucediendo a nivel de microprocesos. Mark Graham ha dirigido amplias críticas a la afirmación de Chris Anderson de que Big Data significará el fin de la teoría: ^[202] centrándose en particular en la noción de que Big Data siempre debe contextualizarse en sus contextos sociales, económicos y políticos. ^[203] Incluso cuando las empresas invierten sumas de ocho y nueve cifras para obtener información de la información que fluye de proveedores y clientes, menos del 40% de los empleados tienen procesos y habilidades suficientemente maduros para hacerlo. Para superar este déficit de información, Big Data, sin importar cuán completo o bien analizado sea, debe complementarse con un "gran juicio", según un artículo en Harvard Business Review . ^[204]

En la misma línea, se ha señalado que las decisiones basadas en el análisis de big data están inevitablemente "informadas por el mundo tal como era en el pasado o, en el mejor de los casos, como es actualmente". ^{[67] [ página necesaria ]} Alimentados por una gran cantidad de datos sobre experiencias pasadas, los algoritmos pueden predecir el desarrollo futuro si el futuro es similar al pasado. ^[205] Si la dinámica del sistema del futuro cambia (si no es un proceso estacionario ), el pasado puede decir poco sobre el futuro. Para hacer predicciones en entornos cambiantes, sería necesario tener una comprensión profunda de la dinámica de los sistemas, lo que requiere teoría. ^[205] Como respuesta a esta crítica, Alemany Oliver y Vayre sugieren utilizar "el razonamiento abductivo como un primer paso en el proceso de investigación para dar contexto a los rastros digitales de los consumidores y hacer que surjan nuevas teorías". ^[206] Además, se ha sugerido combinar enfoques de big data con simulaciones por computadora, como modelos basados ​​en agentes ^{[67] [ página necesaria ]} y sistemas complejos . Los modelos basados ​​en agentes son cada vez mejores en la predicción del resultado de las complejidades sociales de escenarios futuros incluso desconocidos a través de simulaciones por computadora que se basan en una colección de algoritmos mutuamente interdependientes. ^{[207] [208]} Finalmente, el uso de métodos multivariados que investigan la estructura latente de los datos, como el análisis factorial y el análisis de conglomerados , han demostrado ser útiles como enfoques analíticos que van mucho más allá de los enfoques bivariados (por ejemplo, tablas de contingencia ) que normalmente se emplean con conjuntos de datos más pequeños.

En salud y biología, los enfoques científicos convencionales se basan en la experimentación. Para estos enfoques, el factor limitante son los datos relevantes que pueden confirmar o refutar la hipótesis inicial. ^[209] Un nuevo postulado se acepta ahora en biociencias: la información proporcionada por los datos en grandes volúmenes ( ómicas ) sin hipótesis previas es complementaria y a veces necesaria a los enfoques convencionales basados ​​en la experimentación. ^{[210] [211]} En los enfoques masivos es la formulación de una hipótesis relevante para explicar los datos lo que es el factor limitante. ^[212] La lógica de búsqueda se invierte y se deben considerar los límites de la inducción ("Glory of Science and Philosophy scandal", CD Broad , 1926). ^{[ cita requerida ]}

Los defensores de la privacidad están preocupados por la amenaza a la privacidad que representa el aumento del almacenamiento y la integración de información personal identificable ; los paneles de expertos han publicado varias recomendaciones de políticas para adaptar la práctica a las expectativas de privacidad. ^[213] El mal uso de los macrodatos en varios casos por parte de los medios de comunicación, las empresas e incluso el gobierno ha permitido la abolición de la confianza en casi todas las instituciones fundamentales que sostienen a la sociedad. ^[214]

Barocas y Nissenbaum sostienen que una forma de proteger a los usuarios individuales es estar informados sobre los tipos de información que se recopilan, con quién se comparte, bajo qué restricciones y con qué fines. ^[215]

El modelo en "V" de big data es preocupante porque se centra en la escalabilidad computacional y carece de una pérdida en la perceptibilidad y la comprensión de la información. Esto condujo al marco de big data cognitivo, que caracteriza las aplicaciones de big data según: ^[216]

• Integridad de los datos: comprensión de lo no obvio a partir de los datos
• Correlación, causalidad y predictibilidad de los datos: la causalidad no es un requisito esencial para lograr la predictibilidad
• Explicabilidad e interpretabilidad: los humanos desean comprender y aceptar lo que entienden, mientras que los algoritmos no pueden lograrlo.
• Nivel de toma de decisiones automatizada : algoritmos que apoyan la toma de decisiones automatizada y el autoaprendizaje algorítmico

Durante más de un siglo, las máquinas de computación han analizado grandes conjuntos de datos, incluidos los análisis del censo de Estados Unidos realizados por las máquinas de tarjetas perforadas de IBM , que calculaban estadísticas que incluían medias y varianzas de poblaciones en todo el continente. En décadas más recientes, experimentos científicos como el CERN han producido datos en escalas similares a los actuales "big data" comerciales. Sin embargo, los experimentos científicos han tendido a analizar sus datos utilizando clústeres y redes de computación de alto rendimiento (supercomputación) personalizados y especializados , en lugar de nubes de computadoras comerciales baratas como en la ola comercial actual, lo que implica una diferencia tanto en la cultura como en la pila de tecnología.

Ulf-Dietrich Reips y Uwe Matzat escribieron en 2014 que el big data se había convertido en una "moda" en la investigación científica. ^[186] La investigadora Danah Boyd ha expresado su preocupación por el uso del big data en la ciencia, descuidando principios como la elección de una muestra representativa al preocuparse demasiado por el manejo de enormes cantidades de datos. ^[217] Este enfoque puede conducir a resultados que tienen un sesgo de una forma u otra. ^[218] La integración entre recursos de datos heterogéneos (algunos de los cuales podrían considerarse big data y otros no) presenta formidables desafíos logísticos y analíticos, pero muchos investigadores sostienen que es probable que tales integraciones representen las nuevas fronteras más prometedoras en la ciencia. ^[219] En el provocativo artículo "Preguntas críticas para el big data", ^[220] los autores titulan al big data como una parte de la mitología : "los grandes conjuntos de datos ofrecen una forma superior de inteligencia y conocimiento [...], con el aura de verdad, objetividad y precisión". Los usuarios de big data a menudo se "pierden en el gran volumen de números", y "trabajar con big data sigue siendo subjetivo, y lo que cuantifica no necesariamente tiene un reclamo más cercano a la verdad objetiva". ^[220] Los desarrollos recientes en el dominio de BI, como los informes proactivos, apuntan especialmente a mejoras en la usabilidad de big data, a través del filtrado automático de datos y correlaciones no útiles . ^[221] Las grandes estructuras están llenas de correlaciones espurias ^[222] ya sea por coincidencias no causales ( ley de números verdaderamente grandes ), la naturaleza únicamente de la gran aleatoriedad ^[223] ( teoría de Ramsey ) o la existencia de factores no incluidos , por lo que la esperanza de los primeros experimentadores de hacer que grandes bases de datos de números "hablaran por sí mismas" y revolucionaran el método científico, está cuestionada. ^[224] Catherine Tucker ha señalado el "bombo" en torno a los big data, escribiendo "Por sí solo, es poco probable que los big data sean valiosos". El artículo explica: "Los numerosos contextos en los que los datos son baratos en relación con el coste de retener el talento para procesarlos sugieren que las habilidades de procesamiento son más importantes que los datos en sí mismos a la hora de crear valor para una empresa". ^[225]

El análisis de big data suele ser superficial en comparación con el análisis de conjuntos de datos más pequeños. ^[226] En muchos proyectos de big data, no se realiza un análisis de big data, pero el desafío es la parte de extracción, transformación y carga del preprocesamiento de datos. ^[226]

Big data es una palabra de moda y un "término vago", ^{[227] [228]} pero al mismo tiempo una "obsesión" ^[228] entre empresarios, consultores, científicos y medios de comunicación. Los programas de big data como Google Flu Trends no han logrado ofrecer buenas predicciones en los últimos años, exagerando los brotes de gripe por un factor de dos. De manera similar, las predicciones de los premios Oscar y las elecciones basadas únicamente en Twitter fueron más acertadas que correctas. Big data a menudo plantea los mismos desafíos que small data; agregar más datos no resuelve los problemas de sesgo, pero puede enfatizar otros problemas. En particular, las fuentes de datos como Twitter no son representativas de la población general, y los resultados extraídos de esas fuentes pueden llevar a conclusiones erróneas. Google Translate , que se basa en el análisis estadístico de texto de big data, hace un buen trabajo al traducir páginas web. Sin embargo, los resultados de dominios especializados pueden estar sesgados drásticamente. Por otra parte, el big data también puede introducir nuevos problemas, como el problema de las comparaciones múltiples : probar simultáneamente un gran conjunto de hipótesis puede producir muchos resultados falsos que parecen significativos por error. Ioannidis sostuvo que "la mayoría de los hallazgos de investigación publicados son falsos" ^[229] debido esencialmente al mismo efecto: cuando muchos equipos científicos e investigadores realizan muchos experimentos (es decir, procesan una gran cantidad de datos científicos; aunque no con tecnología de big data), la probabilidad de que un resultado "significativo" sea falso crece rápidamente, más aún cuando solo se publican resultados positivos. Además, los resultados del análisis de big data son tan buenos como el modelo en el que se basan. En un ejemplo, el big data participó en el intento de predecir los resultados de las elecciones presidenciales estadounidenses de 2016 ^[230] con distintos grados de éxito.

El uso de big data en la vigilancia policial y de seguridad pública ha sido utilizado por instituciones como las fuerzas del orden y las corporaciones . ^[231] Debido a la naturaleza menos visible de la vigilancia basada en datos en comparación con los métodos tradicionales de vigilancia policial, es menos probable que surjan objeciones a la vigilancia con big data. Según Big Data Surveillance: The Case of Policing de Sarah Brayne , ^[232] la vigilancia con big data puede reproducir las desigualdades sociales existentes de tres maneras:

• Someter a las personas a una mayor vigilancia utilizando como justificación un algoritmo matemático y, por tanto, imparcial
• Aumentar el alcance y la cantidad de personas que están sujetas al seguimiento de las fuerzas del orden y exacerbar la sobrerrepresentación racial existente en el sistema de justicia penal
• Alentar a los miembros de la sociedad a abandonar las interacciones con instituciones que crearían un rastro digital, creando así obstáculos a la inclusión social.

Si no se corrigen o regulan estos problemas potenciales, los efectos de la vigilancia basada en los macrodatos pueden seguir configurando las jerarquías sociales. El uso consciente de la vigilancia basada en los macrodatos podría evitar que los sesgos a nivel individual se conviertan en sesgos institucionales, señala Brayne.

• Hilbert, M (2016), "Big Data para el desarrollo: una revisión de promesas y desafíos", Development Policy Review , 34 (1): 135–74, doi : 10.1111/dpr.12142; acceso gratuito, archivado el 21 de abril de 2021 en Wayback Machine.
• Snijders, C.; Matzat, U.; Reips, U.-D. (2012). «'Big Data': Grandes lagunas de conocimiento en el campo de Internet». Revista Internacional de Ciencias de Internet . 7 : 1–5. Archivado desde el original el 23 de noviembre de 2019 . Consultado el 13 de abril de 2013 .
• Yanase, J; Triantaphyllou, E (2019). "Un estudio sistemático del diagnóstico asistido por ordenador en medicina: desarrollos pasados ​​y presentes". Sistemas expertos con aplicaciones . 138 : 112821. doi :10.1016/j.eswa.2019.112821. S2CID  199019309.

• Peter Kinnaird; Inbal Talgam-Cohen, eds. (2012). "Big Data". XRDS: Crossroads, la revista de la ACM para estudiantes . Vol. 19, núm. 1. Association for Computing Machinery . ISSN  1528-4980. OCLC  779657714.
• Jure Leskovec ; Anand Rajaraman ; Jeffrey D. Ullman (2014). Minería de conjuntos de datos masivos. Cambridge University Press. ISBN 978-1-10707723-2.OCLC 888463433  .
• Viktor Mayer-Schönberger y Kenneth Cukier (2013). Big Data: una revolución que transformará nuestra forma de vivir, trabajar y pensar . Houghton Mifflin Harcourt. ISBN 978-1-29990302-9.OCLC 828620988  .
• Press, Gil (9 de mayo de 2013). "A Very Short History of Big Data". forbes.com . Jersey City, NJ . Consultado el 17 de septiembre de 2016 .
• Stephens-Davidowitz, Seth (2017). Todo el mundo miente: Big Data, nuevos datos y lo que Internet puede decirnos sobre quiénes somos realmente . Dey Street Books. ISBN 978-0-06239085-1.
• "Big Data: La revolución de la gestión". Harvard Business Review . Octubre de 2012.
• O'Neil, Cathy (2017). Armas de destrucción matemática: cómo los macrodatos aumentan la desigualdad y amenazan la democracia . Broadway Books. ISBN 978-0-55341883-5.

• Medios relacionados con Big data en Wikimedia Commons
• La definición del diccionario de big data en Wikcionario