El término alude a la acumulación de ingentes cantidades de datos digitales, que por su volumen y complejidad escapan a la capacidad de procesamiento y análisis de las herramientas informáticas clásicas, y requieren de tecnología más sofisticada, a menudo de inteligencia artificial.La caracterización del fenómeno se suele realizar en torno a las denominadas «V» de los datos: volumen, variedad, velocidad y valor, a las que se añaden, entre otras, la veracidad.
La era de la digitalización, marcada por el uso generalizado de internet en los distintos ámbitos de la existencia personal (información,comunicación, socialización, movilidad, entretenimiento, consumo, trabajo, sanidad, etc.), junto con otros factores, como el abaratamiento de dispositivos de almacenamiento, ha comportado la existencia de enormes volúmenes de información (personal y no personal), cuyo análisis se ha demostrado muy valioso desde una perspectiva, ya no solo económica, sino también política o de poder.
Ha de tenerse en cuenta que los datos representan el colectivo estudiado. Puede ser “toda la población” (censo)- que normalmente no es posible obtener habitualmente- o “una parte de la misma” (muestra) – que es con la que es habitual que se trabaje. Cuando en una población dada se selecciona adecuadamente un grupo de individuos obtenemos una muestra. La teoría del Big data es que cuanto más datos obtengamos tendremos mejores muestras y más representativas de la variedad existente en las poblaciones
La sociedad de la información genera una cantidad explosiva de datos. El big data sirve para automatizar el proceso de análisis de esos datos.Introducimos conocimiento a través de ejemplos para, por un lado, personalizar sistemas centrados en el usuario y, por el otro, modificar el comportamiento de un agente inteligente.
El big data permite tener tantos datos que se puede sustentar la hipótesis de la ciencia de datos: Si un modelo describe bien el concepto meta en un número suficientemente grande/significativo de ejemplos, también describirá el concepto meta en futuros ejemplos. Con ello se puede dar origen a un proceso que extrae relaciones, tendencias o patrones existentes en un grupo grande de datos.
Esto es, a partir de esa cantidad ingente de datos se pueden usar técnicas de identificación de patrones y de correlación, se pueden realizar predicciones especialmente útiles para la adopción de decisiones públicas y privadas. Por ello se ha dicho que los datos son el nuevo petróleo. En fin, desde esta perspectiva, a menudo se extiende el término big data no sólo a los datos almacenados, sino también al proceso automatizado de análisis de los mismos desde el momento en que se capturan hasta que se transforman en conocimiento mediante complejas técnicas de inteligencia artificial aunque en sentido estricto se trata de dos conceptos diferentes.