Origen del Data Mining

“Data Mining es una parte de un proceso de rango superior: el descubrimiento del conocimiento. Sin embargo, Data Mining es un proceso en sí mismo, que a su vez consta de varias fases.”

Origen del Data Mining

Actualmente nos encontramos en un momento histórico que se ha denominado como la “era de la información”. Las organizaciones acumulan y generan una cantidad enorme de información, incorporando cada día más.

Para poder manejar estos volúmenes de datos, nos apoyamos en los sistemas y medios de almacenamiento masivo que son los que facilitan la clasificación y el almacenamiento de esta información.

 Sin embargo, el continuo crecimiento de datos, provenientes de orígenes dispares y con estructuras diferentes, hizo que los sistemas iniciales se vieran desbordados, por lo que fue necesaria la creación de sistemas más complejos. De esta manera surgieron las bases de datos estructuradas y los Sistemas de Gestión de Bases de Datos o DBMS (siglas de su denominación en inglés: Database Management Systems). Estos se han convertido en activos muy eficaces para la gestión de datos, especialmente para la recuperación eficaz de la información, incluso dentro de grandes volúmenes.

Pero, como se indicaba al inicio de este apartado, hoy en día, tenemos mucha más información de lo que podemos manejar: transacciones comerciales, datos científicos, imágenes de satélite, informes de texto, inteligencia militar, datos empresariales... En este entorno, la sola recuperación de la información no es suficiente para la toma efectiva de decisiones.

Frente a estas enormes colecciones de datos surgen nuevas necesidades que ayuden en la toma de decisiones. Entre estas podemos encontrar el resumen automático de datos, la extracción de la “esencia” de la información almacenada y el descubrimiento de patrones en los datos brutos.

A menudo, vemos como cada transacción es “memorizada” a perpetuidad. Por ejemplo, las operaciones que se encuentran fuertemente vinculadas con el tiempo o el momento de su realización, como pueden ser órdenes de compras, actividades bancarias… Los grandes almacenes, gracias al uso generalizado de los códigos de barras, almacenan diariamente un gran número de transacciones que finalmente representan terabytes de datos.

Con el precio del almacenamiento físico disminuyendo y la posibilidad de contratar capacidad en la nube, el espacio no es el mayor problema. Sin duda este es el uso eficaz y rápido (o, al menos, en un plazo de tiempo razonable) de estos datos para la toma de decisiones que ayuden a la gestión de las empresas en un marco tan competitivo como el actual.

Este aumento de la cantidad de datos que tienen que analizar las organizaciones dio lugar a la aparición tanto del Data Mining como, de forma paralela, al Data Warehouse. Siendo este un repositorio integrado y no volátil empleado para dar soporte de datos y los procesos empleados en la toma de decisiones.

Te puede interesar Datos no estructurados: qué son y por qué importan tanto

La minería de datos o Data Mining forman parte del proceso de descubrimiento del conocimiento (también conocido como KDD, Knowledge Discovery in Databases), y se refiere a la extracción no trivial de información implícita, previamente desconocida y potencialmente útil de los datos que se encuentran en las bases de datos. Aunque la minería de datos y el descubrimiento de conocimiento en bases de datos (o KDD) son considerados a menudo como sinónimos, la minería de datos es en realidad parte del proceso de descubrimiento de conocimiento.

Dentro del proceso reiterativo de búsqueda o descubrimiento del conocimiento la minería de datos es el paso más importante.

Se considera un resultado del proceso como interesante si es comprensible por el cliente, es válido con cierto grado de certeza, es potencialmente útil y es novedoso o sirve para validar una hipótesis.

El interés de los resultados se puede evaluar objetivamente de acuerdo a criterios estadísticos o subjetivamente de acuerdo a la perspectiva del usuario.

Continuación...