Minería de Datos a Través de Ejemplos

Descripción

Con la ayuda de este libro, a través de ejemplos totalmente resueltos, el lector profundizará en el descubrimiento e interpretación de la información contenida en grandes conjuntos de datos. Se trata de exponer, con sencillez y mediante una metodología interactiva, los conceptos de minería de datos e inteligencia de negocios. Este libro analiza las herramientas más habituales y las posibilidades que ofrecen SAS, SAS Enterprise Guide, SAS Enterprise Miner, IBM SPSS e IBM SPSS Modeler.

La minería de datos consiste en analizar e interpretar de forma automática comportamientos, patrones, tendencias, asociaciones, predicciones y otras características del conocimiento inmerso en los datos. Las grandes cantidades de datos de que se disponen en la actualidad nos obligan a extraer de un modo automatizado la información clave contenida en ellos. Para lograrlo, se utilizan herramientas informáticas que soportan técnicas especializadas, estas técnicas constituyen la minería de datos.

Ventajas

• A través de ejemplos totalmente resueltos a lo largo del libro se irán presentando las diferentes técnicas de minería de datos.

• Los archivos con los ejemplos se podrán descargar de Libroweb.alfaomega.com.mx

Conozca

• Los Entornos de Trabajo de IBM SPSS, IBM SPSS MODELER, SAS ENTERPRISE MINER , SAS y SAS Enterprise Guide.

• Las Fases de: selección, exploración, limpieza, transformación,  análisis  y evaluación aplicadas en minería de datos.

• Técnicas predictivas:  árboles de decisión.

• Técnicas descriptivas Análisis clúster y segmentación.

Aprenda

• Cómo utilizar las diversas herramientas para explorar y analizar los datos de su organización.

• Cómo realizar el análisis inteligente a través de Redes neuronales

ÍNDICE

Introducción ……………………………………………………………………………………………….1

Capítulo 1. Técnicas de minería de datos y herramientas ………………………………..1

Clasificación de las técnicas de minería de datos y herramientas más comunes .1

Modelado originado por la teoría (técnicas explicativas o de la dependencia) …..3

Modelado originado por los datos (técnicas descriptivas o de la interdependencia).4

El entorno de trabajo de IBM SPSS …………………………………………………………5

Entorno de trabajo de IBM SPSS Modeler ………………………………………………..10

Entorno de trabajo de SAS Enterprise Miner ……………………………………………12

Los entornos de trabajo de SAS y SAS Enterprise Guide …………………………….16

Capítulo 2. Fase de selección en minería de datos. Herramientas ……………23

La fase inicial en minería de datos:selección de la información ………………….23

Selección mediante muestreo estadístico ……………………………………………….25

Muestreo aleatorio simple con IBM SPSS ………………………………………………..29

Muestreo estratificado con IBM SPSS ……………………………………………………..30

Estimaciones y cálculo de errores enel muestreo estratificado ………………….40

Muestreo de conglomerados monoetápico y polietápico con IBM SPSS ………42

Estimaciones y cálculo de errores en el muestreo de conglomerados …………48

La fase de selección en IBM SPSS Modeler ………………………………………………49

Selección de datos con IBM SPSS Modeler ………………………………………………50

Muestreo con IBM SPSS Modeler …………………………………………………………..53

La fase de selección en SAS Enterprise Miner …………………………………………..54

Pestaña Data ……………………………………………………………………………………56

Pestaña Variables ……………………………………………………………………………..57

El perfil del objetivo (Target Profile) …………………………………………………….58

Especificar probabilidades a priori ………………………………………………………59

Pestaña Interval Variables ………………………………………………………………….60

Pestaña Class Variables ……………………………………………………………………..60

Pestaña Notes …………………………………………………………………………………..61

Muestreo en SAS Enterprise Miner …………………………………………………………61

Partición de datos en SAS EnterpriseMiner ……………………………………………..65

El nodo de selección de variables ……………………………………………………………68

Muestreo a travésde SAS ……………………………………………………………………..71

Muestreo aleatorio simple …………………………………………………………………73

Muestreo aleatorio estratificado …………………………………………………………75

Capítulo 3. Fases de exploración y limpieza en minería de datos.Herramientas.77

Análisis exploratorio de datos ………………………………………………………………..77

Limpieza dedatos ………………………………………………………………………………..79

Valores atípicos ………………………………………………………………………………..79

Datos desaparecidos. Imputación ……………………………………………………….81

Análisis exploratorio gráfico y formal con IBM SPSS …………………………………. 85

Procedimient o Explorar ……………………………………………………………………..85

Contraste de aleatoriedad. Procedimiento Prueba de rachas ………………….90

Normalidad. Test de ajuste a una distribución de frecuencias.

Procedimiento prueba de Kolmogorov-Smirnov …………………………………………93

Tratamiento de los datos ausentes con IBM SPSS. Imputación ……………………94

Detección de datos atípicos con IBM SPSS ………………………………………………..101

Detección de valores atípicos en IBM SPSS mediante gráficos de control ……..102

Detección de casos atípicos en IBM SPSS mediante gráficos de caja y bigotes ..104

Análisis exploratorio gráfico y formal con IBM SPSS Modeler ……………………. 105

El nodo Gráfico …………………………………………………………………………………106

El nodo Distribución ………………………………………………………………………….108

El nodo Histograma …………………………………………………………………………..110

La fase de limpieza en IBM SPSS Modeler ………………………………………………..111

El nodo Rellenar para imputación de datos missing ……………………………….112

La fase de Exploración en Enterprise Miner ……………………………………………..112

El nodo Explorador de distribuciones …………………………………………………..113

El nodo de Exploración de Patrones ………………………………………………………..114

Tratamiento de datos atípicos con el nodo Filtro de Outliers de SAS Enterprise Miner.122

Opciones de filtrado automático …………………………………………………………122

Observación y ajuste de los resultados del filtrado ………………………………..123

El nodo Imputación de datos missing …………………………………………………..125

La fase de Exploración en SAS ………………………………………………………………..132

Capítulo 4. Fase de transformación en minería de datos. Herramientas ……135

Transformaciónde datos ………………………………………………………………………135

Transponer, fusionar, agregar,segmentar y ordenar archivos …………………136

Ponderar casos y categorizar y numerizar variables ……………………………….137

Pareamiento o matching……………………………………………………………………137

Transformación de datos mediante técnicas de reducción de la dimensión …139

Análisis factorial y componentes principales ……………………………………………139

Contrastes en el modelo factorial ……………………………………………………….141

Rotación de los factores …………………………………………………………………….143

Interpretación gráfica de los factores y puntuaciones factoriales …………….144

Técnicas de reducción de ladimensión en IBM SPSS …………………………………146

Análisis factorial y componentes principales en IBM SPSS ………………………….147

Transformación de datos en IBM SPSS …………………………………………………….153

Transponer, fusionar, agregar y segmentar archivos. Matching………………153

Ponderar casos …………………………………………………………………………………160

Transformación de datos y técnicas de reducción de la dimensión eIBM SPSS Modeler.161

Matching mediante el nodo Combinar …………………………………………………161

Ajuste de registros con el nodo Equilibrar …………………………………………….163

Estadísticos por subgrupos con el nodo Agregar ……………………………………164

Remover duplicados con el nodo Distinguir ………………………………………….165

Concatenación de archivos con el nodo Añadir ……………………………………..166

Transformación de variables con el nodoDerivar ………………………………….167

Análisis factorial y componentes principales con el nodo Factor/PCA ………169

Transformación de datos y reducción de la dimensión en SAS Enterprise Miner .177

El nodo Transformación de variables …………………………………………………..177

Componentes principales con el nodo Exploración de patrones ………………181

Componentes principales y análisis factorial en SAS y SAS Enterprise Guide ..188

Capítulo 5. Fase de análisis en minería de datos. Técnicas predictivas.Herramientas .197

Fase de análisis en minería de datos ……………………………………………………….197

Modelos de regresión múltiple y de elección discreta. Modelos Logit y Probit. Segmentación .199

Modelos de elección discreta binaria: modelo lineal de probabilidad y regresión logística binaria .200

Modelos de elección múltiple:modelo Logit Multinomial ……………………………………….202

IBM SPSS y los modelos de variable dependiente limitada. Aplicaciones a la segmentación 202

IBM SPSS y la regresión logística binaria ………………………………………………203

IBM SPSS y elmodelo Probit ……………………………………………………………….210

IBM SPSS y el modelo Logit Multinomial ………………………………………………214

SAS y los modelos de el ección discreta ……………………………………………………220

SAS y la regresión logística. PROC LOGISTIC ………………………………………….220

SAS y el modelo Probit : procedimiento Probit ………………………………………227

El modelo de análisis discriminante como técnica de clasificación y segmentación.230

IBM SPSS y el análisis discriminante ………………………………………………………..236

SAS y el análisis discriminante: PROC DISCRIM …………………………………………244

Ejemplo de análisis discriminante con SAS ……………………………………………245

SAS y el análisis discriminante paso a paso: PROC STEPDISC y ejemplo práctico.248

Técnicas predictivas con SAS Enterprise Miner …………………………………………253

Modelo de regresión múltiple con el nodo Regression ………………………………253

El nodo Regression: modelo lineal general GLM ……………………………………….260

Modelos de elección discreta Logit y Probit con el nodo Regression ……………271

Modelos predictivos con IBM SPSS Modeler …………………………………………….273

Modelo de regresión múltiplecon el nodo Regresión Lineal …………………..274

Modelos de elección discretacon el nodo Regresión Logística ………………..281

Capítulo 6. Modelos predictivos con árboles de decisión. Herramientas ……285

Introducción a los árboles de decisión …………………………………………………….285

Características de los árboles de decisión ………………………………………………..287

Tipos de árboles de decisión ………………………………………………………………….289

Árboles CHAID ………………………………………………………………………………….289

Árboles CART ……………………………………………………………………………………290

Árboles QUEST ………………………………………………………………………………….291

IBM SPSS y los árboles de decisión ………………………………………………………….292

Creación de un árbol de decisión: método CHAID …………………………………….294

Métodos CRT y QUEST. Poda de árboles ………………………………………………….300

Árboles de decisión y análisis de riesgos ………………………………………………….304

El proceso de creación de árboles de decisión con IBM SPSS Modeler …………307

Situar los datos en el área de trabajo con un nodo de origen de datos …….308

Enlace del origen de datos con la fuentede datos …………………………………309

Visualización de los datos con el nodo Tabla …………………………………………310

El nodo Tipo y las variables de predicción …………………………………………….311

Nodo de modelado para crear el árbol …………………………………………………313

Trabajar con árboles ………………………………………………………………………….313

Interpretación del árbol……………………………………………………………………..316

Predicción con unmodelo deárbol ……………………………………………………..317

Guardar unmodelo …………………………………………………………………………..317

Nodos para árboles de decisióncon IBM SPSS Modeler …………………………….317

El nodo Crear C5.0 …………………………………………………………………………….318

El nodo Árbol C&R …………………………………………………………………………….319

El proceso de creación de árboles dedecisión con SAS Enterprise Miner …….320

Nodo Input Data Source para leer ficheros de datos y enlazarlos con SAS Enterprise Miner .320

Nodo Input Data Source y los tipos de variables ……………………………………324

Enlace de nodos de un diagrama. El nodo Data Partition ………………………..325

Nodo de modeladopara crear elárbol …………………………………………………328

Profundizando en elnodo Tree ………………………………………………………………332

Capítulo 7. Técnicas descriptivas de minería de datos. Análisis clústery segmentación. Herramientas .343

El análisis clúster como técnica declasificación y segmentación ………………..343

Clústers jerárquicos, secuenciales,aglomerativos y exclusivos (S.A.H.N.) …345

El dendograma en el análisis clúster jerárquico …………………………………….346

Análisis clúster no jerárquico ………………………………………………………………346

IBM SPSS y el análisisclúster jerárquico ………………………………………………….349

IBM SPSS y el análisis clúster no jerárquico ……………………………………………..355

SAS y el análisis clúster jerárquico ………………………………………………………….360

Procedimiento ACECLUS …………………………………………………………………….360

Procedimiento CLÚSTER …………………………………………………………………….361

Procedimiento TREE ………………………………………………………………………….363

SAS y el análisis clúster no jerárquico ……………………………………………………..365

Análisis clúster con Enterprise Miner. El nodo Clustering …………………………..371

Análisis clúster con IBM SPSS Modeler ……………………………………………………377

El nodo Entrenar K-medias: clúster no jerárquico ………………………………….378

El nodo Clúster bietápico: clúster jerárquico …………………………………………382

Capítulo 8. Redes neuronales. Herramientas ………………………………………..383

Introducción ………………………………………………………………………………………..383

Redes neuronales con SAS Enterprise Miner ……………………………………………383

Optimización y ajuste de modelos con redes: nodo Neural Network …………..384

Análisis en componentes principales a través de redes neuronales: nodo Princo mp/ Dmneur al .406

Predicción y análisis discriminante a través de redes neuronales:nodo TwoStage Model .412

Análisis clúster con redes neuronales: nodo SOM/Kohonen ………………………418

Redes neuronales con IBM SPSS Modeler …………………………………………….426

Nodo Entrenar red …………………………………………………………………………….427

Análisis clúster con redes neuronales: nodo Entrenar Kohonen ………………430

Capítulo 9. Fase de evaluación. Comparación de modelos. Herramientas ….433

Fase de evaluación en SAS Enterprise Miner. Nodo Assessment …………………433

Trabajo con el nodo de evaluación …………………………………………………………434

El fichero de datos con las predicciones ……………………………………………….434

Models …………………………………………………………………………………………….434

Options ……………………………………………………………………………………………437

Reports ……………………………………………………………………………………………438

Output …………………………………………………………………………………………….438

Gráficos del nodo Assessment ……………………………………………………………….438

Lift (Gráfico de ganancias) ………………………………………………………………….438

Vista de los datos relativos a los gráficos de ganancias …………………………..441

DIAGNOSTIC (Gráfico de clasificación) ………………………………………………….442

THRESHOLD-BASED (Gráfico de clasificación basado en el umbral) ………….443

Curvas ROC ……………………………………………………………………………………445

Scatter Plot (Gráfico de dispersión) ……………………………………………………..446

Ejemplo de combinación de modelos de árboles con otros modelos …………..446

Capacidad predictiva de un modelo ………………………………………………………..449

Selección de modelos. Ejemplo con IBM SPSS ………………………………………….450

Curvas ROC. Ejemplo con IBM SPSS ………………………………………………………..452

Índice analítico.. ……………………………………………………………………………..455