Data Mesh, entrega de valor impulsado por los datos a escala

En materia de datos, actualmente se atraviesa por un punto de inflexión, en el que las soluciones de gestión ya no se encuentran a la altura de la complejidad de las organizaciones, de la proliferación de las fuentes de datos y del alcance de las aspiraciones de obtener valor de estos con inteligencia artificial y analítica.

En este libro práctico, la autora Zhamak Dehghani presenta Data Mesh, un paradigma sociotécnico descentralizado, basado en una arquitectura distribuida moderna que proporciona un nuevo enfoque para la obtención, el intercambio, el acceso y la gestión de datos analíticos.

Dehghani guía a profesionales, arquitectos, líderes técnicos y responsables de la toma de decisiones en sus propósitos, desde la arquitectura tradicional de Big Data hasta un enfoque distribuido y multidimensional de la gestión de datos analíticos. En Data Mesh, se trata a estos como un producto, se consideran los dominios como una cuestión primordial, se utiliza el concepto de «plataforma» para crear una infraestructura de datos de autoservicio y se presenta un modelo informático federado de gestión de datos.

Gracias a la lectura de este libro:

Obtendrá una introducción completa a los principios de la malla de datos y sus componentes

Podrá diseñar una arquitectura de Data Mesh

Conseguirá guiar una estrategia de Data Mesh y su ejecución

Navegará por el diseño organizativo hacia un modelo descentralizado de datos

Irá más allá de los repositorios y lagos de datos tradicionales hacia una malla de datos distribuida

Sin duda, en cuanto a datos se refiere, se hace presente un nuevo paradigma que será crucial para el desarrollo de los profesionales. Con este libro, podrá formar parte de él y disfrutará de los beneficios de Data Mesh desde su origen.

Zhamak Dehghani es miembro de varios consejos asesores de tecnología, entre ellos el de Thoughtworks. Zhamak es una defensora de la descentralización de todas las cosas, incluida la arquitectura, los datos y, en última instancia, el poder. Es la fundadora de Data Mesh.

Preámbulo …………………………………………………………………………………. xv

Prefacio ……………………………………………………………………………………. xvii

Prólogo: Imagine una malla de datos ……………………………………………. xxv

Parte I. ¿Qué es Data Mesh o la «malla de datos»?

1. Data Mesh en pocas palabras …………………………………………………….. 3

Los beneficios …………………………………………………………………………………………. 3

Los cambios ……………………………………………………………………………………………. 4

Los principios ………………………………………………………………………………………….. 6

Principio de propiedad del dominio ………………………………………………………………… 6

Principio de los datos como producto ……………………………………………………………… 7

Principio de la plataforma de datos de autoservicio ………………………………………….. 8

Principio de gobernanza informática federada …………………………………………………. 9

Interacción de los principios……………………………………………………………………… 9

Vistazo del modelo de Data Mesh ……………………………………………………………. 11

Los datos………………………………………………………………………………………………. 12

Los datos operativos ……………………………………………………………………………………. 12

Los datos analíticos …………………………………………………………………………………….. 13

El origen ……………………………………………………………………………………………….. 14

2. Principio de propiedad del dominio …………………………………………… 17

Información breve sobre el diseño orientado al dominio ……………………………. 19

Uso del diseño estratégico del DDD para los datos ……………………………………. 20

Arquetipos de datos de dominio ……………………………………………………………… 23

Datos de dominio alineados con la fuente ……………………………………………………… 25

Datos de dominio agregados ………………………………………………………………………… 26

Datos de dominio alineados con el consumidor ……………………………………………… 27

Transición hacia la propiedad del dominio ……………………………………………….. 28

Impulse la propiedad de los datos hacia arriba ……………………………………………….. 28

Defina «múltiples modelos conectados» ……………………………………………………….. 29

Aproveche los datos de dominio más relevantes: no espere

una única fuente de la verdad ………………………………………………………………………. 30

Oculte las tuberías de datos como implementación interna del dominio …………… 30

Repaso …………………………………………………………………………………………………. 31

3. Principio de los datos como producto ………………………………………… 33

Uso del concepto de «producto» en los datos…………………………………………… 35

Atributos básicos de uso de un producto de datos ………………………………………….. 38

Transición hacia los datos como producto ………………………………………………… 47

Incluya la propiedad de los productos de datos en los dominios ………………………. 48

Reformule la nomenclatura para crear un cambio ………………………………………….. 49

Piense en los datos como un producto, no como un simple activo ……………………. 49

Establezca una cultura de confianza, pero con verificación de datos …………………. 50

Una datos y cálculo como una unidad lógica ………………………………………………….. 51

Repaso …………………………………………………………………………………………………. 52

4. Principio de la plataforma de datos de autoservicio …………………….. 53

Plataforma de la malla de datos: compare y contraste ………………………………. 55

Servicio a los equipos autónomos orientados al dominio …………………………………. 57

Gestión de productos de datos autónomos e interoperables ……………………………. 57

Una plataforma continua de recursos operativos y analíticos …………………………… 58

Diseñado para la mayoría en general …………………………………………………………….. 59

En favor de las tecnologías descentralizadas ………………………………………………….. 60

Agnóstica respecto al dominio ……………………………………………………………………… 61

El concepto de «plataforma de la malla de datos» …………………………………….. 61

Habilite a los equipos autónomos para obtener valor de los datos ……………………. 64

Intercambie valor con productos de datos autónomos e interoperables ……………. 65

Acelere el intercambio de valor reduciendo la carga cognitiva …………………………. 66

Comparta datos a escala ……………………………………………………………………………… 68

Apoye una cultura de innovación integrada …………………………………………………… 69

Transición hacia una plataforma de malla de datos de autoservicio …………….. 70

Diseñe primero las API y los protocolos …………………………………………………………. 70

Prepárese para la adopción en general ………………………………………………………….. 71

Haga un inventario y simplifique …………………………………………………………………… 72

Cree API de nivel superior para gestionar productos de datos ………………………….. 72

Construya experiencias, no mecanismos ……………………………………………………….. 72

Comience con la raíz más pequeña y coseche para crecer ……………………………….. 73

Repaso …………………………………………………………………………………………………. 74

5. Principio de gobernanza informática federada ……………………………. 75

Uso del concepto de «sistema» en la gestión de la malla de datos ………………. 78

Mantener el equilibrio dinámico entre la autonomía del dominio y

la interoperabilidad global …………………………………………………………………………… 79

Adoptar la topología dinámica como estado inicial …………………………………………. 84

Utilizar la automatización y la arquitectura distribuida ……………………………………. 84

Uso de la federación en el modelo de gobernanza …………………………………….. 85

Equipo federado …………………………………………………………………………………………. 86

Valores guía ……………………………………………………………………………………………….. 88

Las políticas ……………………………………………………………………………………………….. 91

Incentivos ………………………………………………………………………………………………….. 93

Uso de la informática en el modelo de gobernanza …………………………………… 94

Estándares como código………………………………………………………………………………. 95

Las políticas como código …………………………………………………………………………….. 96

Pruebas automatizadas ……………………………………………………………………………….. 97

Control automatizado …………………………………………………………………………………. 97

Transición a la gobernanza informática federada ………………………………………. 97

Delegue la responsabilidad en los dominios …………………………………………………… 98

Integrar la ejecución de políticas en cada producto de datos ……………………………. 98

Automatice la habilitación y el control en vez de intervenir ……………………………… 99

Modele las deficiencias ……………………………………………………………………………….. 99

Mida el efecto de la red……………………………………………………………………………… 100

Prefiera el cambio a la constancia ……………………………………………………………….. 100

Repaso ……………………………………………………………………………………………….. 100

Parte II. ¿Por qué Data Mesh?

6. El punto de inflexión ……………………………………………………………….105

Grandes expectativas acerca de los datos ………………………………………………. 106

La gran divisoria de los datos ………………………………………………………………… 108

Escala: encuentro de un nuevo tipo ……………………………………………………….. 110

Más allá del orden ……………………………………………………………………………….. 112

Aproximación a la etapa de rendimiento ………………………………………………… 113

Repaso ……………………………………………………………………………………………….. 113

7. Después del punto de inflexión …………………………………………………115

Responda al cambio con elegancia en una empresa compleja …………………… 116

Alinee el negocio, la tecnología y, ahora, los datos analíticos …………………………. 117

Disminuya la distancia entre los datos analíticos y los operativos ……………………. 118

Localice los cambios de datos en los dominios empresariales …………………………. 120

Reduzca la complejidad accidental de las tuberías y la copia de datos …………….. 121

Mantenga la agilidad frente al crecimiento …………………………………………….. 122

Elimine los cuellos de botella centralizados y monolíticos ………………………………. 122

Reduzca la coordinación de los conductos de datos ………………………………………. 123

Reduzca la coordinación de la gobernanza de datos ……………………………………… 124

Habilite la autonomía ………………………………………………………………………………… 125

Aumente la relación entre el valor de los datos y el de la inversión …………… 126

Abstraer la complejidad técnica con una plataforma de datos ………………………… 127

Incorporar el concepto de «producto en todo» …………………………………………….. 127

Trascienda los límites ………………………………………………………………………………… 128

Repaso ……………………………………………………………………………………………….. 128

8. Antes del punto de inflexión …………………………………………………….131

La evolución de las arquitecturas de datos analíticos ……………………………….. 131

Primera generación: arquitectura del almacén de datos ………………………………… 132

Segunda generación: arquitectura del lago de datos ……………………………………… 133

Tercera generación: arquitectura de nube multimodal ………………………………….. 135

Características de la arquitectura de datos analíticos ………………………………. 136

Monolítica ……………………………………………………………………………………………….. 138

Propiedad centralizada de los datos ……………………………………………………………. 143

Orientación tecnológica …………………………………………………………………………….. 144

Repaso ……………………………………………………………………………………………….. 148

Parte III. Cómo diseñar la arquitectura de Data Mesh

9. Arquitectura lógica …………………………………………………………………153

Interfaces de intercambio de datos analíticos orientados al dominio …………. 157

Diseño de la interfaz operativa …………………………………………………………………… 158

Diseño de la interfaz de datos analíticos ………………………………………………………. 159

Dependencias de datos analíticos entre dominios …………………………………………. 160

El producto de datos como cuanto arquitectónico …………………………………… 161

Componentes estructurales de un producto de datos ……………………………………. 162

Interacciones de intercambio de datos del producto de datos………………………… 168

API de detección y observación de datos ……………………………………………………… 170

La plataforma de datos multiplano ………………………………………………………… 171

Un plano de plataforma …………………………………………………………………………….. 172

Plano (de utilidad) de la infraestructura de datos ………………………………………….. 173

Plano de experiencia del producto de datos …………………………………………………. 174

Plano de experiencia de la malla …………………………………………………………………. 174

Ejemplo ……………………………………………………………………………………………………. 174

Políticas informáticas integradas …………………………………………………………… 175

Sidecar del producto de datos …………………………………………………………………….. 177

Contenedor informático del producto de datos ……………………………………………. 178

Puerto de control ……………………………………………………………………………………… 179

Repaso ……………………………………………………………………………………………….. 180

10. La arquitectura de la plataforma de datos multiplano ………………….183

Diseñar una plataforma basada en los roles de los usuarios ……………………… 186

Rol del desarrollador de productos de datos …………………………………………… 188

Conciba, explore, arranque y genere …………………………………………………………… 190

Construya, pruebe, instale y opere ……………………………………………………………… 193

Mantenga, desarrolle y retire ……………………………………………………………………… 196

Rol del consumidor de productos de datos …………………………………………….. 198

Conciba, explore, arranque, genere …………………………………………………………….. 201

Construya, pruebe, instale, opere ……………………………………………………………….. 201

Mantenga, desarrolle y retire ……………………………………………………………………… 203

Repaso ……………………………………………………………………………………………….. 203

Parte IV. Cómo diseñar la arquitectura del producto de datos

11. Diseño de un producto de datos a partir de los permisos ………………207

Permisos de los productos de datos ………………………………………………………. 208

Características de la arquitectura de productos de datos …………………………. 212

Diseño inspirado en la simplicidad de los sistemas adaptables complejos …… 213

Comportamiento emergente a partir de políticas locales simples……………………. 213

Sin orquestador central ……………………………………………………………………………… 215

Repaso ……………………………………………………………………………………………….. 215

12. Diseño de consumo, transformación y servicio de datos ……………….217

Servicio de datos …………………………………………………………………………………. 217

Las necesidades de los usuarios de datos …………………………………………………….. 217

Propiedades del diseño del servicio de datos ……………………………………………….. 220

Diseño del servicio de datos ……………………………………………………………………….. 235

Datos para consumo…………………………………………………………………………….. 236

Arquetipos de fuentes de datos ………………………………………………………………….. 237

Localización de los datos para consumo ………………………………………………………. 241

Diseño de los datos para consumo ………………………………………………………………. 243

Datos para transformar ………………………………………………………………………… 245

La transformación programática frente a la no programática …………………………. 246

La transformación basada en el flujo de datos………………………………………………. 248

El ML como transformación ……………………………………………………………………….. 249

Transformación de la variable de tiempo ……………………………………………………… 249

Diseño de la transformación ………………………………………………………………………. 250

Repaso ……………………………………………………………………………………………….. 251

13. Diseño de la detección, la comprensión y

la recopilación de datos …………………………………………………………..253

Descubra, comprenda, confíe y explore ………………………………………………….. 253

Inicie la detección con el autorregistro ………………………………………………………… 257

Descubra el URI global ……………………………………………………………………………….. 257

Comprenda los modelos semánticos y sintácticos …………………………………………. 258

Establezca confianza con las garantías de los datos ……………………………………….. 260

Explore la estructura de los datos ……………………………………………………………….. 263

Aprenda con la documentación ………………………………………………………………….. 264

Descubra, explore y comprenda el diseño ……………………………………………………. 265

Recopilación de datos ………………………………………………………………………….. 266

Propiedades de diseño de los datos de consumo ………………………………………….. 268

Enfoques tradicionales de la recopilación de datos ……………………………………….. 269

Diseño de la recopilación de datos ………………………………………………………………. 273

Repaso ……………………………………………………………………………………………….. 276

14. Diseño de la gestión, el gobierno y la observación de datos …………..279

Gestione el ciclo de vida ……………………………………………………………………….. 279

Diseño de la gestión del ciclo de vida …………………………………………………………… 280

Componentes del manifiesto del producto de datos ……………………………………… 281

Gestione los datos ……………………………………………………………………………….. 282

Gestione el diseño de los datos …………………………………………………………………… 283

Unifique las políticas …………………………………………………………………………………. 284

Integración de datos y políticas …………………………………………………………………… 287

Vinculación de políticas ……………………………………………………………………………… 287

Observe, depure y audite ……………………………………………………………………… 287

Diseño de la observación ……………………………………………………………………………. 289

Repaso ……………………………………………………………………………………………….. 293

Parte V. Cómo empezar

15. Estrategia y ejecución ……………………………………………………………..297

¿Debería adoptar la malla de datos hoy? ……………………………………………….. 297

La malla de datos como elemento de la estrategia de datos……………………… 302

Marco de ejecución de la malla de datos ………………………………………………… 306

Ejecución orientada al negocio……………………………………………………………………. 307

Ejecución integral e iterativa ………………………………………………………………………. 313

Ejecución evolutiva ……………………………………………………………………………………. 314

Repaso ……………………………………………………………………………………………….. 332

16. Organización y cultura …………………………………………………………….335

Cambio ………………………………………………………………………………………………. 337

Cultura ……………………………………………………………………………………………….. 340

Valores …………………………………………………………………………………………………….. 341

Recompensa ……………………………………………………………………………………….. 344

Motivaciones intrínsecas ……………………………………………………………………………. 344

Motivaciones extrínsecas …………………………………………………………………………… 345

Estructura …………………………………………………………………………………………… 346

Supuestos de la estructura organizativa ………………………………………………………. 347

Descubra los límites de los productos de datos …………………………………………….. 355

Personal ……………………………………………………………………………………………… 360

Roles ……………………………………………………………………………………………………….. 360

Desarrollo de habilidades …………………………………………………………………………… 363

Proceso ………………………………………………………………………………………………. 366

Cambios clave en los procesos ……………………………………………………………………. 367

Repaso ……………………………………………………………………………………………….. 369