Ingeniería de datos
4
Contenidos Bloque 1. Arquitectura
• Conceptos de computación distribuida, cuellos de botella, hash. • Conceptos básicos hadoop y distribuciones. • HDFS, MapReduce, yarn. • Futuro de hadoop, arquitectura cloudera y roadmap. PROCESAMIENTO DISTRIBUIDO • Diseños generales: Batch, lambda, kappa, etc. • Alternativas OnPrem, opensource, comerciales. • Cloudstack: AWS, GCS, Azure.
SQL AVANZADO • Lenguaje de definición de datos. subconsultas y operadores lógicos. • Creación de tablas básico. • Lenguaje de manipulación avanzado: funciones ventana, índices, estadísticas, hints, macros y scripting. • Lenguaje de control de datos: permisos y administración de objetos. PYTHON Y PRINCIPIOS DE PROGRAMACIÓN • Estructuras básicas de programación. • Framework de desarrollo. • Principios de Python. • Tipos y estructuras de datos. • Bloques y estructuras de control. • Funciones y programación estructurada. • E/S y gestión de archivos. • Módulo y paquetes.
INTRODUCCIÓN A LOS SISTEMAS INFORMACIONALES
VIRTUALIZACION • Orígenes de la virtualización. Tipos y ventajas. • Máquinas virtuales. • Contenedores, kubernetes y soluciones comerciales. • Virtualización orientada al cómputo paralelo. Ejemplos comerciales. • Virtualización orientada a los servicios. • Evolución desde los sistemas operacionales a los sistemas informacionales. • Tipos de sistemas informacionales. • Perfiles profesionales. • Dataflow, desde la creación hasta el caso de negocio. • Data driven company, como sacar valor al dato. ARQUITECTURA Y CLOUD • Piezas tecnológicas que soportan el Dataflow.
ALMACENAMIENTO Y COMPUTO ESCALABLE
Bloque 2. Ingeniería del Dato MODELO ENTIDAD RELACIÓN Y SQL BÁSICO • Modelo relacional. • Modelo Físico y lógico. Paso a tablas. • SQL básico: SELECT, joins, agregaciones, • Tipos de bases de datos: mapa según tecnología, tipo de almacenamiento y acceso. • BBDD SQL: Árbol, hash... Soluciones comerciales y open. • BBDD NoSQL: HBase, Mongo, SolR, Neo4J, etc. Soluciones cloud native.
PYSPARK
• SparkShell. • RDDs. • Dataframes. • Pandas, Koala. • Spark SQL. • Plan de ejecución y UI.
Made with FlippingBook - professional solution for displaying marketing and sales documents online