Objetivos:

• Conocer y poner en práctica las principales funcionalidades tanto de Python como de Databricks, esenciales en el día a día del Data Strategist.
• Aprender los conceptos básicos de la programación aplicada a los datos, para optimizar los procesos de ingesta y transformación de datos.
• Practicar con casos prácticos usando las últimas herramientas que Microsoft pone a nuestra disposición para crear sistemas robustos de datos.
• Ser capaz de usar el lenguaje de programación Python y las librerías más usadas aplicadas a los datos.
• Usar el framework de Spark para poder trabajar con grandes volúmenes de datos (Big Data).
• Manejar y usar la herramienta Databricks con el objetivo de ser capaz de aplicar los conocimientos adquiridos en Python y Spark.
• Crear procesos ELT (extracción, carga y transformación) usando dataframes y llevarlos al Data Lake para posteriormente ser consumidos por el área de Business Intelligence (BI).
• Obtener datos de APIs REST, así como transformarlos y prepararlos para las bases de datos relacionales estructuradas.
• Optimizar procesos de carga con las nuevas Tablas Delta.
• Crear patrones de cargas incrementales SCD Type2.
• Gestionar y validar los errores para su posterior tratamiento.

Programa:

Bloque 1. Fundamentos de Python para Data Engineering

Introducción a Python para análisis de datos
Variables y tipos de datos
Operadores y estructuras de control
Manejo de cadenas de texto y entrada/salida
Estructuras de datos avanzadas (Listas, Tuplas, Diccionarios)
Introducción a Programación Orientada a Objetos (POO)

Bloque 2. Introducción a Databricks y Apache Spark

Conceptos clave de Big Data y procesamiento distribuido
Introducción a Databricks y Apache Spark
Fundamentos del entorno Databricks
Manipulación de datos con Spark DataFrames:
- Selección y transformación de columnas
- Filtrado y ordenación de datos
- Agregaciones y combinaciones de datos

Bloque 3. Arquitectura y Gestión de Datos en Databricks

Introducción a Unity Catalog para la gestión de datos
Ingestión de datos con Delta Lake
Uso de comandos avanzados (Copy Into, CTAS)
Medallion Architecture: Bronze, Silver y Gold Layers
Automatización con Databricks Workflows

Bloque 4. Integración de Databricks con Azure

Introducción a Azure Data Lake Gen2
Conectividad entre Azure Data Lake y Databricks
Uso de Azure Key Vault y gestión de secretos
Lectura y escritura eficiente de archivos en Data Lake Gen2
Automatización de carga de datos con Auto Loaderr

Bloque 5. Procesamiento Avanzado con Databricks

Delta Live Tables y procesamiento en tiempo real
Streaming Tables y manejo de datos en flujo
Estrategias de testing en PySpark
Mejores prácticas en Delta Lake
Uso de Databricks Assistant para optimización

Bloque 6. Optimización y Calidad de Datos en Databricks

Validación de datos con PySpark y Data Quality Checks
Características avanzadas de Delta Lake
Implementación de Change Data Feed (CDF) en Delta Lake

PROFESORADO

Alfonso Gallardo | Data Engineer en Avanade

Técnico superior en Desarrollo de Aplicaciones Informáticas y Diplomado en Ciencias Empresariales.

Consultor para empresas que desean crear un modelo de datos actual, basado en la nube.

Especializado en ingestas, canalizaciones, extracciones, cargas y transformaciones de grandes volúmenes de datos. Algunas de las herramientas en las que está especializado son: Azure DataLake, Azure Databricks, Azure SQL, Power BI, entre otras. El lenguaje de programación con el que trabaja es Python, con librerías como pandas, numpy, matplotlib.

Ha trabajado para empresas del sector financiero, salud, ocio y aerolíneas.

INSCRIPCIÓN

Solicita tu reserva de plaza cumplimentando este formulario

Desde la organización del Programa Executive de Python & Databricks nos pondremos en contacto contigo para formalizar la inscripción.

Si tienes interés en bonificarte parte de los costes de formación ponte en contacto con Marga Ruiz | marga.ruiz@ua.es | 965903833

Los alumnos recibirán el título “Programa Executive de Python & Databricks” de 30 horas expedido por la Fundación Empresa de la Universidad de Alicante y el DSI - Data Strategy Institute

Mas información