AWS - Data Engineering on AWS

Data Engineering on AWS è un corso intermedio della durata di 3 giorni, progettato per i professionisti che desiderano approfondire in modo avanzato le pratiche e le soluzioni di data engineering su AWS. Attraverso una combinazione bilanciata di teoria, laboratori pratici e attività, i partecipanti apprendono come progettare, costruire, ottimizzare e mettere in sicurezza soluzioni di data engineering utilizzando i servizi AWS. Dai concetti fondamentali all’implementazione pratica di data lake, data warehouse, e pipeline di dati sia batch che streaming, questo corso fornisce ai data professional le competenze necessarie per progettare e gestire moderne soluzioni dati su larga scala. Prerequisiti - Familiarità con i concetti base di machine learning, come supervised e unsupervised learning, regression, classification e algoritmi di clustering. - Conoscenza operativa del linguaggio Python e delle principali librerie di data science come NumPy, Pandas e Scikit-learn. - Comprensione di base dei concetti di cloud computing e familiarità con la piattaforma AWS. - Familiarità con SQL e i database relazionali è consigliata, ma non obbligatoria. - Esperienza con sistemi di version control come Git è utile, ma non richiesta. Cosa imparerai - Comprendere i ruoli fondamentali e i concetti chiave del data engineering, incluse le data personas, la data discovery e i servizi AWS rilevanti. - Identificare e spiegare i vari strumenti e servizi AWS cruciali per il data engineering, includendo orchestrazione, sicurezza, monitoring, CI/CD, IaC, networking e cost optimization. - Progettare e implementare una soluzione di data lake su AWS, includendo storage, data ingestion, trasformazione ed esposizione dei dati per il consumo. - Ottimizzare e mettere in sicurezza un data lake adottando open table formats, misure di sicurezza e attività di troubleshooting sui problemi più comuni. - Progettare e configurare un data warehouse utilizzando Amazon Redshift Serverless, comprendendone architettura, data ingestion, processing e funzionalità di serving. - Applicare tecniche di ottimizzazione delle performance per i data warehouse in Amazon Redshift, includendo monitoring, data optimization, query optimization e orchestrazione. - Gestire sicurezza e controllo degli accessi in Amazon Redshift, comprendendo autenticazione, sicurezza dei dati, auditing e compliance. - Progettare pipeline di dati batch efficaci utilizzando i servizi AWS appropriati per il processing e la trasformazione dei dati. - Implementare strategie complete per pipeline batch, coprendo data processing, trasformazione, integrazione, catalogazione ed esposizione dei dati. - Ottimizzare, orchestrare e mettere in sicurezza pipeline batch, dimostrando competenze avanzate nell’automazione del data processing e nella sicurezza. - Architettare pipeline di dati streaming, comprendendo diversi use case, ingestion, storage, processing e analisi tramite servizi AWS. - Ottimizzare e mettere in sicurezza soluzioni di streaming data, includendo aspetti di compliance e controllo degli accessi.