AWS Lambda Architecture Mentorship

In questa sessione vedremo come costruire un’architettura di big data analytics su AWS.
Vedremo come gestire i dati storici (il passato), i dati in streaming (il presente) e come utilizzare i servizi di Machine Learning per fare previsioni (il futuro).

L’obiettivo è definire le parti di un’architettura AWS, formalmente nota come Architettura Lambda.

Come si costruisce una soluzione di questo tipo? Come adattarla al proprio contesto? Vediamolo insieme!

A chi è rivolto:

Questa sessione è rivolta a chiunque sia coinvolto nella gestione, organizzazione ed elaborazione dei dati nell’ambiente AWS.

Su cosa si lavorerà:

Durante la sessione saranno trattati i seguenti argomenti:

• Historical Data Layer (il passato), vedremo come costruire un data lake, la pipeline di ETL, come selezionare lo storage migliore tra i diversi che Amazon mette a disposizione, come lavorare con PySpark, Pydeequ e AWS Glue.
• Streaming Data Layer (il presente), vedremo come trasformare gestire uno streaming di dati, trasformare dati in arrivo in real-time, come utilizzare servizi come Kinesis e Lambda su AWS.
• Machine Learning Layer (il futuro), vedremo come integrare il machine learning agli aspetti già trattati precedentemente per introdurre sistemi di produzione, in particolar modo ci concentreremo su Amazon SageMaker.
• Data Governance and API Layer, vedremo come abilitare la crittografia a riposo e in transito, gestire le autorizzazioni utilizzando Amazon Lake Formation, monitorare l’infrastruttura, Amazon Quick Sight, ed a esporre le API del Data Lake.
  

Cosa si otterrà:

Al termine della sessione, avrete a disposizione il diagramma che descrive la vostra BigData Lambda Architecture on AWS, in particolare i componenti per le parti batch, streaming, machine learning e data governance. Insieme a indicazioni su come automatizzare la creazione della infrastruttura.