AWS DataLake & Apache Flink - 7 luglio 2020, ore 19
Nuovo evento organizzato dalla community Big Data Torino (molto probabilmente sarà nuovamente online, ma seguiranno informazioni più precise nelle prossime settimane).
Come sempre ospitiamo due talk:
1) AWS Datalake - S3, Athena e QuickSight by Walter Dal Mut, Co-founder @ Corley
In questo talk vedremo come costruire un datalake in modalità "serverless" utilizzando i servizi managed di Amazon Web Services. Concluderemo con un'overview rapida di QuickSight per la rappresentazione dei nostri dati.
2) Apache Flink - Stateful streaming done right, by Andrea Fonti, Big Data Engineer @ AgileLab
Sicuramente avrete avuto modo di utilizzare tecnologie big data per lo streaming come lo Structured Streaming offerto da Apache Spark, i microbatch non fanno per voi? Gestire lo stato vi crea grattacapi? Ritenete operazionalizzare i job spark troppo complesso?
Ecco perchè Apache Flink rappresenta una valida alternativa a Spark per l'implementazione di sistemi streaming.
In questo intervento verrà fatta una overview su:
- Architettura di Flink
- Modalità di deployment
- Gestione dello stato:
API
Introspezione
Prepopolamento tramite batch
