Siamo alla ricerca di un
Data Engineer Freelance
che supporterà la progettazione, lo sviluppo e la manutenzione di architetture e pipeline di dati robuste e scalabili per il prodotto di un'azienda cliente attiva nella gestione di pagamenti verso la pubblica amministrazione.
Sarà cruciale per razionalizzare i modelli dati, garantire la consistenza e la qualità delle informazioni attraverso l'implementazione di sistemi di data lineage e data quality, e gestire tabelle su diversi sistemi, inclusi il data lake e l'infrastruttura AWS
Attività
Progettare e sviluppare
pipeline di data ingestion
e trasformazione per integrare
dati provenienti da diverse fonti nel data lake.
Collaborare con i Data Analyst e i team di sviluppo per definire e implementare
modelli dati consistenti e razionalizzati
a supporto delle metriche e delle
funzionalità core del prodotto.
Gestire e manutenere
tabelle e schemi dati
su piattaforme diverse (es. sistemi
basati su AWS come S3, DynamoDB, e Data Lake/Warehouse).
Implementare sistemi di
Data Lineage
per tracciare il flusso dei dati e garantire la
loro provenienza e trasformazione.
Sviluppare e applicare
controlli di Data Quality
automatizzati per assicurare
l'affidabilità dei dati utilizzati per l'analisi e il monitoraggio.
Ottimizzare le performance delle query e delle pipeline di elaborazione dati.
Lavorare a stretto contatto con i team DevOps per il
deploy e l'orchestrazione
delle
pipeline dati.
Requisiti richiesti
Esperienza consolidata nel ruolo di
Data Engineer
o ruolo simile.
Ottima padronanza di
SQL
e esperienza con sistemi di database NoSQL (es.
DynamoDB).
Competenza nello sviluppo di soluzioni di data processing utilizzando
pyspark e/o python.
Esperienza nella progettazione e implementazione di
pipeline ETL/ELT
e nella modellazione dei dati (Dimensional Modeling, Data Vault, etc.).
Robusto conoscenza di
AWS
e dei servizi rilevanti per i dati (es. S3, Glue, EMR, Athena, Redshift, Kinesis/MSK).
Familiarità con i concetti e l'implementazione di
Data Lineage e Data Quality
.
Esperienza con strumenti di orchestrazione di workflow (es. Apache Airflow).
Buona conoscenza dell'
architettura data-lake
e dei principi di Data Governance.
Capacità di problem solving e approccio orientato alla scalabilità e all'affidabilità del sistema.
Conoscenza fluente della lingua Italiana
Seniority:
4+
Modalità di lavoro:
remoto
Inizio:
Dicembre ****/Gennaio ****
Durata ingaggio:
6 mesi con possibile estensione
Processo di selezione:
Il nostro processo di selezione prevede 2 fasi:
Colloquio conoscitivo con il nostro team HR
Colloquio con il cliente e il team di lavoro
Come inviare la tua candidatura:
Via LinkedIn o inviando il tuo cv all'indirizzo ******