PSiamo alla ricerca di un bData Engineer /b con forte background di bsoftware engineering /b per supportare un nostro cliente internazionale. La risorsa dovrà occuparsi dell’automazione completa dei flussi di bestrazione, trasformazione, validazione e reimportazione di dataset /b tra una piattaforma statistica proprietaria di grandi dimensioni e numerosi bfile Excel personalizzati /b provenienti da enti nazionali di diversi Paesi. /ppbr/ppL’intero progetto si svolge besclusivamente in lingua inglese /b (riunioni, documentazione, comunicazioni e colloqui). È quindi richiesta un’ottima padronanza scritta e parlata. /ppbr/ppIl contesto tecnico comprende: /pulliDatabase bPostgreSQL /b molto esteso (miliardi di record); /liliUna bAPI Python proprietaria /b per tutte le operazioni sui dati; /liliUn ambiente di orchestrazione simile ad bApache Airflow /b, nel quale le pipeline vanno progettate da zero; /liliWorkflow basati su bExcel complessi e variabili /b, con template diversi per settore e Paese. /li /ulpbr/ppLe principali attività previste includono: /pulliSviluppo end-to-end di processi per export via API, generazione di Excel personalizzati, validazione dei file restituiti e reimportazione dei dati; /liliProgettazione e implementazione di bpipeline automatizzate /b; /liliCollaborazione con team tematici internazionali con requisiti eterogenei; /liliSviluppo di componenti riusabili e applicazione di buone pratiche ingegneristiche. /li /ulpbr/ppCompetenze richieste: /pullibPython avanzato /b (generatori, yield, decorator, funzioni di ordine superiore, args/kwargs, gestione file molto grandi); /liliOttima conoscenza bNumPy /b e bPandas /b; /liliEsperienza in bpipeline ETL /b, workflow automatizzati e database SQL (preferibile PostgreSQL); /liliConoscenza di bAirflow /b o sistemi simili; /liliBest practice software (librerie riusabili, semantic versioning, unit/integration test, gestione branch/merge). /li /ulpbr/ppNice to have: conoscenza bR /b ed esperienza bGCP/AWS /b. /p