PpSiamo alla ricerca di un Data Engineer con forte background di software engineering per supportare un nostro cliente internazionale. La risorsa dovrà occuparsi dell’automazione completa dei flussi di estrazione, trasformazione, validazione e reimportazione di dataset tra una piattaforma statistica proprietaria di grandi dimensioni e numerosi file Excel personalizzati provenienti da enti nazionali di diversi Paesi. /p pL’intero progetto si svolge esclusivamente in lingua inglese (riunioni, documentazione, comunicazioni e colloqui). È quindi richiesta un’ottima padronanza scritta e parlata. /p h3Il contesto tecnico comprende : /h3 ul liDatabase PostgreSQL molto esteso (miliardi di record); /li liUna API Python proprietaria per tutte le operazioni sui dati; /li liUn ambiente di orchestrazione simile ad Apache Airflow, nel quale le pipeline vanno progettate da zero; /li liWorkflow basati su Excel complessi e variabili, con template diversi per settore e Paese. /li /ul h3Le principali attività previste includono : /h3 ul liSviluppo end-to-end di processi per export via API, generazione di Excel personalizzati, validazione dei file restituiti e reimportazione dei dati; /li liProgettazione e implementazione di pipeline automatizzate ; /li liCollaborazione con team tematici internazionali con requisiti eterogenei; /li liSviluppo di componenti riusabili e applicazione di buone pratiche ingegneristiche. /li /ul h3Competenze richieste : /h3 ul liPython avanzato (generatori, yield, decorator, funzioni di ordine superiore, args / kwargs, gestione file molto grandi); /li liOttima conoscenza NumPy e Pandas ; /li liEsperienza in pipeline ETL, workflow automatizzati e database SQL (preferibile PostgreSQL); /li liConoscenza di Airflow o sistemi simili; /li liBest practice software (librerie riusabili, semantic versioning, unit / integration test, gestione branch / merge). /li /ul h3Nice to have : /h3 pConoscenza R ed esperienza GCP / AWS. /p /p #J-18808-Ljbffr