Implementare e ottimizzare **J****ob Spark** (batch e streaming) su Databricks, garantendo performance, affidabilità e copertura dei test* Esperienza di almeno 3 anni nello sviluppo di pipeline dati e soluzioni di data engineering in contesti produttivi;* Laurea in Informatica, Ingegneria Informatica, Matematica o discipline affini; certificazioni AWS (Cloud Practitioner, Developer, Data Analytics) o Databricks sono apprezzate;* Solide competenze di programmazione in **Python** (pandas, PySpark, asyncio, FastAPI) e/o Java (Spring Boot, Maven/Gradle); capacità di scrivere codice pulito, testabile e documentato;* Esperienza con **Apache Spark** (RDD, DataFrame API, Spark SQL, Structured Streaming) e con la piattaforma **Databricks** (notebooks, jobs, Delta Live Tables);* Conoscenza pratica dei **servizi AWS per i dati**: S3, Glue, Athena, Redshift, EMR, Kinesis Data Streams/Firehose, Lambda, Step Functions, IAM;* Esperienza con le funzionalità avanzate di **Databricks** per la trasformazione e qualità del dato (Delta Live Tables, Databricks SQL, Auto Loader, Delta Lake) e con formati di storage columnar (Parquet, Delta, Iceberg);* Familiarità con **sistemi di orchestrazione** (Apache Airflow, Databricks Workflows) e messaggistica event-driven (Apache Kafka, Amazon Kinesis, SQS);* Buona padronanza di **SQL avanzato** (window functions, CTE, ottimizzazione delle query) su database relazionali e analitici (PostgreSQL, Redshift, Athena);* Esperienza con pratiche DevOps/DataOps: Git, CI/CD (GitHub Actions, GitLab CI, Jenkins), Docker, Kubernetes; conoscenza di base di Terraform o CloudFormation è un plus;* Conoscenza di base di tecniche ML/AI applicate ai dati: feature engineering, pipeline di preprocessing per modelli, Vector Store e architetture RAG per Generative AI costituisce un vantaggio;* Propensione al lavoro in team Agile, attitudine alla collaborazione cross-funzionale, curiosità tecnologica e orientamento alla qualità del codice e alla continuous improvement.
#J-18808-Ljbffr