O que mudou: Apache Spark 4.0.1 no Amazon EMR Serverless
A AWS disponibilizou em preview o suporte ao Apache Spark 4.0.1 no Amazon EMR Serverless. Esta atualização traz melhorias significativas para a construção e manutenção de pipelines de dados, com foco em acessibilidade, conformidade e aplicações em tempo real. As novas capacidades permitem que as equipes reduzam débito técnico, iterem mais rapidamente e garantam precisão e consistência dos dados.
Principais capacidades do Spark 4.0.1
SQL ANSI padrão para pipelines acessíveis
Uma das grandes mudanças é a possibilidade de construir pipelines de dados utilizando SQL ANSI padrão, tornando a tecnologia acessível a um público muito maior. Desenvolvedores e analistas que não dominam linguagens de programação como Python ou Scala agora podem contribuir efetivamente no desenvolvimento de pipelines, democratizando o acesso a ferramentas de processamento de dados em larga escala.
Suporte nativo a dados semi-estruturados com VARIANT
O Spark 4.0.1 oferece suporte nativo a JSON e dados semi-estruturados através dos tipos de dados VARIANT. Isso proporciona maior flexibilidade para trabalhar com diversos formatos de dados, um requisito cada vez mais comum em ambientes heterogêneos de dados.
Conformidade e governança com Apache Iceberg v3
Outro destaque é a integração com Apache Iceberg v3 no formato de tabelas. O Iceberg oferece garantias de transação e rastreia como os dados mudam ao longo do tempo, criando trilhas de auditoria essenciais para atender a requisitos regulatórios. Com isso, organizações conseguem fortalecer seus frameworks de conformidade e governança de forma significativa.
Streaming em tempo real mais ágil
O Spark 4.0.1 introduz controles de streaming aprimorados que permitem gerenciar operações com estado complexo e monitorar jobs de streaming com facilidade. Essas melhorias habilitam casos de uso como detecção de fraude e personalização em tempo real, tecnologias críticas para negócios modernos.
Disponibilidade e próximos passos
O Apache Spark 4.0.1 está disponível em preview em todas as regiões onde o EMR Serverless opera, com exceção das regiões China e AWS GovCloud (US).
Para aprender mais sobre o Apache Spark 4.0.1 no Amazon EMR, consulte as notas de versão do Amazon EMR Serverless, ou comece criando uma aplicação EMR com Spark 4.0.1 diretamente do Console de Gerenciamento da AWS.
Fonte
Amazon EMR Serverless now supports Apache Spark 4.0.1 (preview) (https://aws.amazon.com/about-aws/whats-new/2025/11/amazon-emr-serverless-apache-spark/)