Uma plataforma integrada para ciência de dados
A AWS anunciou a disponibilidade do Amazon Athena para Apache Spark nos notebooks do Amazon SageMaker. Essa integração reúne uma nova experiência de notebooks com processamento serverless de Spark em um ambiente de trabalho unificado.
Agora, engenheiros de dados, analistas e cientistas de dados podem executar múltiplas tarefas em um único lugar: consultar dados, escrever código Python, desenvolver jobs, treinar modelos de machine learning, visualizar informações e trabalhar com inteligência artificial. Tudo isso sem a necessidade de gerenciar infraestrutura ou se preocupar com cobranças por segundo mantendo recursos ociosos.
Escalabilidade e performance sob demanda
O Athena para Apache Spark escala em segundos, adaptando-se a qualquer tipo de workload. Seja uma consulta interativa rápida ou um processamento de dados em escala petabyte, a plataforma responde dinamicamente às demandas de cada situação.
O serviço executa a versão 3.5.6 do Spark, o mesmo motor de alto desempenho disponível em toda a AWS. Essa versão foi otimizada para trabalhar com formatos abertos de tabelas, incluindo Apache Iceberg e Delta Lake, oferecendo flexibilidade para diferentes arquiteturas de dados.
Segurança e ferramentas de desenvolvimento
A AWS implementou recursos avançados de depuração e monitoramento em tempo real através da interface Spark UI. A comunicação segura entre clusters interativos agora acontece via Spark Connect, estabelecendo um padrão de segurança mais robusto.
Um aspecto importante para governança é que o Athena para Spark agora respeita os controles de acesso em nível de tabela definidos no AWS Lake Formation. Isso significa que as políticas de segurança e permissões de acesso aos dados são aplicadas automaticamente, sem configurações adicionais.
Disponibilidade regional
O serviço está disponível em múltiplas regiões ao redor do mundo: US East (Ohio), US East (N. Virginia), US West (Oregon), Europe (Ireland), Europe (Frankfurt), Asia Pacific (Mumbai), Asia Pacific (Tokyo), Asia Pacific (Singapore) e Asia Pacific (Sydney).
Próximos passos
Para explorar essa integração, é recomendável consultar a documentação sobre versões do motor Spark 3.5 e visitar o blog de notícias da AWS para detalhes adicionais. A documentação do Amazon SageMaker oferece informações completas sobre a plataforma.
Para começar a utilizar, há um guia de primeiros passos disponível especificamente para explorar essas funcionalidades a partir dos notebooks do Amazon SageMaker.
Fonte
Amazon Athena for Apache Spark is now available in Amazon SageMaker notebooks (https://aws.amazon.com/about-aws/whats-new/2025/11/amazon-athena-apache-spark-sagemaker-notebooks/)