Cloudera Apresenta Solução Inovadora para Compartilhamento Seguro de Dados com Iceberg REST Catalog

Tecnologia Dados Business Intelligence

A Cloudera anunciou uma nova solução que facilita o compartilhamento seguro de dados através do Iceberg REST Catalog, uma ferramenta projetada para resolver os desafios enfrentados por empresas com dados heterogêneos. Em um ambiente que requer velocidade e precisão na análise de grandes volumes de dados, a Cloudera oferece uma plataforma que promete reduzir custos e facilitar a integração entre diversas ferramentas. Com lançamento em dezembro de 2024, a solução é voltada para empresas que buscam otimiza seu tempo de entrega e valorização dos dados.

Generate a 2D, linear perspective illustration in a vector, flat, corporate style set against a white, textureless background. Depict data being shared between Cloudera and Amazon Athena using the Iceberg REST Catalog. The scene should include icons symbolizing data security and interoperability. Additionally, incorporate clouds to symbolize portability between public and private cloud, gears to illustrate the efficiency and optimization of ETL processes, and a chart to reflect data analysis and increased ROI.

Imagem gerada utilizando Dall-E 3

As empresas frequentemente lidam com plataformas de dados heterogêneas e pilhas tecnológicas diferentes em suas unidades de negócios, resultando em "puddles" de dados e silos em formatos não interoperáveis. Essa situação provoca complexidade nas operações de Extract, Transform & Load (ETL), além de aumentar os custos operacionais. Para solucionar este problema, a Cloudera apresenta seu open data lakehouse, que utiliza o Apache Iceberg, permitindo uma arquitetura de dados simplificada e um gerenciamento mais eficiente.

O Iceberg REST Catalog se destaca por oferecer APIs abertas e agnósticas em relação a metastore, que simplificam a integração entre clientes Iceberg e seus respectivos ouvintes. Isso garante acesso em tempo real aos metadados e facilita a recuperação e evolução de tabelas sem necessidade de reescrita de dados, promovendo assim um aumento significativo na produtividade dos profissionais de dados.

Interoperabilidade com diversos motores compatíveis com Iceberg.
Capacidade de realizar operações de Time Travel e rollback em tabelas.
Suporte completo a comandos SQL para manipulação de dados.
Integração com o Cloudera Shared Data Experience (SDX) para segurança unificada.
Facilidade de portabilidade de cargas de trabalho entre nuvem pública e privada.

Além disso, a possibilidade de compartilhamento de dados geridos pela Cloudera com usuários externos por meio de engines como Amazon Athena, Trino e Databricks destaca-se como um dos principais recursos da solução. O uso do Iceberg REST Catalog permite que as empresas tirem proveito da escalabilidade do Apache Spark, otimizando o processamento e análise de conjuntos de dados extensos.

Em resumo, a Cloudera apresenta uma solução inovadora que promete reduzir a complexidade e os custos envolvidos em ambientes de dados heterogêneos. O Iceberg REST Catalog não apenas melhora o compartilhamento de dados de forma segura, como também proporciona uma série de ferramentas que facilitam a interação com os dados. Os interessados em saber mais sobre como otimizar suas plataformas de dados devem acompanhar as novidades no site da Cloudera e assinar nossa newsletter para conteúdos atualizados diariamente.