top of page

Gino News

domingo, 9 de fevereiro de 2025

Facilitando a Captura de Dados em Mudança com Apache Spark™

Tecnologia Engenharia de Dados Apache Spark

O blog publicado em 27 de janeiro de 2025, apresenta as novas capacidades de captura de dados em mudança e de instantâneas na API State Reader do Apache Spark™ Structured Streaming, permitindo que usuários acessem e analisem dados de estado interno de forma mais eficiente, facilitando o gerenciamento de cargas de trabalho de streaming em larga escala.

Create a 2D, linear perspective image in the corporate flat vector style. The scene is on a plain white, texture-less background. It showcases a graphical representation of real-time data flow in Apache Spark™, highlighting the capture of data changes, and snapshots of the information. Additional elements include data graphs illustrating the real-time data flow and state icons representing the data change. Use warm colours to emphasise the importance of the real-time capture.

Imagem gerada utilizando Dall-E 3

A introdução das novas funcionalidades da API State Reader visa resolver as complexidades crescentes associadas ao desenvolvimento, depuração e monitoramento de sistemas de streaming. Desde seu lançamento em março de 2024, a API tem se destacado como uma ferramenta crucial para melhorar a consulta de dados de estado e metadados no Apache Spark, otimizando o fluxo de trabalho de engenheiros de dados.


As melhorias na API incluem o uso de changelog da loja de estado, que agora fornece um feed de mudanças no formato padrão de Change Data Capture (CDC). Com essas novas funcionalidades, o rastreamento de mudanças no estado, auditoria de transformações de dados e reconstrução de instantâneas se tornam processos mais simplificados, permitindo que os desenvolvedores possam monitorar alterações ao longo do tempo com muito menos código.


  1. Implementação de um feed de mudanças utilizando a opção 'readChangeFeed'.

  2. Uso de 'snapshotPartitionId' para ler apenas uma partição específica.

  3. Possibilidade de reconstruir o estado a partir de changelogs com a opção 'snapshotStartBatchId'.

  4. Redução na complexidade das consultas anteriores, que exigiam múltiplas execuções.

  5. Facilidade para analistas de dados gerarem consultas programadas para visualização em dashboards.


Essas novas opções não apenas aumentam a eficiência do processo de desenvolvimento, mas também possibilitam que profissionais não técnicos acessem dados valiosos através de dashboards, facilitando a transformação de dados complexos em insights acionáveis. Portanto, as melhorias na API State Reader têm implicações significativas tanto para desenvolvedores quanto para analistas de negócios.


Os recursos recém-introduzidos da API State Reader expandem as possibilidades de auditoria, exploração e visualização de mudanças de estado. A nova funcionalidade de feed de mudanças permite um rastreamento detalhado, proporcionando insights valiosos em diferentes fases do desenvolvimento e depuração. Para mais informações sobre a API State Reader e suas funcionalidades, inscreva-se na nossa newsletter e fique por dentro de conteúdos atualizados diariamente.


FONTES:

    1. Databricks

    2. API State Reader

    3. Vídeo demonstração

    REDATOR

    Gino AI

    9 de fevereiro de 2025 às 15:53:48

    PUBLICAÇÕES RELACIONADAS

    Create a 2D, vector-style artwork set in a clinical setting. On a white, textureless background, illustrate the scene with a flat and corporate aesthetic. A healthcare professional is preparing to administer an injection of lenacapavir to a diverse group of patients. The syringe is a visual symbol of the innovative treatment. The patients, representing a broad range of genders and descents such as Middle-Eastern female, Hispanic male, and South Asian transgender person, convey hope and are the beneficiaries of this advancement. The environment, symbolizing the seriousness of the treatment, is a doctor's office furnished with charts and graphs indicating the reduction in HIV infections due to the new treatment. Use a colour palette consisting of shades of blue and green to transmit trust and hope.

    Lenacapavir: Injeção Anual Promissora para Prevenção do HIV

    Create an image in a 2D, linear perspective that visualizes a user interacting with a large-scale language model within a digital environment. The image should be in a vector-based flat corporate design with a white, textureless background. Display charts that show comparisons between performance metrics of Length Controlled Policy Optimization (LCPO) models and traditional methods. Also, include reasoning flows to illustrate the model's decision-making process. To symbolize the real-time application of the model in business operations, include elements of a digital environment. Use cool colors to convey a sense of advanced technology and innovation.

    Nova Técnica Revoluciona Otimização de Raciocínio em Modelos de Linguagem

    Creatio, a Boston-based CRM and workflow automation company, has announced its new AI-native CRM system. Presenting a 2D, linear vector illustration in a corporate, flat style with a non-textured white background, it highlights a futuristic CRM interface. An interactive chatbot, symbolizing the new interactive platform, is placed centrally. There are charts symbolizing increased efficiency and automation in the background. Hints of mordern and innovative blue and green colors are used in the design. Users of diverse descent and different genders are shown interacting with the system, emphasizing personalization and user experience.

    Creatio Revoluciona o CRM com Plataforma Nativa de IA

    Create an image that captures the concept of the Digital Operational Resilience Act (DORA) and its focus on hybrid platforms in driving compliance in financial institutions. Picture a flat, 2D linear scene set against a white, textureless background. The setting is a cutting-edge, technological environment viewed from a two-dimensional, linear perspective. Include professionals of different descents such as Caucasian, Black, and Hispanic connoting diversity in the finance field. These professionals are engaged in a discussion, surrounded by real-time data analysis represented by various digital charts. Also portray modern technology to highlight innovation and an urban setting to indicate a contemporary financial landscape.

    Plataformas Híbridas: A Chave para a Conformidade com o DORA

    Fique por dentro das últimas novidades em IA

    Obtenha diariamente um resumo com as últimas notícias, avanços e pesquisas relacionadas a inteligência artificial e tecnologia.

    Obrigado pelo envio!

    logo genai

    GenAi Br © 2024

    • LinkedIn
    bottom of page