Streaming de Dados

A tecnologia avança em ondas — e há mais de 20 anos ajudo empresas a atravessá-las: da integração e nuvem, ao streaming de dados em tempo real, e agora, à IA.
Hoje escrevo sobre IA Empresarial, Work AI, agentes de IA e como as organizações transformam IA em valor real de negócio — com a mesma visão orientada a arquitetura que me trouxe até aqui. Não estou apagando nada — é a base sobre a qual este novo capítulo se constrói.
Publico a maior parte das minhas idéias primeiro no LinkedIn — mais curtas, mais rápidas, e onde a conversa realmente acontece. Acompanhe por lá a versão que aparece antes de chegar ao blog.
https://www.linkedin.com/in/pedrobusko/

IA Empresarial

Como as organizações realmente adotam e escalam IA, além da fase de piloto.

Work AI

O que muda quando a IA deixa de responder perguntas e passa a executar trabalho.

Arquitetura de IA

Contexto, dados, RAG, agentes, governança: a infraestrutura que faz a IA empresarial funcionar.

IA na América Latina

IA Empresarial sob a ótica da região que conheço melhor.

Kafka está morto, viva Kafka

Este é um artigo traduzido originalmente publicado por Richard Artoul em 25/07/2023 no blog da WarpStream: "Kafka is dead, long live Kafka". Resumo WarpStream é uma plataforma de streaming de dados compatível com o protocolo Apache Kafka®, construída diretamente sobre o S3. É entregue como um binário Go único stateless, dispensando discos locais para gerenciar, brokers para rebalancear e ZooKeeper para operar. O WarpStream é de 5 a 10 vezes mais barato que o Kafka na nuvem,

pedrobusko

11 de jul. de 202512 min de leitura

GenAI em tempo real com RAG usando Apache Kafka e Flink para prevenir alucinações

Este é um artigo traduzido originalmente publicado no blog do Kai Waehner: "Real-Time GenAI with RAG using Apache Kafka and Flink to Prevent Hallucinations". Assine a newsletter do Kai para se manter atualizado com novas publicações. Como você evita alucinações de grandes modelos de linguagem (LLMs) em aplicativos GenAI? Os LLMs precisam de dados em tempo real, contextualizados e confiáveis para gerar os resultados mais confiáveis . Esta postagem explica como o RAG e uma pl

pedrobusko

29 de ago. de 20246 min de leitura

Tableflow: A dualidade entre Stream/Table e Kafka/Iceberg

Este é um artigo traduzido originalmente publicado dia 19/03/2024 pelo Jack Vanlightly no post: "Tableflow: The Stream/Table, Kafka/Iceberg Duality". Siga o Jack no LinkedIn para se manter atualizado com novas publicações. A Confluent acaba de anunciar o Tableflow, a materialização perfeita dos tópicos do Apache Kafka como tabelas do Apache Iceberg. Este anúncio deve ser o anúncio mais impactante que testemunhei no meu tempo na Confluent. Este post é sobre por que as tabelas

pedrobusko

6 de ago. de 20247 min de leitura

Arquitetura Shift Left – de Batch e Lakehouse a produtos de dados em tempo real com streaming de dados

Este é um artigo traduzido originalmente publicado no blog do Kai Waehner: "The Shift Left Architecture – From Batch and Lakehouse to Real-Time Data Products with Data Streaming". Assine a newsletter do Kai para se manter atualizado com novas publicações. A integração de dados é um desafio difícil em todas as empresas. O processamento em lote e o ETL reverso são práticas comuns em um data warehouse, data lake ou lakehouse. Inconsistência de dados, alto custo computacional e i

pedrobusko

26 de jul. de 20249 min de leitura

Explorando o Apache Flink: um deep dive num projeto fictício de vendas de jogos

Este é um artigo traduzido originalmente publicado dia 04/03/2023 pelo Lucas Viecelli no post: "Exploring Apache Flink: A Deep Dive into the Game Sales fake project". Siga o Lucas no LinkedIn para se manter atualizado com novas publicações. Apache Flink, uma estrutura robusta de processamento de dados em tempo real, teve um impacto significativo no domínio da análise de dados de streaming contínuo. Este artigo tem como objetivo compreender os principais recursos do Apache Fli

pedrobusko

20 de mar. de 20245 min de leitura

Sobre o futuro dos Serviços Em Nuvem e BYOC

Este é um artigo traduzido originalmente publicado dia 25/09/2023 pelo Jack Vanlightly no post: "On The Future Of Cloud Services And BYOC". Siga o Jack no LinkedIn para se manter atualizado com novas publicações. Meu trabalho na Confluent envolve uma mistura de pesquisa, engenharia e ajuda-nos a descobrir a melhor estratégia técnica a seguir. BYOC é algo em que tenho pensado recentemente, então decidi escrever o que penso sobre isso e para onde acho que os serviços em nuvem e

pedrobusko

13 de fev. de 202422 min de leitura

O cenário de streaming de dados 2024

Este é um artigo traduzido originalmente publicado no blog do Kai Waehner: "The Data Streaming Landscape 2024". Assine a newsletter do Kai para se manter atualizado com novas publicações. A empresa de pesquisa Forrester define plataformas de streaming de dados como uma nova categoria de software em um novo Forrester Wave. Apache Kafka é o padrão de fato usado por mais de 100.000 organizações. Muitos fornecedores oferecem plataformas Kafka e serviços em nuvem. Surgiram muitas

pedrobusko

10 de jan. de 202422 min de leitura

Apache Kafka NÃO é streaming de dados em tempo real!

Este é um artigo traduzido originalmente publicado no blog do Kai Waehner: "Apache Kafka is NOT real real-time data streaming!". Assine a newsletter do Kai para se manter atualizado com novas publicações. Os dados em tempo real superam os dados lentos. É tão fácil! Mas o que é tempo real? O termo sempre precisa ser definido ao discutir um caso de uso. Apache Kafka é o padrão de fato para streaming de dados em tempo real. Kafka é bom o suficiente para quase todos os cenários e

pedrobusko

10 de out. de 20234 min de leitura

Por que Kafka é o novo data lake?

Este é um artigo traduzido originalmente publicado no blog do Yingjun Wu, Fundador e CEO da RisingWave Labs: "Why Kafka Is the New Data Lake?". Muitos engenheiros de dados usam o Kafka para armazenar dados ingeridos recentemente, antes de transferi-los para data lakes. No entanto, há cada vez mais evidências que sugerem que Kafka está evoluindo para uma nova forma de data lake. Junte-se a nós para explorar por que essa evolução está ocorrendo. A mudança na gestão de dados pa

pedrobusko

21 de set. de 20239 min de leitura

Usando OpenId Connect com Confluent Cloud

Este é um artigo traduzido originalmente publicado no blog do Brice Leporini: "Using OpenId Connect with Confluent Cloud". Espero que você já tenha lido minha postagem anterior sobre o recurso que foi adicionado no Kafka 3.1 para autenticar aplicativos usando um provedor de identidade OpenId Connect externo. Agora você também pode fazer o mesmo com o Confluent Cloud . Inicialmente, a única maneira de autenticar aplicativos era usar chaves de API e segredos gerenciados no Conf

pedrobusko

31 de ago. de 20233 min de leitura

Autenticação OpenID Connect com Apache Kafka 3.1

Este é um artigo traduzido originalmente publicado no blog do Brice Leporini: "OpenID Connect authentication with Apache Kafka 3.1". Caro leitor, isso não vai ser divertido porque hoje estamos falando de segurança. No entanto, para torná-lo menos chato, trata-se de aproveitar o suporte do OpenID Connect (OIDC) no Kafka 3.1, a base do Confluent Platform 7.1 . OpenID Connect Vamos começar com algumas palavras sobre o OIDC . É um padrão aberto que completa o OAuth2.0. O objetivo

pedrobusko

22 de ago. de 20234 min de leitura

Apache Kafka como mecanismo de workflow e orquestração

Este é um artigo traduzido originalmente publicado no blog do Kai Waehner: "Apache Kafka as Workflow and Orchestration Engine". Assine a newsletter do Kai para se manter atualizado com novas publicações. A automação de processos de negócios com um mecanismo de workflow ou conjunto de BPM existe há décadas. No entanto, usar a plataforma de streaming de dados Apache Kafka como a espinha dorsal de um mecanismo de workflow oferece melhor escalabilidade, maior disponibilidade e ar

pedrobusko

25 de jul. de 202316 min de leitura

O cenário de streaming de dados em 2023

Este é um artigo traduzido originalmente publicado no blog do Kai Waehner: "The Data Streaming Landscape 2023". Assine a newsletter do Kai para se manter atualizado com novas publicações. O fluxo de dados é uma nova categoria de software para processar dados em movimento. O Apache Kafka é o padrão de fato usado por mais de 100.000 organizações. Muitos fornecedores oferecem plataformas Kafka e serviços em nuvem. Muitos mecanismos complementares de processamento de fluxo, como

pedrobusko

29 de jun. de 202313 min de leitura

Streaming de dados para serviços financeiros em 2023

Este é um artigo traduzido originalmente publicado dia 04/04/2023 no blog do Kai Waehner: "The State of Data Streaming for Financial Services in 2023". Assine a newsletter do Kai para se manter atualizado com novas publicações. Esta postagem explora o estado do streaming de dados para serviços financeiros em 2023. A evolução dos mercados de capitais, bancos de varejo e pagamentos requer compartilhamento fácil de informações e arquitetura aberta. O streaming de dados permite i

pedrobusko

15 de jun. de 202310 min de leitura

Performance do Kafka vs Redpanda - As reivindicações se complementam?

Este é um artigo traduzido originalmente publicado dia 24/04/2023 pelo Jack Vanlightly no post: "Kafka vs Redpanda Performance - Do the claims add up?". Siga o Jack no LinkedIn para se manter atualizado com novas publicações. O Apache Kafka tem sido o sistema de streaming de eventos de código aberto mais popular por muitos anos e continua a crescer em popularidade. Dentro do ecossistema mais amplo, existem outros concorrentes de código aberto e disponíveis para Kafka, como Ap

pedrobusko

2 de jun. de 202318 min de leitura

Porque O Apache Kafka Não Precisa Do Fsync Para Ser Seguro

Este é um artigo traduzido originalmente publicado dia 24/04/2023 pelo Jack Vanlightly no post: "Why Apache Kafka Doesn't Need Fsync To Be Safe". Siga o Jack no LinkedIn para se manter atualizado com novas publicações. TLDR: Apache Kafka não precisa de fsyncs para ser seguro porque inclui a recuperação em seu protocolo de replicação. É um sistema distribuído do mundo real que usa gravação de log assíncrona + recuperação com alguma segurança adicional incorporada. A gravação d

pedrobusko

18 de mai. de 20238 min de leitura

Configurando RabbitMQ Sink Connector

Seja em ambientes com cenários híbridos de Confluent Cloud + MQ, ou em um processo de migração de MQ pra Confluent Cloud, o conector RabbitMQ Sink Connector 100% gerenciado é bem simples de configurar e começar a rodar. Links de referência: Messaging Modernization with Confluent Modernize Messaging Workloads to Move Beyond Queues and Pub/Sub RabbitMQ Sink Connector for Confluent Cloud

pedrobusko

11 de mai. de 20231 min de leitura

Projetando a arquitetura orientada a eventos da Loggi

Um novo capítulo para a comunicação de serviços da Loggi Este é um artigo traduzido originalmente publicado dia 17/03/2023 pelo Ernesto Matos no blog do Loggi: "Designing Loggi’s event-driven architecture". Siga o Ernesto no Medium para se manter atualizado com novas publicações. Sistemas distribuídos é um tópico complexo, especialmente a comunicação de sistemas distribuídos. As noções de relógio e ordem são confusas, nem sempre fica claro como devemos lidar com falhas de com

pedrobusko

2 de mai. de 20238 min de leitura

Configurando AWS VPC Peering na Confluent Cloud

Em muitos casos, o acesso aos clusters na Confluent Cloud não podem ser feitos via internet e precisam de uma conexão privada, uma das formas mais populares é via AWS VPC Peering, no vídeo abaixo mostro como isso pode ser feito rapidamente, utilizei a console visual da Confluent Cloud, mas isso também pode ser feito via CLI, APIs ou Terraform. Links de referência: Use VPC Peering on AWS COURSE: CONFLUENT CLOUD NETWORKING

pedrobusko

20 de abr. de 20231 min de leitura

Repensando seguros usando Event Driven Patterns

Este é um artigo traduzido originalmente publicado dia 09/03/2023 no blog do Naveen Nandan: "Rethinking Insurance using Event Driven Patterns". Siga o Naveen no LinkedIn para se manter atualizado com novas publicações. Isenção de responsabilidade: Visão geral como cliente de seguros e como um processo de negócios pode ser modelado usando uma arquitetura orientada a eventos. Em outras palavras, eu sei tão pouco sobre esta indústria. Meu entendimento ingênuo era que a indústria

pedrobusko

11 de abr. de 20234 min de leitura