Streaming de Dados 2/3

A tecnologia avança em ondas — e há mais de 20 anos ajudo empresas a atravessá-las: da integração e nuvem, ao streaming de dados em tempo real, e agora, à IA.
Hoje escrevo sobre IA Empresarial, Work AI, agentes de IA e como as organizações transformam IA em valor real de negócio — com a mesma visão orientada a arquitetura que me trouxe até aqui. Não estou apagando nada — é a base sobre a qual este novo capítulo se constrói.
Publico a maior parte das minhas idéias primeiro no LinkedIn — mais curtas, mais rápidas, e onde a conversa realmente acontece. Acompanhe por lá a versão que aparece antes de chegar ao blog.
https://www.linkedin.com/in/pedrobusko/

IA Empresarial

Como as organizações realmente adotam e escalam IA, além da fase de piloto.

Work AI

O que muda quando a IA deixa de responder perguntas e passa a executar trabalho.

Arquitetura de IA

Contexto, dados, RAG, agentes, governança: a infraestrutura que faz a IA empresarial funcionar.

IA na América Latina

IA Empresarial sob a ótica da região que conheço melhor.

Precisando criar pipelines de dados?

O Confluent Stream Designer é um designer visual de alta produtividade e fácil de usar para criar, testar, executar e monitorar pipelines de dados. Com o Stream Designer, você cria pipelines de ponta a ponta usando uma abordagem de baixo código não baseada em programação, com aumento por código quando necessário. O Stream Designer é construído sobre os principais componentes do Kafka, como Core Kafka, Connect, ksqlDB e Schema Registry. O Stream Designer fornece interfaces de

pedrobusko

31 de mar. de 20231 min de leitura

Apache Kafka (com Kafka Streams) + Apache Flink = Casamento perfeito

Este é um artigo traduzido originalmente publicado dia 23/01/2023 no blog do Kai Waehner: "Apache Kafka (including Kafka Streams) + Apache Flink = Match Made in Heaven". Assine a newsletter do Kai para se manter atualizado com novas publicações. O Apache Kafka e o Apache Flink estão cada vez mais unindo forças para criar aplicativos inovadores de processamento de fluxo em tempo real. Esta postagem explora os benefícios de combinar as duas estruturas de código aberto, mostra o

pedrobusko

28 de mar. de 202313 min de leitura

Conectando Confluent Cloud com ElasticSearch

Precisando tirar seus dados do backend e deixá-los disponíveis para serem consultados via ElasticSearch? No vídeo abaixo mostro rapidamente como você consegue criar e por pra rodar o ElasticSearch Sink Connector totalmente gerenciado na Confluent Cloud em questão de minutos. Links de referência: Elasticsearch Service Sink Connector for Confluent Cloud Hands On: Streaming Data from Kafka to ElasticSearch with Kafka Connect Optimize Search and Analytics with Real-Time Data Stre

pedrobusko

24 de mar. de 20231 min de leitura

Por que o DoorDash migrou do Amazon SQS e Kinesis nativos da nuvem para Apache Kafka e Flink

Este é um artigo traduzido originalmente publicado dia 18/08/2022 no blog do Kai Waehner: "Why DoorDash migrated from Cloud-native Amazon SQS and Kinesis to Apache Kafka and Flink". Assine a newsletter do Kai para se manter atualizado com novas publicações. Mesmo os nativos digitais – que iniciaram seus negócios na nuvem sem aplicativos legados em seus próprios data centers – precisam modernizar sua arquitetura corporativa nativa da nuvem para melhorar os processos de negócio

pedrobusko

14 de mar. de 20236 min de leitura

Introdução a Confluent Cloud com Python em 5 minutos

Quem já precisou criar e manter um cluster Kafka, mesmo que para desenvolvimento, sabe o quanto isso pode ser trabalhoso, consumindo tempo e recursos. Nesse vídeo, eu mostro como criar um cluster básico na Confluent Cloud, totalmente gerenciado e ter eventos sendo produzidos e consumidos em pouco mais de 5 minutos. Links de referência: Get started with Confluent Cloud free Getting Started with Apache Kafka and Python Conecte comigo no LinkedIn e vamos discutir isso!

pedrobusko

7 de mar. de 20231 min de leitura

Quando escolher Redpanda em vez de Apache Kafka?

Este é um artigo traduzido originalmente publicado dia 16/11/2022 no blog do Kai Waehner: "When to choose Redpanda instead of Apache Kafka?". Assine a newsletter do Kai para se manter atualizado com novas publicações. O streaming de dados surgiu como uma nova categoria de software. Ele complementa middleware, data warehouse e data lakes tradicionais. O Apache Kafka se tornou o padrão de fato. Novos players entram no mercado por causa do sucesso de Kafka. Um deles é o Redpanda

pedrobusko

28 de fev. de 202319 min de leitura

Streaming de dados do MongoDB para o BigQuery usando conectores Confluent

Este é um artigo traduzido originalmente publicado dia 24/01/2023 no blog "Streaming Data from MongoDB to BigQuery Using Confluent Connectors". Muitos clientes corporativos do MongoDB e do Google Cloud têm a carga de trabalho da operação principal em execução no MongoDB e executam suas análises no BigQuery. Para facilitar a movimentação dos dados entre o MongoDB e o BigQuery, o MongoDB introduziu o Google Dataflow templates. Embora esses modelos atendam à maioria dos casos de

pedrobusko

7 de fev. de 20235 min de leitura

Transformação digital eficaz com a nova stack de tecnologia "Kafcongo": Kafka, Confluent e MongoDB

Este é um artigo traduzido originalmente publicado dia 05/01/2023 no blog do Britton LaRoche: "Effective Digital Transformation with the New "Kafcongo" Tech Stack: Kafka, Confluent & MongoDB". O que está por trás da empolgação crescente com essa nova stack de tecnologia que conquistou a indústria? A resposta são resultados do mundo real, porque oferece transformação digital e modernização do legado em tempo recorde. A nova stack de tecnologia é baseada em tecnologia de códig

pedrobusko

31 de jan. de 202326 min de leitura

Modernização do Core Banking nativo da nuvem com Apache Kafka

Este é um artigo traduzido originalmente publicado dia 16/03/2022 no blog do Kai Waehner: "Cloud-native Core Banking Modernization with Apache Kafka". Assine a newsletter do Kai para se manter atualizado com novas publicações. A maioria das instituições de serviços financeiros opera sua plataforma de core banking em tecnologias legadas de mainframe. A arquitetura monolítica, proprietária e inflexível cria muitos desafios para inovação e economia. Este blog post explora três s

pedrobusko

20 de jan. de 202311 min de leitura

Apache Kafka como Data Hub para Crypto, DeFi, NFT, Metaverse – Além do Buzz

Este é um artigo traduzido originalmente publicado dia 04/02/2022 no blog do Kai Waehner: "Apache Kafka as Data Hub for Crypto, DeFi, NFT, Metaverse – Beyond the Buzz". Assine a newsletter do Kai para se manter atualizado com novas publicações. Finanças descentralizadas com criptomoedas e NFTs são um grande tópico hoje em dia. Torna-se uma combinação poderosa com as próximas plataformas de metaverso em todos os setores. Este blog post explora a relação entre as tecnologias cr

pedrobusko

6 de jan. de 202320 min de leitura

Data Mesh descentralizado com streaming de dados em serviços financeiros

Este é um artigo traduzido originalmente publicado dia 28/10/2022 no blog do Kai Waehner: "Decentralized Data Mesh with Data Streaming in Financial Services". Assine a newsletter do Kai para se manter atualizado com novas publicações. A transformação digital requer agilidade e tempo de lançamento rápido no mercado como fatores críticos para o sucesso de qualquer empresa. A descentralização com um data mesh separa aplicativos e unidades de negócios em domínios independentes. O

pedrobusko

20 de dez. de 20225 min de leitura

Detecção de Fraude com Apache Kafka, KSQL e Apache Flink

Este é um artigo traduzido originalmente publicado dia 25/10/2022 no blog do Kai Waehner: "Fraud Detection with Apache Kafka, KSQL and Apache Flink". Assine a newsletter do Kai para se manter atualizado com novas publicações. A detecção de fraudes torna-se cada vez mais desafiadora em um mundo digital em todos os setores. O processamento de dados em tempo real com o Apache Kafka tornou-se o padrão de fato para correlacionar e prevenir fraudes continuamente antes que elas acon

pedrobusko

8 de dez. de 20226 min de leitura

Quando NÃO escolher o Amazon MSK Serverless para Apache Kafka?

Este é um artigo traduzido originalmente publicado dia 30/8/2022 no blog do Kai Waehner: "When NOT to choose Amazon MSK Serverless for Apache Kafka?". Assine a newsletter do Kai para se manter atualizado com novas publicações. O Apache Kafka tornou-se o padrão de fato para streaming de dados. Várias ofertas de nuvem surgiram e melhoraram nos últimos anos. O Amazon MSK Serverless é o produto Kafka mais recente da AWS. Esta postagem de blog analisa seus recursos para explorar c

pedrobusko

17 de nov. de 202214 min de leitura

Melhores práticas recomendadas para criar um data warehouse ou data lake nativo da nuvem

Este é um artigo traduzido originalmente publicado dia 21/7/2022 no blog do Kai Waehner: "Best Practices for Building a Cloud-Native Data Warehouse or Data Lake". Assine a newsletter do Kai para se manter atualizado com novas publicações. Os conceitos e arquiteturas de um data warehouse, um data lake e streaming de dados são complementares para resolver problemas de negócios. Infelizmente, as tecnologias subjacentes são muitas vezes incompreendidas, usadas em excesso para arq

pedrobusko

3 de nov. de 202212 min de leitura

Estudos de caso: streaming de dados nativo da nuvem para modernização do data warehouse

Este é um artigo traduzido originalmente publicado dia 18/7/2022 no blog do Kai Waehner: "Case Studies: Cloud-native Data Streaming for Data Warehouse Modernization". Assine a newsletter do Kai para se manter atualizado com novas publicações. Os conceitos e arquiteturas de um data warehouse, um data lake e streaming de dados são complementares para resolver problemas de negócios. Infelizmente, as tecnologias subjacentes são muitas vezes incompreendidas, usadas em excesso para

pedrobusko

27 de out. de 20228 min de leitura

Modernização de Data Warehouse e Data Lake: De Legado On-Premise a Infraestrutura Nativa em Nuvem

Este é um artigo traduzido originalmente publicado dia 15/7/2022 no blog do Kai Waehner: "Data Warehouse and Data Lake Modernization: From Legacy On-Premise to Cloud-Native Infrastructure". Assine a newsletter do Kai para se manter atualizado com novas publicações. Os conceitos e arquiteturas de um data warehouse, um data lake e streaming de dados são complementares para resolver problemas de negócios. Infelizmente, as tecnologias subjacentes são muitas vezes incompreendidas,

pedrobusko

20 de out. de 202210 min de leitura

Streaming de dados para ingestão de dados no Data Warehouse e Data Lake

Este é um artigo traduzido originalmente publicado dia 5/7/2022 no blog do Kai Waehner: "Data Streaming for Data Ingestion into the Data Warehouse and Data Lake". Assine a newsletter do Kai para se manter atualizado com novas publicações. Os conceitos e arquiteturas de um data warehouse, um data lake e streaming de dados são complementares para resolver problemas de negócios. Infelizmente, as tecnologias subjacentes são muitas vezes incompreendidas, usadas em excesso para arq

pedrobusko

14 de out. de 202211 min de leitura

Data Warehouse vs. Data Lake vs. Data Streaming – Amigos, Inimigos, ou um pouco dos dois?

Este é um artigo traduzido originalmente publicado dia 27/6/2022 no blog do Kai Waehner: "Data Warehouse vs. Data Lake vs. Data Streaming – Friends, Enemies, Frenemies?". Assine a newsletter do Kai para se manter atualizado com novas publicações. Os conceitos e arquiteturas de um data warehouse, um data lake e streaming de dados são complementares para resolver problemas de negócios. Infelizmente, as tecnologias subjacentes são muitas vezes incompreendidas, usadas em excesso

pedrobusko

6 de out. de 202211 min de leitura

Analytics vs. Transactions em streaming de dados com Apache Kafka

Este é um artigo traduzido originalmente publicado dia 09/3/2022 no blog do Kai Waehner: "Analytics vs. Transactions in Data Streaming with Apache Kafka". Assine a newsletter do Kai para se manter atualizado com novas publicações. As cargas de trabalho para analytics e transactions têm características e requisitos muito diferentes. Muitas pessoas pensam que o Apache Kafka não foi desenvolvido para transações e deve ser usado apenas para análise de big data. Esta postagem expl

pedrobusko

29 de set. de 202210 min de leitura

Quando usar request-response com o Apache Kafka?

Este é um artigo traduzido originalmente publicado dia 03/6/2022 no blog do Kai Waehner: "When to use Request-Response with Apache Kafka?". Assine a newsletter do Kai para se manter atualizado com novas publicações. Como posso fazer comunicação request-response com o Apache Kafka? Essa é uma das perguntas mais comuns que recebo regularmente. Esta postagem de blog explora quando (não) usar esse padrão de troca de mensagens, as diferenças entre comunicação síncrona e assíncrona

pedrobusko

22 de set. de 202211 min de leitura