Kafka – Unable to records bytes produced to topic XXX by sink node KSTREAM-SINK-0000000001 as the node is not recognized.

Ao escrever um código utilizando o Kafka Streams acabei recebendo o seguinte erro:

stream-thread [XXX-StreamThread-1] task [0_0] Unable to records bytes produced to topic XXX by sink node KSTREAM-SINK-0000000033 as the node is not recognized.
Known sink nodes are [KSTREAM-SINK-0000000001, XXX-joined-fk-subscription-registration-sink]. 

Estava utilizando o Quarkus 2.15.0.Final com a depéndência: quarkus-kafka-streams e utilizando o a classe TopicNameExtractor para fazer um output dinâmico ( Event Router );

Ao pesquisar descobri que o problema era um BUG relatádo na versão do SDK do Kafka após a versão 3.2.0:

Since we upgrade from version 3.2.0 to 3.3.1 we see a lot of exceptions thrown by the RecordCollector – BUG Relatado em issue: https://issues.apache.org/jira/browse/KAFKA-14282

Essa issue foi corrigida mas ainda não foi lançado uma nova versão do SDK, provavelmente a correção vai etnrar na versão 3.4.03.3.2 . No caso devemos ficar atento a atualização do Quarkus também que deverá atualizar essa dependência para contemplar essa versão do Kafka SDK.

Esse tipo de erro não estava impactando no processamento das mensagens, apenas em logs de erros, mas caso necessário, poderiamos forçar o uso da versão anterior da dependência: org.apache.kafka:kafka-streams:3.3.1 para sua versão anterior 3.2.0

Help DEV – Analista desenvolvedor Java / Android https://helpdev.com.br/zarelli

Kafka – Unable to records bytes produced to topic XXX by sink node KSTREAM-SINK-0000000001 as the node is not recognized.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

Rolar para o topo