apache-kafka — все вопросы

2ответа
6 голосов
Поиск источников событий, воспроизведение и управление версиями
Я разрабатываю систему, которая использует Event Sourcing, CQRS и микросервисы. Я понимаю, что это не необычный образец. Ключевой особенностью службы должна быть возможность регидратации /восстановл
2ответа
6 голосов
Традиционные брокеры сообщений и потоковые данные
В соответствии с сайтом Kafka :    " Kakfa используется для создания потоков данных реального времени и потоковых приложений. " Поиск в Интернете по всему миру, я нашел следующее общепринято
1ответ
5 голосов
Уместно ли говорить, что RabbitMQ и Apache Kafka решают подобные проблемы?
Я использовал RabbitMQ, но я не использовал Apache Kafka. Это аналогичная проблема, которую решают эти продукты или нет связи?
1ответ
4 голоса
Развязывающие микросервисы с gRPC
Я настраиваю архитектуру микросервисов и смущаюсь о том, как gRPC может свободно обслуживать пары (по сравнению с сервисом сообщений pub-sub, например Kafka). Не направляется ли запрос непосредственн
2ответа
3 голоса
Два процесса в одном контейнере докеров или две службы, подключающиеся к одному и тому же дБ?
Недавно я начал перемещать монолитное приложение в архитектуру микросервисов, используя докерные контейнеры. Общая идея приложения: скребущие данные -> форматировать данные -> сохранить дан
1ответ
3 голоса
Как организовать обмен некритических сообщений между серверами в нескольких центрах обработки данных с помощью Kafka (или другого решения)?
Нам нужно организовать способ обмена сообщениями между серверами в нескольких центрах обработки данных. Сообщения не критичны. Нам просто нужно иметь возможность отправлять сообщения с любых серверо
1ответ
2 голоса
Микросервисы ослабляют связь с использованием распределенной бизнес-логики или централизованы?
Как достичь свободной связи в приведенном ниже сценарии: N микросервисов (давайте назовем их Callers) нуждается в логике или бизнесе (назовем его Worker), который будет выполняться с разными конт
1ответ
2 голоса
Назначение задачи в распределенной системе
Я хочу обходить сайты и записывать вывод в Solr с моим приложением. Мой искатель использует Kafka для установки обтекаемого объекта веб-сайта по теме, а Flume перенаправляет вывод в Solr. Существует
1ответ
2 голоса
Состояние гонки на микросервисе, управляемое событиями
Скажем, у нас есть 4 службы, от A до D, которые обмениваются (по большей части) с помощью какой-то асинхронной управляемой событиями системы. Когда новый объект создается в A, B & C получает это
2ответа
2 голоса
Распределенные транзакции с Kafka
Мне нужно реализовать транзакцию, которая распространяется на слабосвязанные компоненты (SOA + MOM). При получении определенного события FOO и BAR должны выполнить транзакционную операцию: т
0ответов
2 голоса
Проектирование анализа кликов?
У меня есть приложение, в котором пользователь покупает /щелкает определенные продукты. Мне нужно спроектировать анализ потока кликов здесь, на котором был нажат клик, сколько времени, пользователь
10ответов
62 голоса
Есть ли способ удалить все данные из темы или удалить тему перед каждым запуском?
Есть ли способ удалить все данные из темы или удалить тему перед каждым запуском? Можно ли изменить файл KafkaConfig.scala, чтобы изменить свойство logRetentionHours? Есть ли способ удалить сообщ
7ответов
34 голоса
Как получить данные из старой точки смещения в Кафке?
Я использую zookeeper для получения данных от kafka. И здесь я всегда получаю данные из последней точки смещения. Можно ли указать время смещения для получения старых данных? Существует одна опци
5ответов
32 голоса
Как создать тему в Кафке через Java
Я хочу создать тему в Kafka (kafka_2.8.0-0.8.1.1) через Java. Это работает нормально, если я создаю тему в командной строке, и если я отправляю сообщение через Java API. Но я хочу создать тему через
2ответа
32 голоса
Я оцениваю Google PUB /SUB против Кафки?
Я мало работал над kafka, но хотел построить конвейер данных в GCE. Таким образом, мы хотели знать, Кафка против PUB /Sub. По сути, я хочу знать, как обеспечивается согласованность, доступность и на
1ответ
30 голосов
Каковы ограничения имени темы Apache Kafka?
Я только что попытался создать тему Kafka "user:created" и увидел эту ошибку в журналах Kafka: Invalid character ':' in value part of property. Я гуглил и обнаружил, что в списке рассылки люди говор
7ответов
29 голосов
Spark Streaming - читайте и пишите в теме Кафки
Я использую Spark Streaming для обработки данных между двумя очередями Kafka, но я не могу найти хороший способ писать на Kafka из Spark. Я пробовал это: input.foreachRDD(rdd => rdd.foreachPa
1ответ
27 голосов
Как происходит перебалансирование потребителей в Кафке?
Когда новый потребитель /посредник добавляется или отключается, Kafka запускает операцию восстановления баланса. Является ли Кафка ребалансировкой операции блокировки? Блокируются ли потребители Kafk
5ответов
26 голосов
Как кодировать /декодировать сообщения Kafka, используя двоичный кодировщик Avro?
Я пытаюсь использовать Avro для сообщений, которые читаются /пишутся в Kafka. У кого-нибудь есть пример использования бинарного кодера Avro для кодирования /декодирования данных, которые будут помещ
4ответа
25 голосов
Как настроить параметры Java для Kafka?
Я экспериментировал с Kafka и увидел из документации на основном сайте, что вы можете установить различные параметры для jvm, такие как размер кучи и сборщик мусора, который он использует: http:
1 2 3 4 5

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132