spark-streaming — все вопросы

1ответ
4 голоса
Spark структурированный поток ровно один раз - не достигнуто - дублированные события
Я использую структурированную потоковую передачу Spark для получения событий от Kafka и загрузки их на S3. Контрольные точки фиксируются на S3: DataFrameWriter<Row> writer = input.writeSt
1ответ
4 голоса
Как Spark Streaming определяет новые файлы
Каким образом потоковая передача с зажиганием fileStream определяет новые файлы в каталоге мониторинга от одного интервала к другому интервалу? Основано ли оно на новых именах файлов, отметке вре
1ответ
4 голоса
Spark Streaming - Как получить «Ключ» в функции updateStateByKey
Я использую функцию updateStateByKey в приложении Spark Streaming для сохранения и обновления статуса для каждого ключа. Вопрос в том, что я хочу знать «ключ» внутри функции обновления. input.up
1ответ
4 голоса
Spark Streaming в каталоге S3
Итак, у меня есть тысячи событий, передаваемых через Amazon Kinesis в SQS, а затем выгружаемых в каталог S3. Примерно каждые 10 минут создается новый текстовый файл для выгрузки данных из Kinesis в
2ответа
4 голоса
Карта потоковой передачи искры задержана?
Я ожидал, что новый API mapWithState для Spark 1.6+ почти сразу же удалит объекты, для которых истекло время ожидания, но есть задержка. Я тестирую API с адаптированной версией JavaStatefulNetwo
1ответ
4 голоса
Поток искры через приемник Кафки в кластере грубого зерна
Я создавал прототип Spark Streaming 1.6.1 с использованием приемника kafka на Mesos 0.28 кластер работает в режиме грубой детализации. У меня есть 6 слуг mesos, каждый с 64GB RAM and 16 Cores. В
2ответа
4 голоса
Spark Scala Streaming CSV
Я новичок в Spark /Scala. Я знаю, как загрузить файлы CSV: sqlContext.read.format("csv") и как читать текстовые и файловые потоки: scc.textFileStream("""file:///c:\path\filename""");
1ответ
4 голоса
Как преобразовать объект списка в JavaDStream Spark?
У меня есть объект списка ниже: List<Tuple2<Tuple3<String, Long, Object>, Tuple2<Long, Object[]>>> rddQueue = Arrays.asList(tupleList); как конвертировать его в Java
1ответ
4 голоса
Динамическое распределение для потоковой передачи искр
В нашем кластере запущено задание Spark Streaming с другими заданиями (базовые задания Spark). Я хочу использовать динамическое распределение ресурсов для этих заданий, включая Spark Streaming. Согл
2ответа
4 голоса
Как я могу скомпилировать только Spark Core и Spark Streaming (чтобы я мог получить утилиты модульного тестирования Streaming)?
В настоящее время я разрабатываю приложение Spark Streaming и пытаюсь написать свой первый модульный тест. Я использовал Java для этого приложения, и мне также нужно использовать Java (и JUnit) для
2ответа
4 голоса
определить мастера живой искры во время подачи искры
У меня есть искровой кластер из 5 узлов, где 2 узла работают под управлением мастера. в сценарии HA (от Zookeeper) любой будет выбран в качестве основного. at the time of submitting application us
2ответа
4 голоса
Не удалось найти лидеров для Set ([TOPICNNAME, 0])), когда мы используем Apache Saprk
Мы используем Apache Spark 1.5.1 и kafka_2.10-0.8.2.1 и Kafka DirectStream API для извлечения данных из Kafka с использованием Spark. Мы создали темы в Kafka со следующими настройками Replicat
3ответа
4 голоса
Как я могу сделать (Spark1.6) saveAsTextFile, чтобы добавить существующий файл?
В SparkSQL я использую DF.wirte.mode (SaveMode.Append) .json (xxxx), но этот метод получает эти файлы like имя файла слишком сложное и случайное, я не могу использовать api для получения. Ита
1ответ
4 голоса
Как сгруппировать ключи /значения по разделам в Spark?
У меня есть приложение Spark Streaming, которое получает несколько сообщений JSON в секунду, каждое из которых имеет идентификатор, идентифицирующий их источник. Используя этот идентификатор в ка
1ответ
4 голоса
Как исправить «org.apache.spark.shuffle.FetchFailedException: Failed to connect» в приложении NetworkWordCount Spark Streaming?
Я пытаюсь представить пример приложения Apache Spark Streaming:В качестве параметров я ввожу основной IP и локальный порт (в другой консоли работает: ---- +: = 1 =: + ---- ).И всегда получаю ошибку:По
2ответа
4 голоса
Spark Streaming Kafka Consumer
Я пытаюсь настроить простое приложение Spark Streaming, которое будет читать сообщения из темы Кафки.После большой работы я нахожусь на этом этапе, но получаю исключения, показанные ниже.Код:Который б
1ответ
4 голоса
Spark Streaming - интервал между партиями и время обработки
У нас есть ---- +: = 0 =: + ---- на кластере YARN.Он получает сообщения от ---- +: = 1 =: + ---- .На самом деле наше время обработки превышает интервал между партиями.Я хотел бы знать, что произойдет,
3ответа
4 голоса
Apache Phoenix (4.3.1 и 4.4.0-HBase-0.98) в Spark 1.3.1 ClassNotFoundException
Я пытаюсь подключиться к Phoenix через Spark и получаю следующее исключение при открытии соединения через драйвер JDBC (для краткости, полная трассировка стека ниже):Рассматриваемый класс предоставляе
3ответа
4 голоса
Разница между RDD и партиями в Spark?
СДР представляет собой набор элементов, разделенных между узлами кластера.Это основной компонент и абстракция.Пакеты : SparkStreaming API просто делит данные на пакеты, что также объединяет одну и ту
2ответа
4 голоса
Как добавить зависимости Java в файл sbt проектов Scala
У меня есть проект Scala с потоковой передачей искр, использующий Apache NiFi-приемник.Проекты прекрасно работают в Eclipse /Scala IDE, и теперь я хочу упаковать их для развертывания.Когда я добавляю
1 2 3

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132