hadoop — все вопросы

1ответ
4 голоса
Ошибки Hadoop MapReduce разных типов данных
В программе mapreduce возникают две проблемы java.io.IOException: wrong value class: class org.apache.hadoop.io.IntWritable is not class org.apache.hadoop.io.Text литий> java.lang.ArrayIndexO
2ответа
4 голоса
Скопируйте файлы в локальные из нескольких каталогов в HDFS за последние 24 часа
У меня проблема с передачей данных из HDFS на локальный компьютер. У меня например: /path/to/folder/report1/report1_2019_03_24-03_10*.csv /path/to/folder/report1/report1_2019_03_24-04_12*.csv ...
2ответа
4 голоса
Jar работает с автономным Hadoop, но не на реальном кластере (java.lang.ClassNotFoundException: org.jfree.data.xy.XYDataset)
Я пытаюсь построить свой проект с использованием Eclipse в Windows и выполнить в кластере Linux. Проект зависит от некоторых внешних jar-файлов, которые я вложил, используя опцию eclipse «Export->
4ответа
4 голоса
Интерпретация выходных данных от mahout clusterdumper
Я провел тест кластеризации на просканированных страницах (более 25 тыс. документов; набор личных данных). Я сделал clusterdump: $MAHOUT_HOME/bin/mahout clusterdump --seqFileDir output/clusters-1/
1ответ
4 голоса
Как регистрировать сообщения от Hadoop?
Как я могу записывать сообщения от Hadoop Mapper (или Combiner /Reducer /что угодно), чтобы позже найти эти пользовательские сообщения в журналах Hadoop? public class GfimlMapper extends Mapper<
2ответа
4 голоса
Запуск Python на Hadoop
Я пытаюсь запустить очень простой скрипт на Python с помощью кустов и Hadoop. Это мой сценарий: #!/usr/bin/env python import sys for line in sys.stdin: line = line.strip() nums = line.
2ответа
4 голоса
Лучший способ обрабатывать строки данных из файла hdfs из CPython (без использования stdin)
Я хотел бы использовать CPython в потоковом задании Hadoop, которому необходим доступ к дополнительной информации из строчно-ориентированного файла, хранящегося в файловой системе Hadoop. Под «допол
1ответ
4 голоса
Очень большая пара ключ-значение в Hadoop
Я новичок в Hadoop, и моя нынешняя сложность программы ограничена сложностью wordcount. Я пытаюсь понять фундаментальную архитектуру Hadoop, чтобы лучше проектировать свои решения. Один из больши
2ответа
4 голоса
как обрабатывать очень большие данные?
Я собираюсь начать новый проект, который в основном представляет собой инструмент отчетности, который должен иметь довольно большую базу данных. Количество таблиц не будет большим (<200), боль
1ответ
4 голоса
Сбой операции Hadoop Map-Reduce при записи вывода
Я наконец-то смог запустить задание уменьшения карты в Hadoop (запущенном на одном компьютере с Debian). Однако задание уменьшения карты всегда завершается ошибкой со следующей ошибкой: hadoopmach
2ответа
4 голоса
Конвертировать PL /SQL в Hive QL
Мне нужен инструмент, с помощью которого я могу получить соответствующий запрос улья, задав запрос PL /SQL. Есть много инструментов, которые преобразуют sql в hql. то есть: таод для базы данных обла
4ответа
4 голоса
как вывести на HDFS из картографа напрямую?
В определенных критериях мы хотим, чтобы картограф выполнял всю работу и выводил в HDFS, мы не хотим, чтобы данные передавались в редуктор (будет использовать дополнительную полосу пропускания, пожа
1ответ
4 голоса
Используется ли один объект Mapper hadoop для нескольких вызовов map ()?
Итак, у меня есть Mapper, который обновляет таблицу HBase. В функции map () I: 1) создать экземпляр HBaseConfiguration 2) создать экземпляр HTable 3) вызывать hTable.put () несколько раз дл
1ответ
4 голоса
Hadoop - Как редуктор получает данные?
Я понимаю, что картограф производит 1 раздел на редуктор. Как редуктор знает, какой раздел копировать? Допустим, есть 2 узла, выполняющих маппер для программы подсчета слов, и настроены 2 редуктора.
7ответов
4 голоса
Добавление узла данных в кластер hadoop
Когда я запускаю hadoopnode1 с помощью start-all.sh, он успешно запускает службы на главном и подчиненном (см. вывод команды jps для ведомого) , Но когда я пытаюсь увидеть живые узлы на экране админ
1ответ
4 голоса
Ошибка пространства Java кучи свиньи JVM
Я пытаюсь запустить скрипт свиньи, который вызывает пользовательскую функцию, написанную на java. Я пытаюсь протестировать этот скрипт с очень маленьким файлом размером 264 байт. Я заканчиваю тем, ч
1ответ
4 голоса
Hadoop: Редуктор записывает вывод Mapper в выходной файл
Я встретил очень и очень странную проблему. Редукторы действительно работают, но если я проверю выходные файлы, я найду только выходные данные из картографов. Когда я пытался отладить, я обнаружил т
1ответ
4 голоса
Hadoop: помощь, необходимая для реализации пользовательского класса FileInputFormat
Я пытаюсь реализовать некоторую работу Map /Reduce с помощью hadoop для задания колледжа. но в данный момент я полностью застрял при реализации пользовательского класса FileInputFormat, чтобы получи
4ответа
4 голоса
Запись вывода в разные папки hadoop
Я хочу записать два разных типа вывода из одного и того же редуктора в две разные директории. Я могу использовать функцию множественных выходов в hadoop для записи в разные файлы, но они оба нах
1ответ
4 голоса
Почему количество входных записей комбинатора больше количества выходов карт?
Combiner запускается после Mapper и перед Reducer, он будет получать в качестве входных данных все данные, генерируемые экземплярами Mapper на данном узле. Затем он излучает выходные данные в редукт
1 2 3 4 5

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132