Pydoop зависает на строке чтения из файлов HDFS

Я читаю первую строку всех файлов в каталоге, на локальном он работает нормально, но на EMR этот тест не работает и застревает около 200-300-го файла.Также ps -eLF показывает увеличение дочерних элементов до 3000 даже в 200 строке.Это какая-то ошибка EMR для чтения максимального байта?версия pydoop pydoop == 0.12.0
7 голосов | спросил mtariq 24 FebruaryEurope/MoscowbTue, 24 Feb 2015 12:48:32 +0300000000pmTue, 24 Feb 2015 12:48:32 +030015 2015, 12:48:32

0 ответов


Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132