emr — все вопросы

2ответа
4 голоса
Apache Spark для S3 проблема с загрузкой производительности
Я вижу серьезную проблему с производительностью, когда Apache Spark загружает свои результаты в S3. Насколько я понимаю, идут эти шаги ... Выходные данные последнего этапа записываются в таблиц
4ответа
4 голоса
Не удается запустить AWS EMR Cluster
Я пытаюсь запустить кластер AWS EMR с консоли AWS и получаю следующую ошибку: Failed to provision ec2 instances because 'IAM Instance Profile "arn:aws:iam::553706642095:instance-profile/EMR_EC2_De
1ответ
4 голоса
Как установить spark.driver.memory для Spark /Zeppelin на EMR
При использовании EMR (с Spark, Zeppelin) изменение spark.driver.memory в настройках интерпретатора Zeppelin Spark не будет работать. Интересно, как лучше и быстрее настроить память драйвера Spar
1ответ
4 голоса
Как редактировать и перезапускать завершенный кластер в Amazon EMR?
Я новичок в AWS и Amazon EMR. Я создал новый кластер с пользовательским скриптом Bootstrap. Когда я запустил clulster, он завершился неудачей сценария Bootstrap. Теперь я исправил свой скрипт и хочу
2ответа
4 голоса
Apache Hive: Как преобразовать строку в метку времени?
Я пытаюсь преобразовать строку в столбце ---- +: = 0 =: + ---- в формат отметки времени в кусте.Пример: вс 31 июля 09:28:20 UTC 2016 => 2016-07-31 09:28:20Когда я выполняю приведенный выше SQL, он
2ответа
4 голоса
Настройте интерпретатор искры Zeppelin на EMR при запуске кластера
Я создаю кластеры на EMR и настраиваю Zeppelin для чтения ноутбуков с S3.Для этого я использую объект json, который выглядит так:Я вставляю этот объект на страницу конфигурации Stoftware EMR:введите о
1ответ
4 голоса
Ошибка кластера Amazon EMR
Я использую кластер AWS EMR 5.3.1 с Hadoop + Spark + Hive + ZeppelinКогда я использую Zeppelin и набираю команду:Я получаю ошибку:Как это решить?
2ответа
4 голоса
Почтовый крючок для Elastic MapReduce
Интересно, есть ли пример постобработки для EMR (Elastic MapReduce)?То, чего я пытаюсь добиться, - это отправить электронное письмо группе людей сразу после того, как Amazon Hadoop завершил работу.
2ответа
4 голоса
Apache Spark читает для S3: не может выбирать объекты thread.lock
Поэтому я хочу, чтобы мое приложение Spark считывало текст с Amazon S3.Я написал следующий простой скрипт:Когда я делаю ---- +: = 1 =: + ---- я получаю следующую ошибку:и я, кажется, не нахожу никакой
1ответ
4 голоса
Как настроить Zeppelin для работы с удаленным кластером EMR Yarn
У меня есть кластер Amazon EMR Hadoop v2.6 с Spark 1.4.1, с менеджером ресурсов Yarn.Я хочу развернуть Zeppelin на отдельной машине, чтобы разрешить отключение кластера EMR, когда не выполняется ни од
6ответов
4 голоса
Обнаружена проблема с гуавой # 1635, которая указывает на то, что используется версия гуавы менее 16.01
Я запускаю искровое задание на emr и использую соединитель datastax для подключения к кластеру cassandra.Я сталкиваюсь с проблемами с банкой гуавы, пожалуйста, найдите детали, как ниже, я использую ни
1ответ
4 голоса
collect () или toPandas () на большом DataFrame в pyspark /EMR
У меня есть кластер EMR одной машины c3.8xlarge, после прочтения нескольких ресурсов я понял, что должен разрешить приличный объем памяти вне кучи, потому что я использую pyspark, поэтому я настроил к
1ответ
9 голосов
Оптимизация GC на кластере EMR
Я выполняю задание Spark, написанное в Scala на EMR, и стандартный вывод каждого исполнителя заполнен ошибками выделения GC. 2016-12-07T23:42:20.614+0000: [GC (Allocation Failure) 2016-12-07T23:42
3ответа
11 голосов
Livy Server в Amazon EMR зависает при подключении к ResourceManager
Я пытаюсь развернуть Livy Server в Amazon EMR. Сначала я построил главную ветвь Ливия. mvn clean package -Pscala-2.11 -Pspark-2.0 Затем я загрузил его на мастер кластера EMR. Я установил следую
7ответов
16 голосов
Pyspark --py-файлы не работают
Я использую это, как предлагает документ http://spark.apache.org/docs/1.1 .1 /submit-application.html spsark версия 1.1.0 ./spark/bin/spark-submit --py-files /home/hadoop/loganalysis/parser-s
3ответа
20 голосов
Как перезапустить пряжу на AWS EMR
Я использую Hadoop 2.6.0 (изображение emr-4.2.0). Я внес некоторые изменения в yarn-site.xml и хочу перезапустить пряжу, чтобы изменения вступили в силу. Есть ли команда, с помощью которой я могу

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132