hive — все вопросы

1ответ
4 голоса
Проблема с сохранением искры DataFrame в виде таблицы Hive
У меня есть два фрейма данных spark. Один из них получен из таблицы улья с использованием HiveContext: spark_df1 = hc.sql("select * from testdb.titanic_pure_data_test") Фрейм данных второй
2ответа
4 голоса
Запуск Python на Hadoop
Я пытаюсь запустить очень простой скрипт на Python с помощью кустов и Hadoop. Это мой сценарий: #!/usr/bin/env python import sys for line in sys.stdin: line = line.strip() nums = line.
2ответа
4 голоса
Конвертировать PL /SQL в Hive QL
Мне нужен инструмент, с помощью которого я могу получить соответствующий запрос улья, задав запрос PL /SQL. Есть много инструментов, которые преобразуют sql в hql. то есть: таод для базы данных обла
1ответ
4 голоса
Можно ли выполнять запросы Hive параллельно, написав отдельную программу mapreduce?
Я задал некоторые вопросы об увеличении производительности запросов Hive. Некоторые из ответов касались числа картографов и редукторов. Я пробовал с несколькими мапперами и редукторами, но я не виде
2ответа
4 голоса
Улей: UDF и GROUP BY
У меня есть UDF (GetUrlExt), который возвращает расширение. (например: jpg в /abc/models/xyz/images/top.jpg). Данные как показано ниже: Date Time TimeTaken uristem 9/5/2011 0:00:10 234 /abc/mode
4ответа
4 голоса
Ошибка подключения: <class 'thrift.transport.TTransport.TTransportException'> Не удалось подключиться к локальному хосту: 21000
Я пытаюсь установить Cloudera Impala на свой локальный компьютер (32-разрядная версия Ubuntu) без менеджера Cloudera (они не поддерживают 32-разрядную версию Ubuntu, я также пытался и не получилось)
3ответа
4 голоса
hive0.10.0 Исключение в потоке «main» java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit (BIZ) B
ты можешь мне помочь? Я использую улей 0.10.0 Улей > показывать таблицы; Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B at org.apache.h
1ответ
4 голоса
Как использовать scriptVariables в улье (AWS Data Pipeline)
Мы можем передать переменные скрипта в режим конвейера данных AWS, используя следующую конструкцию: "scriptVariable": [     "Param1 = значение1",     "Param2 = значение2"   ] Как мы можем полу
2ответа
4 голоса
есть ли в Hive функция, аналогичная декодированию в Oracle?
Я ищу строковую функцию, которая работает как Oracle DECODE Наличие таблицы tab с одним столбцом col col ---- a b c d С помощью простого запроса: select decode(col,'a',1,'b',2',9) dec from ta
2ответа
4 голоса
используя улей получил исключение java.lang.NoClassDefFoundError: org /apache /tez /dag /api /SessionNotRunning
после настройки hadoop Я мог бы запустить hdfs затем установите куст и отредактируйте файл conf, чтобы он по умолчанию работал на tez, но сталкиваемся с какой-то особой проблемой при прямом испол
4ответа
4 голоса
Спецификация раздела SemanticException {col = null} содержит столбцы без разделов
Я пытаюсь создать динамические разделы в улье, используя следующий код. SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mode = nonstrict; create external table if not exis
3ответа
4 голоса
создать улей внешнюю таблицу со схемой в искре
Я использую spark 1.6 и хочу создать внешнюю таблицу улья, как в скрипте улья. Чтобы сделать это, я сначала читаю разделенный файл avro и получаю схему этого файла. Теперь я остановился здесь, я не з
3ответа
4 голоса
Hive быстрее, чем Spark?
После прочтения Что такое куст, это база данных? Вчера один из коллег упомянул, что он смог отфильтровать таблицу 15B, соединить ее с другой таблицей, выполнив «группирование по», что привело к за
3ответа
4 голоса
Убивать запросы улья, не выходя из оболочки улья
Есть ли способ убить запрос улья, не выходя из оболочки улья? Например, я ошибочно запустил оператор select из некоторой таблицы, содержащей миллионы строк данных, я просто хотел остановить ее, но не
1ответ
4 голоса
Загрузка данных в таблицу кустов с несколькими кодировками
У меня возникают проблемы, когда у меня есть несколько файлов с разными кодировками, скажем, один файл содержит китайские наборы символов, а другой - французские наборы символов. Как я могу загрузит
1ответ
4 голоса
Сгруппировать, чтобы объединить несколько значений столбца в улье в один столбец
Я пытаюсь объединить несколько значений столбцов в один столбец в зависимости от группы по ключу. По сути, я буду использовать это для создания вложенного JSON с использованием API-интерфейса spark
1ответ
4 голоса
Что означает «вставить перезаписать локальный каталог» в Hive?
У меня возникли проблемы с пониманием того, что делает запрос следующего типа: insert overwrite local directory $directorey_name$ select $some_query$ Что это значит, и каковы побочные эффект
2ответа
4 голоса
Я изменил таблицу с помощью hiveql. Тогда не получилось показать таблицу с помощью spark-sql. ОШИБКА: путь не существует
Я изменил таблицу с помощью HiveQL. "ALTER TABLE new_law_area_2 RENAME TO law_area" Тогда я намеревался показать свою таблицу с помощью spark-sql. "SELECT * FROM law_area LIMIT 10" Но это
2ответа
4 голоса
Оператор куста Dataproc не запускает файл hql, хранящийся в хранилище
Я пытаюсь запустить hql-файл, присутствующий в облачном хранилище, используя скрипт airflow, есть два параметра, через которые мы можем передать путь к DataprocHiveOperator: Запрос: 'gs: //bucke
1ответ
4 голоса
Как лучше всего поддерживать типы столбцов массива с внешними таблицами в кусте?
Итак, у меня есть внешние таблицы данных, разделенных табуляцией. Простая таблица выглядит так: create external table if not exists categories (id string, tag string, legid string, image string, p
1 2 3 4 5

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132