aws-glue — все вопросы

2ответа
4 голоса
AWS Glue: Как добавить столбец с исходным именем файла в выводе?
Кто-нибудь знает, как добавить исходное имя файла в виде столбца в задании Glue? Мы создали поток, в котором мы сканировали некоторые файлы в S3, чтобы создать схему. Затем мы написали задание, к
2ответа
4 голоса
AWS Glue: сканер неправильно интерпретирует метки времени как строки. GLUE ETL, предназначенный для преобразования строк в метки времени, делает их пустыми
Я играл с AWS Glue для быстрой аналитики, следуя инструкции здесь Хотя мне удалось успешно создать сканеры и обнаружить данные в Афине, у меня были проблемы с типами данных, созданными сканер
1ответ
4 голоса
CloudFormation: способ определения активированного запланированного триггера Glue.
Я использую CloudFormation для определения ---- +: = 0 =: + ---- Связать триггер работы в соответствии с официальной документацией :Это работает как шарм, кроме одной вещи.Он определяет триггер задани
1ответ
4 голоса
Чтение паркетных файлов в AWS Glue
Я новичок AWS Glue, который пытается прочитать некоторые объекты паркета, которые есть у меня в S3, но у меня возникает ошибка ClassNotFoundException. Это моя попытка, основанная на минимальной доку
3ответа
4 голоса
работа по склеиванию соединения красного смещения: «Невозможно найти подходящую группу безопасности»
Я пытаюсь настроить работу AWS Glue и установить соединение с Redshift.Я получаю сообщение об ошибке при установке типа подключения Redshift:«Не удалось найти подходящую группу безопасности. Измените
1ответ
4 голоса
Проблемы создания клеевого соединения с MS SQL Server RDS
Я прочитал все ответы на вопросы здесь, 5 из них.И все они устарели о доступных продуктах AWS прямо сейчас.Поэтому, будучи новичком в AWS, я хотел бы знать, как решить мою проблему или как лучше всего
1ответ
4 голоса
AWS Glue преобразует структуру в динамический кадр
Я немного новичок в AWSGlue.Я работаю над преобразованием необработанного CloudWatch JSON в CSV с помощью AWSGlue.Сценарий преобразования довольно прост, однако документация и пример не кажутся исчерп
1ответ
4 голоса
Перезаписать файлы паркета из динамической рамки в AWS Glue
Я использую динамические рамки для записи файла паркета в S3, но если файл уже существует, моя программа добавляет новый файл вместо его замены.Предложение, которое я использую, таково:Есть ли что-ниб
1ответ
9 голосов
использование AWS Glue с Apache Avro для изменения схемы
Я новичок в AWS Glue и испытываю трудности с полным пониманием документов AWS, но мне приходится разбираться со следующим вариантом использования: У нас есть корзина s3 с несколькими файлами Avro

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132