Массовая миграция данных через Spark SQL

В настоящее время я пытаюсь массово перенести содержимое очень большой таблицы MySQL в файл паркета через Spark SQL.Но при этом у меня быстро заканчивается память, даже если установить лимит памяти драйвера выше (я использую искру в локальном режиме).Пример кода:Похоже, Spark пытается прочитать все содержимое таблицы в память, что не очень хорошо сработает.Итак, как лучше всего выполнять массовую миграцию данных через Spark SQL?
7 голосов | спросил Josh Stone 19 PM00000090000000931 2016, 21:13:09

0 ответов


Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132