Могут ли исполнители Spark появляться в уже запущенном Java-процессе (Ignite JVM)

Я работаю над проектом, в котором мне нужно поделиться состоянием выполнения с другим приложением spark.

Я решил использовать apache-ignite в качестве общего хранилища для разных приложений spark.

Я думал о переходе с встроенным режимом зажигания со статическим распределением в спарк, где узлы зажигания начнутся в процессе выполнения Spark. Таким образом, задачи будут выполняться в том же процессе, где присутствуют данные. Но этот режим устарел .

Я мог бы использовать автономное развертывание Ignite, но было бы взаимодействие между процессами, чтобы получить и сохранить состояние, которого я хочу избежать.

Есть ли способ сообщить Spark о создании своих исполнителей в уже существующем процессе (в данном случае Ignite nodeprocesses)?

Можно ли реализовать ExternalClusterManager для достижения этой цели?

Планирует ли Ignite ввести такой режим в будущем?

4 голоса | спросил Amar Gajbhiye 31 +03002018-10-31T09:52:47+03:00312018bEurope/MoscowWed, 31 Oct 2018 09:52:47 +0300 2018, 09:52:47

1 ответ


0
Ну, да, ваше общее направление разумно.Устаревшее встроенное развертывание Ignite, так сказать, внедрено «задом наперед» - когда вы встраиваете Ignite в Spark, оно работает плохо, но если мы встраиваем Spark в Ignite, оно будет работать лучше.Да, я предполагаю, что это будет возможно реализовать.Это, вероятно, может быть даже реализовано за пределами Ignite.Я не думаю, что в бэклоге Ignite есть какие-либо открытые проблемы, но вы можете поделиться своими предложениями в списке рассылки Ignite dev .А теперь основная часть.Все, что вы собираетесь достичь с помощью вашего предложения, - это заменить межпроцессное взаимодействие внутрипроцессным.Обычно общение на одном хосте не так уж и дорого.Вы могли бы увидеть некоторое увеличение производительности от этого, но я бы начал реализовывать это только в том случае, если бы были убедительные доказательства того, что это решит реальную проблему.
ответил Stanislav Lukyanov 1 42018vEurope/Moscow11bEurope/MoscowThu, 01 Nov 2018 18:04:08 +0300 2018, 18:04:08

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132