Apache Spark на Kubernetes: какие уроки можно извлечь из запуска миллионов исполнителей Spark +3
Публикации с тегом Spark
Автоматический подбор параметров для Spark-приложений +5
Realtime-матчинг: находим матчи за считанные минуты вместо 24 часов +35
Подводные камни Spark: что делать с перезаписью и дополнением в таблицах +7
Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных +15
Заметки дата-инженера: интеграция Kafka и PySpark -1
Количество партиций в Spark при инициализации Data API: DataFrame, RDD, DataSet +6
Что должен знать дата-инженер. Роадмап для джуниора +21
Как организовать потоковую обработку данных. Часть 1 +10
Параллельные вычисления в Apache Spark +6
Пять советов по исправлению перекошенных соединений в Apache Spark +2
Как реализовать магию Sqoop для загрузки данных через Spark +10
Ищем боттлнеки за 30 минут с помощью Jaeger трейсов +26
Варианты использования Java ML библиотек совместно с Spring, Docker, Spark, Rapids, CUDA +14
Как быстро разрабатывать сервисы обработки данных в реальном времени с помощью PySpark Structured Streaming и Kafka +3
