Курс по Hadoop & Spark

Станьте экспертом по самым востребованным инструментам Big Data
Онлайн
из любой точки мира
27 июня
дата старта
3 месяца
длительность обучения
Научитесь администрировать кластер Hadoop и использовать Spark для обработки данных
Сегодня инструменты экосистемы Apache Hadoop стали де-факто стандартом для построения надежных масштабируемых хранилищ данных с распределенной обработкой big data. Построением архитектуры data lake и работой с потоками данных чаще всего занимаются инженеры данных. По версии кадрового агентства Glassdoor, профессия Data Engineer входит в топ10 в рейтинге самых лучших профессий Америки.

Этот курс ориентирован на практику и освоение необходимых компонент экосистемы Hadoop, подходит для тех, кто имеет знания по SQL, Linux и опыт разработки.

За 3 месяца вы повысите свой профессиональный уровень и научитесь администрировать, настраивать и сопровождать data lake на базе Hadoop, а также решать задачи по распределенной обработке данных на Spark.
Забронируйте место на курсе сегодня
и получите скидку на обучение

Для кого этот курс
Этот курс рассчитан на инженеров данных, администраторов БД, системных архитекторов и аналитиков данных, а также на разработчиков, которые хотят повысить свой профессиональный уровень и освоить систему Apache Hadoop.

Для прохождения курса вам нужно обладать знаниями SQL и Linux, иметь опыт программирования на одном из языков (Python, Java, C++).

Обучение потребует от вас около 6-8 часов в неделю и позволит вам шаг за шагом освоить основные навыки для обработки больших данных на платформе Hadoop: настройка и администрирование кластера, работа с разными типами файлов, построение процессов сбора и обработки потоковых данных в data lake.
Программа курса
HDFS и MapReduce
Знакомимся с архитектурой файловой системы HDFS. Изучаем систему и компоненты MapReduce и YARN.

— 2 недели, 5 часов в неделю
— Лабораторная работа
— 4 задания для практики
— Подборка дополнительных материалов
— Помощь экспертов и ментора
Администрирование кластера
Развертываем и конфигурируем кластер Hadoop. Настраиваем производительность и мониторинг. Управление кластером с помощью Cloudera Manager.

— 3 недели, 6 часов в неделю
— Лабораторная работа
— 5 заданий для практики
— Подборка внешних инструментов для дополнительной практики
— Помощь экспертов и ментора
Импорт/экспорт данных в Hadoop
Изучаем разные форматы хранения данных и интеграцию с SQL и noSQL. Учимся работать с Hive и Impala. Используем Kafka для импорта больших объемов разных данных. Строим dataflow с помощью NiFi или Flume. Пайплайны на Airflow.

— 4 недели, 6 часов в неделю
— 3 лабораторных работы
— Построение пайплайна данных
— 6 задач для практики
— Подборка дополнительных материалов и инструментов
— Помощь экспертов и ментора
Apache Spark
Знакомимся с Apache Spark: RDD и datasets. Интеграция Spark с Hadoop. Потоковая обработка данных в Spark Streaming.

— 3 недели, 6 часов в неделю
— 2 лабораторных работы
— 4 задачи для практики
— Подборка дополнительных материалов
— Помощь экспертов и ментора
Отзывы о наших курсах по большим данным
Как проходит обучение
Изучаете материал по теме
Вы сможете проходить обучение из любой точки планеты. Новые модули будут открываться раз в неделю
Выполняете практические задания
Все практические задания — это реальные задачи по сбору и анализу больших данных.
Помощь преподавателя и коллектива
Вы будете получать поддержку наставников и постоянно общаться со своими сокурсниками в специальных каналах в Slack
Финальная лабораторная работа
В конце курса вас ждет финальная лабораторная работа, в которой вы сможете применить все полученные навыки
Получить программу
Жизнь на курсе
Уроки с упором на практику

Вы не просто изучаете теорию, а учитесь применять инструменты в реальных задачах. После обучения сможете сразу использовать навыки администрирования и настройки, а не разбираться с тем, как приспособить знания к жизни.

Уроки доступны на онлайн платформе, для вдумчивого изучения в любое время.


Помощь преподавателя и коллектива

Если что-то не получается, вы не остаетесь один на один с трудностью. Рядом преподаватель, который поможет разобраться с проблемой.

Учиться в коллективе лучше, когда видишь успехи остальных. Если у кого-то получается лучше, это подстегивает к более активным действиям. Если получается лучше остальных, то вы помогаете коллегам.
Общаемся и помогаем друг другу в Slack

Для курса создается сообщество в Slack. В нем участники делятся впечатлениями и решениями задач, спрашивают совета, а преподаватель всё подробно разъясняет.


Делаем домашние задания

Тут все очевидно: чтобы научиться, нужно практиковаться. Дома вы делаете задания, а преподаватель и сокурсники вам в этом помогают.
На курсе обучение не заканчивается
Сертификат о прохождении курса
Помощь с трудоустройством и стажировкой
Готовый код и пайплайны для портфолио
Тусовка специалистов и полезные знакомства
Среди наших студентов сотрудники компаний
Запишитесь на курс
Стоимость обучения

currentPrice basePrice
priceComment


Можно в рассрочку на 4 месяца
installmentPrice в месяц
Рассрочка от Яндекс.Кассы → Подробнее
27 июня
дата старта
Онлайн
формат обучения
3 месяца
длительность обучения
Как получить скидку на обучение?
Оплатите курс целиком
При оплате курса целиком вы экономите
10-20%
Обучение за счет работодателя
У нас есть возможность оплаты обучения работодателем. Для запроса документов заполните форму или напишите на почту
Реферальная программа
Вы можете получить скидку 20%, пригласив друзей на наши курсы.
Программы лояльности
После оплаты одного из курсов вы получаете скидку на другой курс
Быстрая оплата
Внесите предоплату за курс в размере 5000руб в течение 3х дней после регистрации и получите скидку
Репост
Поделитесь ссылкой на курс у себя в соц.сетях и получите скидку 5%
* Подробности уточняйте у менеджера
Часто задаваемые вопросы
Что такое Apache Hadoop?
Apache Hadoop - это open source проект для распределенного хранения и обработки больших массивов данных.
Зачем это мне?
Apache Hadoop де-факто стал самым популярным решением для организации распределенного хранилища данных и для обработки данных для задач data science.

По версии кадрового агентства Glassdoor, профессия Data Engineer входит в топ10 в рейтинге самых лучших профессий Америки.

Спрос на таких специалистов высокий и будет увеличиваться. На сайте Headhunter в Москве постоянно открыто около 100 вакансий на Data Engineer. Средняя зарплата такого специалиста 150000 руб в месяц.
Для кого этот курс
Курс предназначен для инженеров данных, администраторов БД, системных архитекторов и аналитиков данных, а также на разработчиков, которые хотят повысить свой профессиональный уровень и освоить систему Apache Hadoop. Для прохождения курса вам нужно обладать знаниями SQL и Python, быть знакомым с Linux.
Что потребуется для успешного обучения
Компьютер с установленным Python (мы дадим инструкцию и поможем с установкой). Около 5-6 часов в неделю и желание получить новые знания.
Я стану гуру Data Engineering?
Область Big Data — бесконечная, требующая постоянного самообразования и отслеживания новых технологий. Вы пройдете от точки «я ничего не знаю» до точки «я решаю задачи по Data Engineering и знаю, где это применить и как развиваться дальше».
Чем вы лучше бесплатных курсов
Основной ответ такой — наш курс не является заменой бесплатным онлайн-курсам. Напротив, такие онлайн-курсы — это очень хорошо и полезно. Но у наших курсов есть неоспоримые преимущества: фокус на практике, помощь преподавателя и поддержка группы.

Вы будете учиться по принципу одно занятие = одна задача. Вместе с опытным специалистом по инжинирингу данных вы пройдете все этапы извлечения, обработки, загрузки, хранения, очистки, доставки данных.

Если вы столкнетесь с проблемой при выполнения задания, вам всегда будет, к кому обратиться: вы сможете получить совет от одногруппников и помощь преподавателя в закрытом сообществе в Slack.
Это действительно востребовано?
Да. Убедитесь в этом, посмотрите статистику Hadoop на русскоязычных и зарубежных кадровых сайтах