Кто вы в мире Data Science?

Развитое аналитическое мышление — первый навык Data Analyst. Умение работать с базами данных и SQL, владеть математической статистикой, решать задачи с помощью Google Таблиц— базовые компетенции аналитика данных. Ещё от аналитиков обычно ожидают, что они разбираются в бизнесе и экономике.

Аналитики работают с большими объемами данных: они собирают информацию разных форматов, в том числе из интернета; создают отчеты, регулярно обновляют данные.

Какие это данные: информация о ваших конкурентах, пользователях и потенциальных партнерах. Как правило, аналитики разбираются в том, что такое «парсинг», «работа с API» и «скрипты».

Часто от аналитиков ожидают, что они умеют работать с базами данных, парсить веб-страницы, общедоступные профили соцсетей, работать с открытыми API сервисами Яндекса и Google. Еще важно уметь автоматически обновлять отчеты, работать с ошибками кода. И, конечно, нельзя обойтись без умения визуализировать данные при помощи графиков и гистограмм.

Дата-инженеры — это специалисты, которые собирают данные из разных источников, очищают их и передают в удобном виде аналитикам для принятия бизнес-решений. Важно уметь разрабатывать, строить, тестировать и поддерживать архитектуры данных: крупные базы данных или системы для обработки данных.

Data Engineering — это работа с сырыми данными, которые могут содержать всякого рода ошибки и едва ли могут быть использованы исследователями данных для анализа и систематизации. До этого этапа дата-инженеру необходимо построить надёжные пайплайны предобработки данных.

От дата-инженеров ожидают, что они знают типовые архитектуры, инженерию и их языки, знакомы с основами работы с моделями СУБД, умеют описывать модели данных в СУБД. Обычно дата-инженеры знают, что такое "озеро данных" и DWH, умеют работать со стеком AWS и умеют моделировать гетерогенные хранилища, а также интегрировать разнородные компоненты и создавать конвейеры по обработке данных. Подготовка витрин данных для BI-решений — также важный навык дата-инженера

Чем занимаются аналитики? Они обрабатывают данные и составляют на их основе стратегии и планы, а также рекомендации к дальнейшим действиям. С помощью анализа руководители могут быстрее принимать решения, основанные на актуальной информации. Кроме того, аналитика помогает быть готовыми к диалогу с экспертами.

Сегодня Data-driven подход набирает обороты. Аналитик данных помогает бизнесу принимать верные решения на основе данных. Профессия наиболее востребована среди IT-компаний, финансовых организаций, компаний сферы продаж и услуг.

Аналитики нужны во всех сферах бизнеса: от маркетинга и продаж до разработки продуктов, от финансов до управленческих решений. Только за последнюю неделю на HH.ru открылось более 1500 вакансий аналитика, при этом инструменты нужны и для многих других позиций.

Яндекс, Сбербанк, Mail.ru, Ростелеком, РЖД и многие другие компании ищут специалистов по аналитике. Ритейл, киберспорт, путешествия, образование, медицина — грамотный анализ данных нужен вне зависимости от индустрии.

Исследователи машинного обучения и deep learning знают всё об алгоритмах как классического машинного обучения, так и о новых state-of-the-art решениях. Используют теорию дискретной оптимизации для минимизации ошибки алгоритмов. Зачастую умеют специфические знания присущие таким разделам машинного обучения как компьютерное зрение, обработка запросов на естественном языке, а также обучение с подкреплением. Их фокусом становятся сверточные нейронные сети для решения задач компьютерного зрения и рекуррентные нейронные сети для анализа естественного языка.

Обычно ML/DL исследователи могут разработать с нуля диалоговые AI-сервисы, описать модели а алгоритмы, для передачи в команду разработки. Важно уметь воспроизводить алгоритмы описанные в научных статьях, проверять собственные гипотезы, создавать прототипы и новые ML-архитектуры.

Machine Learning и Deep Learning — важные блоки внутри Data Science.

Важно разбираться в математике, математическом анализе и статистике, знать принципы математических алгоритмов, современные библиотеки машинного обучения, основы feature engineering и критерии качества моделей — для того, чтобы применять это на практике. ML/DL инженеры могут имплементировать алгоритмы разработанные исследователями, применять основные методы предобработки данных, умеют валидировать модели и оценивать качество алгоритмов.

Инженеры Machine и Deep Learning должны знать основные следующие модели машинного обучения:

- линейная и логистическая регрессия;
- деревья решений и случайный лес;
- градиентны бустинг над деревьями решений.

Они знают границы применимости данных моделей, и в случае чего улучшить качество модели за счет различных способов, например регуляризации.

Разработчики в Data Science умеют программировать на одном или нескольких языках — как правило, высокоуровневых (Python, Java, Matlab или R). Также не обойтись без знания статистики, математического анализа, пользоваться системами для анализа данных.

Обычно ожидается, что эти специалисты оборачивают результаты инженеров и аналитиков в сервисы для пользователей.