Недавно я очень заинтересовался Data Science и Data Engineering, особенно тем, как они сравнивают и дополняют друг друга.
Сначала я предположил, что Data Engineering – это подмножество Data Science. Но после долгих исследований я выяснил, насколько эти две сферы отличаются.
В этой статье я обсудю различия между Data Science и Data Engineering и основными задачами каждой отрасли.
«Data – это новое масло. Она ценна, но нерафинирована ее нельзя использовать». – Клайв Хамби
Что мы подразумеваем под данными?
Чтобы полностью понять взаимосвязь между Data Science и Data Engineering, вы должны понять одну вещь, которая увязывает их обоих: данные.
Данные – это слово, которое стало привычным в современном обществе, с таким количеством отчетов об утечке данных, ненадлежащем сборе данных крупными технологическими компаниями и т.д.
Данные – это информация, которая собирается и хранится в формате, который может быть обработан компьютером. Он может быть в различных формах, таких как цифры, текст, изображения и видео, и его можно собирать, хранить и анализировать, чтобы получить информацию и принять обоснованные решения.
Почему так многие компании хотят данные и что в этом особенного?
Данные важны для компаний, поскольку они позволяют им принимать обоснованные решения по своим операциям и стратегиям. Анализируя данные, компании могут получить представление о поведении своих пользователей. Тогда они могут использовать информацию, полученную от своих пользователей, чтобы сделать свои продукты гораздо более эффективными, желательными и полезными.
Ученые и инженеры по обработке данных — это люди, ответственные за сбор данных, предоставление им полезности, их анализ, получение информации и тенденций по ним. Они также передают информацию, которую они извлекли, руководству, чтобы разрешить принимать обоснованные решения. Теперь посмотрим, чем они отличаются.
Что такое Data Science?
Data Science была названа Самая сексуальная работа 21 века Harvard Business Review, и его претензии на титул законны.
Наука о данных – процесс использования научных методов, алгоритмов и систем для анализа и извлечения ценности из данных.
Другими словами, специалист по обработке данных — это лицо, ответственное за получение информации по данным и создание абстрактных математических моделей из данных, чтобы предотвратить прогнозирование.
Теперь давайте посмотрим на инженера данных.
Что такое Data Engineering?
Инженерия данных – это процесс проектирования, строительства и поддержки конвейеров и инфраструктуры, которые собирают, хранят, обрабатывают и анализируют данные.
Инженер обработки данных — это лицо, которое отвечает за то, чтобы данные, необходимые специалистам обработки данных, были доступны в правильном и точном формате.
Данные очень сложны и неупорядочены, когда их собирают. Для того чтобы специалисты по обработке данных могли эффективно получать из них представления, данные нужно предварительно обработать.
После того, как были сделаны выводы, специалисты по обработке данных формируют на основе данных абстрактную математическую модель, широко известную как модель машинного обучения. Чтобы развернуть и интегрировать продукт, эту абстракцию необходимо обработать.
Все эти задачи выполняют инженеры данных.
Отношения между специалистами по обработке данных и разработчиками данных – объяснение с помощью аналогии
Представьте, что вы сделали пари с другом на исходе футбольной игры. Но вы хотели исключить фактор удачи, всегда присутствующий в неосведомленных предположениях. Таким образом, вы можете быть уверены, что ваша команда выигрывает игру, а вы выиграете ставку.
Инженер по обработке данных собирал данные о двух командах, участвовавших в паре. Они будут рассматривать точки данных, такие как количество выигранных игр, коэффициент владения мячом за игру и результаты предыдущих столкновений между двумя командами. Затем они создали ETL конвейер, где данные собирались бы, очищались и хранились для специалиста по обработке данных.
Затем Data Scientist выполнит что-нибудь под названием Прогнозный анализ с помощью машинного обучения. Это означает, что специалист по обработке данных передает данные, подготовленные инженером по обработке данных, в алгоритм, который затем генерирует математическую абстракцию, которая называется Модель машинного обучения.
Затем модель машинного обучения предусматривала команду, которая, как ожидается, выигрывает ставку. И именно так, ваши предположения становятся не такими предположениями, а большими решениями на основе данных.
Резюме
Как вы, надеюсь, видите из этого описания специалистов по обработке данных и инженеров, ученый по данным похож на звездного футболиста, а инженер по обработке данных — на очень талантливого тренера игроков, который поддерживает их в форме и предлагает им тактику победы в игре.