В прошлом году передо мной встала задача собрать команду для разработки платформы обработки данных. Причём не только команды разработки самой платформы, но ещё и команды дата-инженеров, которые будут пользоваться этой самой платформой: писать конфигурации дата-пайплайнов и наполнять дата-лейк данными. И ещё были нужны аналитики данных, кто бы разбирался в предметных областях и понимал о чём те или иные таблицы. А так как данных много (пару тысяч таблиц) понадобились дата-сайентисты, кто бы не просто мог ответить на вопрос о качестве данных, но и предложить как это качество данных проверять на масштабе нескольких тысяч таблиц, нескольких сотен дата-пайплайнов и нескольких сотен гигайбайт данных каждый день.
Начну с темы найма. Найма питонистов всех мастей.
Завораживающие предисловие, не правда ли?
Прошло почти два года со старта проекта, и я готов подвести некоторые итоги и поделиться опытом.
Читать далее про разных питонистовИсточник: habr.com
Наш сайт является информационным посредником. Сообщить о нарушении авторских прав.
Блог компании OTUS Управление персоналом Карьера в IT-индустрии python bigdata найм data science