Материалы по теме 'bigdata' | DevsDay.ru

IT-блоги Материалы по теме 'bigdata'

IT-блоги Материалы по теме 'bigdata'


Разработка habr.com 2 февраля 2023 г. 14:00

Сегодня о подходе к управлению, основанному на данных, не говорит только ленивый. Кто уже имеет с этим дело в своей работе, предлагаем сразу переходить к разделу с описанием опыта Татарстана по управлению...... читать далее

Блог компании Команда Цифровой Трансформации Татарстана Big Data Открытые данные Хранение данных базы_данных данные данные пользователей данные в виртуальной среде data data analysis открытые данные анализ данных bigdata

Разработка dev.to 27 января 2023 г. 0:55

🐷📝 Basic commands to work with Pig in Notebooks 🔗Related content You can find post related in: 📀Google Colab You can find repo related in: 🐱‍🏍GitHub You can connect with me in: 🧬LinkedIn...... читать далее

bigdata datascience opensource analytics

Разработка habr.com 26 января 2023 г. 9:02

В России впервые в мире внедрили систему акустического мониторинга по волоконно-оптическим линиям на действующей автомобильной дороге протяженностью около 240 километров. Система позволяет в режиме реального времени отслеживать большое количество соб...... читать далее

Блог компании Haulmont Big Data Будущее здесь разработка разработка по bigdata haulmont kafka

Разработка dev.to 24 января 2023 г. 14:11

At OTA Insight we have been using BigQuery for many years as our main data warehouse for the massive amount of pricing data that we gather on a daily basis. Besides the hotel's pricing data and its derived datasets, BigQuery also contains other data...... читать далее

terraform googlecloud bigdata

Разработка dev.to 22 января 2023 г. 3:50

Apache Kafka was built for real-time. In programming we consider everything to be events. Now, events have states as well. But the primary idea is that the event is an indication in time that the thing took place. Now it’s a little bit cumbersome to...... читать далее

bigdata beginners programming tutorial

Разработка habr.com 18 января 2023 г. 9:07

Привет, Хабр! Меня зовут Марк Лебедев, работаю архитектором в GlowByte. В июне 2022 года на митапе DataPeople мы с командой рассказывали о наших планах в части GreenPlum (запись выступления). Если коротко, тогда мы сфокусировались на развитии open-so...... читать далее

Блог компании GlowByte Open source Big Data Хранилища данных greenplum большие данные glowbyte bigdata дашборд администрирование баз данных бд базаданных автоматизация хранилища данных

Разработка dev.to 16 января 2023 г. 2:05

🌟📝 Basic commands to work with Spark in Notebooks like a Standalone cluster 🔗Related content You can find post related in: 📀Google Collab You can find video related in: 📺YouTube You can find rep...... читать далее

python datascience bigdata cloud

Разработка dev.to 7 января 2023 г. 20:27

🐘📝 Basic commands to work with Hadoop in Notebooks 🔗Related content You can find notebook related in: 📀Google Collab You can find video related in: 📺YouTube You can find repo related in: 🐱‍🏍...... читать далее

python datascience bigdata cloud

Разработка habr.com 4 января 2023 г. 20:29

То, что данные называют нефтью 21 века известно уже давно: на них учатся нейросети, их мгновенная обработка и передача сильно упростили нашу жизнь, и одной из самых распространенных структур хранения данных является реляционная. Именно с ней знакомы...... читать далее

Big Data SQL Data Mining Программирование Машинное обучение sql postgresql bigdata data science

Разработка habr.com 29 декабря 2022 г. 12:27

Pandas - одна из наиболее используемых библиотек Python с открытым исходным кодом для работы со структурированными табличными данными для анализа. Однако он не поддерживает распределенную обработку, поэтому вам всегда придется увеличивать ресурсы, ко...... читать далее

Big Data Hadoop Python pandas pyspark bigdata hadoop spark нехватка памяти apache spark

Разработка habr.com 26 декабря 2022 г. 7:25

Современный агросектор очень восприимчив к инновациям. Big Data, автопилоты, искусственный интеллект, машинное обучение, автоматизация, роботы, агродроны — все эти технологии уже применяются в агросекторе, а потребность в специалистах и новых идеях т...... читать далее

Блог компании Россельхозбанк Научно-популярное Развитие стартапа Читальный зал Карьера в IT-индустрии рсхб рсхб-интех rshbdigital агротех агротехстартапы развитие бизнеса развитие стартапа персона искусственный интеллект bigdata

Разработка dev.to 19 декабря 2022 г. 12:52

19-Dec-2022 FLiP Stack Weekly Welcome to one of the last newsletters of 2022. It is a honor to receive recognition from my long term blog supersite DZone. Always the best place for #IoT, #BigData, #ML, #Streaming, #ML and other technolo...... читать далее

apachepulsar opensource apacheflink apachenifi

Разработка habr.com 15 декабря 2022 г. 7:30

Привет, Хабр! Меня зовут Ткачев Константин, и я работаю архитектором в Леруа Мерлен.В этой статье я хочу рассказать, как мы смогли, используя только open-source, построить систему работы с метаданными, которая позволила:- централизовать и унифицирова...... читать далее

Блог компании Леруа Мерлен Git Хранилища данных DevOps Data Engineering метаданные ci-cd хранилище bigdata

Разработка habr.com 13 декабря 2022 г. 6:28

Привет, Хабр! У этой статьи два автора – Василий Меньшаков и Алексей Кузнецов. Мы системные архитекторы развития платформы больших данных в X5 Tech. Решили поделиться своим опытом построения нового хранилища резервных копий для Greenpl...... читать далее

Блог компании X5 Tech Системное администрирование Администрирование баз данных Big Data Резервное копирование bigdata dba большие данные системное администрирование администрирование баз данных greenplum ceph cephfs резервное копирование backup

Разработка habr.com 6 декабря 2022 г. 8:41

Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с...... читать далее

Блог компании IBS SQL Администрирование баз данных Big Data Data Engineering clickhouse kafka database design bigdata

Разработка habr.com 29 ноября 2022 г. 9:53

В прошлом году передо мной встала задача собрать команду для разработки платформы обработки данных. Причём не только команды разработки самой платформы, но ещё и команды дата-инженеров, которые будут пользоваться этой самой платформой: писать конфигу...... читать далее

Блог компании OTUS Управление персоналом Карьера в IT-индустрии python bigdata найм data science

Разработка habr.com 20 ноября 2022 г. 22:58

Galactica — это большая языковая модель с открытым исходным кодом от Meta AI. Модель справляется с множеством научных задач, используя единую модель, выполняет логические рассуждения, создает конспекты лекций, прогнозирует цитаты и имеет ещё массу др...... читать далее

Big Data Open source Natural Language Processing Data Engineering Python nlp ml open-source meta ai git python bigdata science

Разработка habr.com 15 ноября 2022 г. 12:40

Данных много, а я один: трудовая рутина специалистов по диагностике и инженеров по надежности тесно связана с архивами SCADA, журналами дефектов и ремонтов, многостраничной документацией на оборудование. Однако работа с большими данными может быть эф...... читать далее

Блог компании Factory5 Data Mining Big Data Машинное обучение Data Engineering анализ данных промышленность предиктивная аналитика bigdata машинное обучение прогнозная аналитика machine learning цифровая трансформация цифровизация промышленности цифровизация бизнес-процессов

Разработка habr.com 11 ноября 2022 г. 12:14

Привет Хабр! Меня зовут Алексей. Вот уже несколько лет работаю аналитиком компании «Мегапьютер». Создаю проекты, анализирую огромные пласты информации, обрабатываю отзывы о продукте, компании, с внешних источников, автоматизирую поиск и обработку дан...... читать далее

Big Data Data Mining IT-компании Python аналитика данных аналитика проекта bigdata bi системы

Разработка dev.to 4 ноября 2022 г. 16:21

Introduction Hacktoberfest 2022 just ended and I have decided to share this adventurous experience with you. I had contributed to open source in previous hacktoberfests as well but this time it was different. This time I was preparing for it in Pre...... читать далее

hacktoberfest opensource community showdev