Материалы по теме 'bigdata' | DevsDay.ru

IT-блоги Материалы по теме 'bigdata'

IT-блоги Материалы по теме 'bigdata'


Разработка habr.com 4 августа 2021 г. 14:36

Когда данных накапливается очень много, и их начинают запрашивать самые разные системы, управление информацией становится критически важной задачей. В этом посте мы расскажем, как в нашей компании появилась такая задача и почему мы решили создавать х...... читать далее

Блог компании М.Видео-Эльдорадо Хранение данных Хранилища данных Читальный зал СХД М.Видео Эльдорадо М.Каталог разработка данные ML bigdata

Разработка dev.to 3 августа 2021 г. 5:20

Sharing my experience of how I am running the Twitter Bot on AWS for almost free using AWS serverless technologies. Social Bot is nothing but a program that mimics the behaviours of a user based on the rules you set. Twitter is one of the BOT frien...... читать далее

twitter python aws

Разработка dev.to 30 июля 2021 г. 15:23

Cover Photo by Javier Miranda on Unsplash Databases are one of those abstract, mysterious things that "just work" when you run an insert statement, where's the data stored?. How is it stored? Why are queries so fast? What's underneath the black box...... читать далее

database bigdata distributedsystems

Разработка dev.to 17 июля 2021 г. 6:37

Exploratory data analysis is one of the most important step for any data science project. In today's session we will be performing data analysis of titanic dataset. To do so, we will be using the Pandas, Seaborn and Matplotlib library. You can downlo...... читать далее

python datascience machinelearning bigdata

Разработка habr.com 16 июля 2021 г. 6:05

Обозначим задачу: есть пайплайн, написанный с привычными для Data Scientist фреймворками типа Scikit-learn. Это нужно перенести в кластер Spark’а. Кажется, в чем тут может проблема? Андрей Гаврилов работает в компании EPAM software инженером и з...... читать далее

Блог компании Конференции Олега Бунина (Онтико) Python Алгоритмы Машинное обучение Data Engineering python spark data science алгоритмы bigdata эксперименты machine learning scikit-learn pyspark data scientist

Разработка habr.com 15 июля 2021 г. 15:20

Привет, Хабр! Современный высокотехнологичный бизнес немыслим без глубокой аналитики и отработки гипотез с помощью ML. Однако это накладывает особые требования на качество данных: все мы знаем, что ерунда на входе = ерунда на выходе. Прекрасно понима...... читать далее

Блог компании Datafold Восстановление данных Big Data Машинное обучение Data Engineering bigdata dbt data analysis data science бигдата дата инженер стартапы; команда; опыт diff машинное обучение качество данных (data quality)

Разработка habr.com 25 июня 2021 г. 10:31

Ни для кого не секрет, что область Data Science сегодня горяча, работы полно, рук не хватает, а 300 кк/сек можно начать зарабатывать даже раньше, чем конкуренты пройдут курсы по саморазвитию и созданию своего бизнеса от обладателей сел...... читать далее

Блог компании X5 Retail Group Python Big Data Карьера в IT-индустрии Data Engineering ритейл bigdata стажировка датасайнс python машинное обучение mlcourse_open ml a/b тестирование sql

Разработка habr.com 25 июня 2021 г. 6:50

При масштабной работе с Apache Kafka вы рано или поздно столкнетесь с проблемой доступного дискового пространства, темпами роста тем или общими вопросами использования диска. Это особенно актуально при работе с внешними источниками - вне вашего прямо...... читать далее

Блог компании Cloudera Big Data Визуализация данных Хранилища данных Data Engineering cloudera kafka kudu bigdata tableau impala

Разработка habr.com 20 июня 2021 г. 11:34

Всем привет! Меня зовут Александр и я пишу код для 2ip.ru. За добрую половину сервисов можно пинать меня, готов отбиваться. Cегодня я хочу немного рассказать про переделку одного нашего старого сервиса. Это конечно не "big data", но всё равно довольн...... читать далее

Высокая производительность Разработка веб-сайтов MySQL Go Big Data go mysql linux партиционирование bigdata краулинг 2ip.ru

Разработка dev.to 19 июня 2021 г. 23:25

While designing a scalable system, one of the most important aspects is defining how the data will be partitioned and replicated across servers. Let's first define partitioning and replication so that we are on the same page. Data partitioning: It...... читать далее

distributedsystems bigdata career architecture

Разработка dev.to 19 июня 2021 г. 5:34

Disclosure: This post includes affiliate links; I may receive compensation if you purchase products or services from the different links provided in this article. Hello guys, if one of your goals is to learn Big data in 2021 but you are not sure whe...... читать далее

java bigdata spark programming

Разработка habr.com 16 июня 2021 г. 15:31

Когда в X5 Group начали развивать BigData, то помимо самой DMP платформы и BI-аналитики, в компании стали активно запускать цифровые продукты, построенные на основе  больших данных, использующие сложную аналитику и машинное обучение. Для примера...... читать далее

Блог компании X5 Retail Group Python Big Data Карьера в IT-индустрии Data Engineering data data science data engineer дата саентист дата сайенс python data quality software engineering data analyst data analysis

Разработка habr.com 15 июня 2021 г. 7:10

Паша Финкельштейн — разработчик, серийный спикер, автор и ведущий нескольких подкастов. На конференции Java Meeting Point он сделает доклад «Spark: let's touch it», на котором познакомит участников с миром больших данных. В этом интервью Паша ра...... читать далее

Блог компании DINS Java Big Data Конференции Интервью java конференция bigdata spark интервью

Разработка dev.to 11 июня 2021 г. 4:22

With colossal data serving as the lifeblood of organizations, the value placed on data cannot be adequately expressed in words. Data has risen to prominence in virtually every field imaginable over the years. This is why everyone aspires to work in...... читать далее

datascience bigdata

Разработка habr.com 8 июня 2021 г. 18:23

Привет, Хабр! Команда ВТБ запустила серию подкастов о передовых решениях финтеха «Деньги любят техно». Журналист, технологический обозреватель Марина Эфендиева будет обсуждать с экспертами банка, рынка, учеными и бизнесменами перспективы и сложности...... читать далее

Блог компании ВТБ Big Data Искусственный интеллект Финансы в IT Data Engineering data science подкасты bigdata финтех кибербезопасность искусственный интеллект защита данных

Разработка dev.to 8 июня 2021 г. 6:04

In this article, we explore how scraping LinkedIn data can lead to a significant competitive edge in business intelligence for any company. Introduction to Open Web, External Data In an era of digitization, data is becoming the core comp...... читать далее

bigdata webscraper datascraper linkedin

Разработка dev.to 7 июня 2021 г. 14:37

This post was originally published in adityasridhar.com In this article we will see how kafka can be setup without using zookeeper. We will setup a 3 node kafka cluster and create a test topic. We will use a kafka producer to produce data into the t...... читать далее

kafka tutorial beginners bigdata

Разработка habr.com 2 июня 2021 г. 16:19

Представьте, что вы, например, bitly — то есть очень большой сервис сокращения ссылок. И вот, вы хотите скопировать свои 150 ТБ сжатых данных с одного физического кластера на другой, новый. Чтобы сделать это, вы запускаете distcp из набора инструмен...... читать далее

Блог компании SkillFactory Настройка Linux Сетевые технологии Big Data DevOps skillfactory bigdata devops hadoop сеть контроль трафика linux tc сетевые технологии кластеры

Разработка dev.to 1 июня 2021 г. 18:51

Big data has been growing as topic for a while now and it is obvious that data is powerful. Data is indeed the new oil. Any business out there is investing in data research. There are many terms nowadays that describe data and how it is organized. A...... читать далее

aws terraform awsdatalake bigdata

Разработка habr.com 31 мая 2021 г. 15:16

Внимание! Если данная статья наберет 1000 положительных голосов, то я организую хакатон по алготрейдингу с ценными призами.Предыдущая статья о "Расчете дневного изменения цены" тут: https://habr.com/ru/post/559654/Когда я писал прошлую статью (она бы...... читать далее

Python Алгоритмы Big Data Финансы в IT алготрейдинг алгоритмы python bigdata анализ данных временные ряды торговые роботы торговые стратегии торговля на бирже северсталь