Первый публичный выпуск распределённой файловой системы JuiceFS | DevsDay.ru

IT-блоги Первый публичный выпуск распределённой файловой системы JuiceFS

OpenNET 13 января 2021 г. Максим Чирков


После четырёх лет разработки компания Juicedata, созданная при поддержке двух крупных китайских венчурных фондов, опубликовала первый публичный выпуск POSIX-совместимой распределённой файловой системы JuiceFS, которая может быть развёрнута поверх СУБД Redis или хранилищ объектов, поддерживающих API Amazon S3. JuiceFS развивается как промежуточное решение, позволяющее упростить адаптацию любых приложений для работы в облачной инфраструктуре, благодаря возможности работать с хранилищами объектов как с традиционными ФС. Код проекта написан на языке Go и распространяется под лицензией AGPLv3.

Архитектура JuiceFS подразумевает использование СУБД Redis для хранения метаданных, определяющих структуру ФС и параметры отражения блоков данных в облачные хранилища. Файловая система реализована в пространстве пользователя с использованием механизма FUSE. Каждый файл разбивается на логические цепочки размером 64 МБ, которые в свою очередь разделяются на более мелкие блоки, которые после шифрования (опционально) и сжатия записываются в хранилища объектов.

Основные особенности JuiceFS:

  • Полная совместимость с POSIX, для приложений хранилище выглядит как традиционная файловая система.
  • Высокая производительность, отзывчивость на уровне нескольких миллисекунд и гибкие возможности по расширению. По скорости выполнения операций с метаданными, а также последовательного чтения и записи, JuiceFS на порядок опережает Amazon EFS и FUSE-модуль S3FS.
  • Поддержка архитектуры Cloud-Native с независимым масштабированием хранилища и вычислительных компонентов. На базе JuiceFS может создаваться единое общее хранилище для облачных сервисов.
  • Поддержка создания совместных хранилищ для одновременных операций чтения и записи от большого числа клиентов. На базе JuiceFS также можно легко развёртывать хранилища для резервных копий или накопления больших объёмов аналитических данных.
  • Глобальные файловые блокировки с поддержкой flock (BSD-блокировки) и fcntl (POSIX-блокировки).
  • Встроенная возможность хранения данных в сжатом виде: по умолчанию используется алгоритм LZ4 и опционально доступен Zstd.
  • Обеспечение отказоустойчивости через и избыточное хранение копий данных в разных хранилищах объектов.
  • Для хранения объектов могут использоваться локальный диск, СУБД Redis, Ceph RGW, MinIO, облачные сервисы Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud Object Storage Service (OSS), Tencent Cloud Object Storage (COS) и QingStor Object Storage.

Помимо JuiceFS, компания Juicedata также развивает открытый инструментарий JuiceSync, позволяющий реплицировать данные между разными хранилищами на базе локальных ФС, sftp, HDFS и облачных сервисов хранения объектов AWS S3, Google Cloud Platform GCS, Microsoft Azure Block Storage, Aliyun OSS, Tencent Cloud COS, UCloud UFile, Qingyun QingStor, KingSoft Cloud KS3, Baidu Cloud BOS, JDCloud Object Storage, Qiniu, Backblaze B2 и Digital Ocean Space.

Источник: https://www.opennet.ru/opennews/art.shtml?num=54396

Источник: OpenNET


Читайте также


Изучение React в 2021 году: 7 навыков, которыми стоит овладеть

Разработка techrocks.ru 20 января 2021 г. 5:11
Разбираем ключевые вещи, на которых нужно сосредоточиться, чтобы начать создавать крутые приложения и стать востребованным разработчиком. Запись Изучение React в 2021 году: 7 навыков, которыми стоит овладеть впервые появилась Techrocks.... читать далее
Обучение primary

What Makes Up the Backbone of Website Development

Разработка DZone Web Dev 20 января 2021 г. 3:21
Developing a website isn’t much different than building a house. In order to do so, experts in engineering, design/architecture, project management, creative, and development must work together to understand and achieve specific goals. First, let’s d...... читать далее
web dev website design website development ux ui

Разработка DZone Web Dev 20 января 2021 г. 2:32

Just a few days before Christmas, I came along the NestJs framework. I always wanted to give NodeJs development a try, but the idea of a JavaScript backend seemed to keep me away. NestJs is a framework for building Node.js server side applications a...... читать далее

tutorial web dev angular nodejs nestjs

DevOps linuxhint.com 20 января 2021 г. 2:27

A queue in C++ is a list data structure wherein the first element placed on the list is also the first element removed. Priority queue in C++ works similarly. Their difference is that C++ priority_queue has ordering. Learn how to use the C++ priority...... читать далее

C++

SEO biznology 20 января 2021 г. 0:05

Distribution strategy, despite being one of the fabled 4 P’s (“Place”), has traditionally been outside the direct purview of B2B marketers. It’s time for a change. The severe disruption in distribution value... The post Why Distribution Str...... читать далее

Consultants Collective Corner business advice Business and Economy distribution e-Commerce leadership skills partnerships technology processes

DevOps DZone DevOps 19 января 2021 г. 22:50

Introduction  Magento 2 eBay has prospective buyers eager to buy something and, being the most popular online marketplace, it is filled. If you have the desired goods with preferable conditions, you will increase revenue dramatically with the he...... читать далее

amazon magento magento 2 ebay amazon advertising magento 2 extension ebay and magento ebay business magento 2 app magento 2 plugin

DevOps DZone DevOps 19 января 2021 г. 22:21

Golang is probably one of the simplest programming languages to read and understand, but not all code written in Go is simple. As it goes, anyone can write complex things by composing together simple stuff, in ways that make no sense. Writing Go can...... читать далее

tutorial code quality golang static analysis tools golang developers golang development tools golang tutorials golang vulnerabilities

Популярные темы

ux (343) новости (334) design (304) новость (203) javascript (191) web dev (189) ux-design (189) ubuntu (183) devops (183) headline (180) security (175) python (172) seo (134) tutorial (130) ui (121) статьи (110) user-experience (102) programming (96) testing roundup (92) software testing (89) product-design (85) дизайн (83) дайджесты вакансий от new.hr (83) working in tech (81) design-thinking (79) игровые проекты (78) java (78) api5 (76) google (74) primary (73) ui-design (69) прочее (67) laravel (65) windows 10 (65) технологии (63) php (62) бизнес (60) hardware (59) uncategorized (55) technology (53) мероприятия (52) обучение (52) движки и конструкторы игр (51) español (51) работа (49) css (48) турбо-страницы (47) case-study (46) covid-19 (46) web design and applications (46) debian (46) android (45) docker (44) навыки алисы (43) обзоры (43) angular (42) publication (42) bash programming (41) cloud (41) inspiration (40) инструкции (40) machine learning (40) ux-research (40) data (40) chrome (39) web (39) home page stories (39) job hunting (39) art (39) networking (38) wp (38) маркетинг (37) kali linux (37) vue.js (36) aspnet (36) тестирование (36) автоматизация (36) полезное (36) .net (35) powershell (35) кейсы (35) wordpress (35) google ads (35) events (35) tutorials (34) arch linux (34) productivity (33) linux mint (33) разработчики (33) навыки (33) api (32) события (32) apple (32) marketing (32) windows (32) dotnet (32) freebsd (32) интервью с экспертами (31) virtual reality (31) system administration (31)