12 Хранение данных как услуга ГОСТ Р 70860—2023

12.1 Общие положения ГОСТ Р 70860—2023

Смысл облачных вычислений заключается в предоставлении облачных сервисов, которые в итоге основаны на инфраструктурных ресурсах трех типов: вычислительных ресурсах, ресурсах хранения данных и сетевых ресурсах. Здесь рассматриваются облачные сервисы, которые предлагают ресурсы хранения данных.

Технологии ВМ и контейнеров, описанные в разделах 6 и 7, предлагают вычислительные ресурсы, т. е. средства выполнения ПО в виртуализированной среде определенного типа. Некоторые функциональные возможности хранения данных связаны как с ВМ, так и с контейнерами. Существуют связанные с ними файловые системы, которые содержат файлы, представляющие ПО и непосредственно связанные с ним конфигурацию и метаданные, и эти файловые системы также, как правило, требуются для поддержки выполнения ПО.

Однако необходимо понимать, что файловые системы, связанные как с ВМ, так и с контейнерами, по сути, имеют быстротечный характер, поскольку они появляются в момент создания ВМ или контейнера и исчезают, когда та же ВМ или контейнер останавливаются и удаляются. Это означает, что такие файловые системы не могут быть использованы для долгосрочного хранения информации. Они также не могут быть использованы для информации, которая должна быть доступна нескольким разным ВМ или контейнерам, поскольку файловые системы внутри ВМ или контейнера являются изолированными.

Долгосрочное хранение информации обеспечивается с помощью модели DSaaS. Сервисы DSaaS предлагают возможности хранения данных различных типов и эти функциональные возможности могут быть предложены как системам потребителя облачной службы, так и другим облачным сервисам. Сервисы DSaaS основаны на ресурсах хранения данных поставщика облачной службы, доступ к которым обычно осуществляется по сети через API. В некоторых случаях сервис DSaaS рекомендуется разместить вместе с вычислительным сервисом, чтобы устранить задержки в работе сети [из 12.1 Общие положения ГОСТ Р 70860—2023]

12.2 Общие характеристики сервисов DSaaS ГОСТ Р 70860—2023

DSaaS позволяет пользователям хранить и извлекать информацию в любом месте и в любое время при наличии подключения к сервису DSaaS. Сервисы DSaaS поддерживают масштабируемость с точки зрения объема хранимой информации и обладают надежностью с точки зрения доступа к информации из любого типа приложений независимо от систем или устройств, на которых эти приложения работают.

Приложения и системы используют DSaaS для доступа к облачному хранилищу через соответствующие протоколы. Эти протоколы могут поддерживать географически удаленные ресурсы хранения и поддерживать виртуализацию используемых мест хранения, так что при необходимости резервное или реплицированное хранилище становится доступным для обеспечения устойчивости к точечным сбоям.

Сервисы хранения данных имеют следующие общие отличительные особенности:

а) долговечность. Данные хранятся в одном или нескольких местах, контролируемых поставщиком облачной службы. Сервисы DSaaS должны обеспечивать хранение данных без потери информации в связи со стихийными бедствиями, человеческим фактором или техническими ошибками. Для этого можно сделать несколько реплик или резервных копий данных, которые могут предлагаться как часть сервиса или могут быть реализованы потребителем облачной службы с использованием функциональных возможностей сервиса DsaaS;

б) доступность. Сервисы DSaaS обеспечивают хранение и извлечение данных по запросу для удовлетворения потребностей приложений и систем потребителя облачной службы;

в) безопасность. Сервисы DSaaS должны надежно хранить информацию. В частности, несанкционированный доступ к данным потребителей сервиса облачных вычислений должен быть невозможен. Желательно обеспечить шифрование данных, хотя эту задачу может выполнить потребитель облачной службы, поскольку шифрование связано с затратами и снижением скорости работы;

г) фиксированные затраты. При использовании DSaaS заказчик обычно платит только за фактически используемые ресурсы для хранения данных. Для некоторых сервисов DSaaS информация, которая используется реже, может храниться в более дешевых системах хранения данных, которые, в связи с невысокой стоимостью, могут обеспечить не такую высокую скорость доступа к данным;

д) широкие возможности для управления. DSaaS поставщика облачной службы располагает политиками и процессами управления жизненным циклом хранения данных, которые позволяют пользователям и разработчикам сосредоточиться на решении прикладных задач и не беспокоиться об управлении информацией.

DSaaS, как показано в таблицах 1 и 2, можно разделить по типу хранения и по категории сервисов. Каждый сервис хранения имеет один или несколько сервисных интерфейсов, таких как драйвер блочного устройства, интерфейс файловой системы или API хранилища объектов, которые используются клиентским ПО. Эти API работают через сеть, поскольку в большинстве случаев предполагается, что функциональные возможности для хранения данных существуют в системе, отличной от системы, на которой запущено клиентское ПО.

Таблица 1 — DSaaS по типу хранения данных

Сервис

Описание

Сервис хранения файлов

Сервисы хранения файлов предлагают хранение с использованием обычной модели файловой системы, при которой файлы содержатся в каталогах внутри томов. Сервис хранения обычно предоставляется для клиентского ПО с использованием протокола NFS (NFS 4.2 — IETF 7862), а соответствующие тома монтируются в клиентскую среду с помощью драйвера клиента NFS. В частности, сервисы хранения файлов можно монтировать в ВМ и контейнеры, чтобы обеспечить долговременные возможности хранения данных в этих средах. Сервисы хранения файлов обычно работают по сети [как устройства сетевого хранения (NAS)] и могут использоваться несколькими клиентами одновременно. Поскольку хранилище виртуализируется сервисом хранения файлов, оно поддерживает широкие возможности для масштабирования и отличается исключительной долговечностью.
Дублированные копии файлов хранятся в разных, физически разделенных, местах. Хранящиеся данные могут быть зашифрованы (см. [5]). Шифрование данных должно осуществляться с применением защищенных протоколов, в которых используются криптографические механизмы, определяемые национальными документами по стандартизации Российской Федерации, таких какЛЭ 1.2/TLS 1.3 (см. [6], [7]) или IPSec (см. [8], [9]). Многим приложениям необходим доступ к общим файлам и файловой системе. Такой тип сервисов хранения данных поддерживается в основном сетевыми хранилищами (NAS). Этот тип сервисов идеально подходит для таких вариантов использования, как крупномасштабные репозитории контента, среды разработки, медиахранилища или домашние каталоги пользователей

Сервис хранения объектов

Сервисы хранения объектов хранят данные в виде объектов данных в плоском, неиерархическом пространстве имен (пул хранения, корзина или контейнер), где каждый объект имеет уникальный идентификатор или ключ. По сути, сервис хранения объектов работает на основе модели «ключ — значение», где в качестве объекта выступает значение. Кроме того, каждый объект данных может иметь произвольный объем пользовательских метаданных, связанных с ним. Потенциально это гораздо больший объем, чем тот, который доступен в стандартных файловых системах.
Сервисы хранения объектов обладают высокой масштабируемостью, поскольку они не привязаны к конкретному аппаратному обеспечению для хранения и могут включать несколько устройств хранения. Отдельные объекты также могут иметь очень большой объем. Сервисы хранения объектов могут одновременно использоваться для хранения и могут включать несколько устройств хранения.
Отдельные объекты также могут иметь очень большой объем. Сервисы хранения объектов могут одновременно использоваться несколькими клиентскими приложениями.
Сервисы хранения объектов обычно предлагаются через REST API, который доступен клиентам удаленно через сетевое подключение. REST API (например, Amazon S3 API) не похож на интерфейс обычной файловой системы, поэтому клиентские приложения должны быть специально разработаны и написаны для использования сервисов хранения объектов. Сервисы хранения объектов особенно удобны для использования с неструктурированными данными (например, изображениями), которые обновляются относительно редко (обновление происходит путем замены всего объекта новой версией). Сервисы хранения объектов также обычно работают медленнее, чем сервисы хранения файлов

Сервис блочного хранения данных

Сервисы блочного хранения данных обеспечивают широкополосный доступ с низкой задержкой к устройствам хранения данных на уровне блоков. Эти сервисы предоставляют клиентской системе аналог систем Direct Attached Storage (DAS) и Storage Area Network (SAN). Эта низкоуровневая форма доступа к ресурсам хранения предлагает заказчикам более развитые средства контроля и потенциально более высокую скорость работы, чем другие виды сервисов DSaaS.
Таким образом, использование сервиса блочного хранения данных можно сравнить с подключением к клиентской системе дополнительных аппаратных устройств хранения данных. Сервисы блочного хранения обычно предназначены для работы в пределах одного центра обработки данных, поскольку при доступе к сервисам через удаленные сети существенно возрастает задержка.
Обычно для доставки сервисов блочного хранилища по сети используются специализированные протоколы SAN, такие как iSCSI (IETF 7143). Удаленные устройства хранения данных представляются клиентскому ПО как смонтированный том, точно так же, как если бы это был диск, локально подключенный к системе, на которой запущено клиентское ПО. Сервисы блочного хранения могут иметь файловые системы, построенные поверх них клиентским ПО, или же клиентское ПО может использовать блочный интерфейс напрямую. Второй вариант используется, когда клиентское ПО является, например, ПО базы данных (например, база данных SQL) или ПО потоковой обработки (например, Apache Kafka)

Существуют категории облачных сервисов, которые изначально основаны на функциях хранения данных, но их функциональные возможности в этой области не ограничиваются просто хранением данных, а их интерфейсы сервисов, доступные клиентам, обычно соответствуют конкретным требованиям клиентского ПО. Эти категории облачных сервисов, описанные в таблице 2, используют один или несколько типов хранилищ, описанных в таблице 1, но функция хранения не является основной функциональной возможностью, предоставляемой клиентам.

Таблица 2 — Преимущества для потребителей облачных служб

Сервисы хранения данных

Отличительные особенности

Сервисы баз данных NoSQL

Сервисы баз данных NoSQL предлагают возможности хранения и извлечения различных форм неструктурированных данных, таких как документы, изображения, фильмы и большие двоичные данные. В этой категории имеется широкий спектр базовых технологий, которые можно классифицировать различными способами, как, например:

  • кеш типа «ключ — значение»;
  • хранилище типа «ключ — значение»;
  • хранилище типа «ключ — значение» (согласованное в конечном счете);
  • хранилище типа «ключ — значение» (упорядоченное);
  • сервер типа «данные — структуры»;
  • хранилище кортежей;
  • база данных объектов;
  • хранилище документов;
  • база данных с широким значением столбца (Wide Column Store);
  • нативная многомодельная база данных;
  • графовая база данных

Сервисы баз данных SQL

SQL (или реляционные) сервисы баз данных хранят структурированные данные в табличном формате, что позволяет создавать потенциально сложные запросы для извлечения данных в соответствии с требованиями клиента и выполнять динамическое обновление содержимого базы данных.
SQL — это интерактивный язык программирования, который создан на базе отраслевых стандартов и предназначен для отправки запросов, обновления и управления данными и наборами данных в системе управления базами данных
Стандарт SQL (см. [10]). Современные базы данных SQL поддерживают обнаружение столбцов в широком диапазоне наборов данных: не только в реляционных таблицах/представлениях, но и в XML, JSON, пространственных объектах, объектах в виде изображений (двоичных объектах большого размера и символьных объектах большого размера) и в семантических объектах.
Существует множество различных технологий баз данных SQL, которые предлагаются в виде облачных сервисов

Сервис хранения очередей сообщений

Функциональные возможности очередей сообщений доступны в виде облачных сервисов и обычно связаны с распределенной асинхронной формой обработки и системной архитектурой, которая получает все большее распространение.
Многие системы очередей сообщений имеют возможность сохранять сообщения в хранилище. Сообщения могут сохраняться не только для того, чтобы не потерять их и извлечь при необходимости, но также для содействия обработке потоков, которая требует крупномасштабного анализа множества событий для извлечения полезной практической информации. Сохранение сообщений может создавать большую нагрузку на системы хранения данных из-за большого объема и высокой скорости доставки сообщений

Сервисы на основе технологии блокчейн и распределенных реестров

Облачные сервисы на основе технологии распределенных реестров (DLT), такие как облачные сервисы блокчейн, поддерживают предоставление и использование распределенных реестров, которые представляют собой одну из форм базы данных транзакций.
Облачные сервисы DLT обычно предоставляют функциональные возможности для запуска узла DLT, включая экземпляр ПО платформы DLT и возможности хранения реплик самого распределенного реестра

Аналитические сервисы

Функции аналитической обработки основаны на обработке большого количества данных. Такие большие объемы данных и их высокая скорость обработки требуют определенной поддержки со стороны сервисов хранения, в которых размещены данные. Многие поставщики облачных служб предоставляют специализированные сервисы облачного хранения данных, которые поддерживают анализ данных

Сервисы управления файлами

Сервис управления файлами представляет собой тип облачного сервиса с прикладными функциональными возможностями, который обеспечивает автоматическую репликацию файлов между пользовательскими устройствами и облачным хранилищем и позволяет нескольким пользователям совместно использовать и обновлять файлы

Федеративные сервисы хранения данных

В случае федеративных сервисов хранения данных ресурсы хранения могут быть прозрачно объединены между различными облачными хранилищами, включая локальные, частные или публичные облачные среды, независимо от того, предлагаются ли функции хранения файлов, блоков или объектов. Следует иметь в виду, что простые возможности репликации или восстановления после сбоя обычно не означают, что сервис хранения является федеративным

Примечание — Данные сервисы хранения данных могут предоставляться как постоянное хранилище или как хранилище в оперативной памяти

[из 12.2 Общие характеристики сервисов DSaaS ГОСТ Р 70860—2023]

12.3 Типы функциональных возможностей DSaaS ГОСТ Р 70860—2023

В ГОСТ ISO/IEC 17788—2016, подраздел 6.4 определены следующие три различных типа функциональных возможностей:

  • инфраструктурный (как в laaS);
  • платформенный (как в PaaS);
  • прикладной (как в SaaS).

DSaaS может предлагать один или несколько из этих типов функциональных возможностей, как приведено в таблице 3.

Таблица 3 — Типы функциональных возможностей DSaaS

Тип функциональной возможности

Сервисы

Инфраструктурный

Сервис хранения файлов.
Сервис хранения объектов.
Сервис блочного хранения данных. Федеративный сервис хранения данных

Платформенный

Программируемое заказчиком хранилище данных, в которое можно загрузить написанный заказчиком код и использовать его для управления хранилищем данных. Аналитический сервис.
Сервис базы данных NoSQL.
Сервис базы данных SQL.
Сервис очередей сообщений.
Сервис на основе технологии блокчейн и DLT

Прикладной

Пользовательский интерфейс, ориентированный на человека, для управления хранилищем, например веб-хранилищем документов:

  • сервис управления файлами

Типы облачных функциональных возможностей, применяемые к облачным сервисам, описанным в таблицах 1 и 2, варьируются (см. таблицу 3). Большинство облачных сервисов, описанных в таблице 1, как правило, предоставляются в виде облачных сервисов инфраструктурного типа. Облачные сервисы, перечисленные в таблице 2, как правило, относятся к платформенному или прикладному типу, за исключением федеративных сервисов хранения данных, которые, как правило, относятся к инфраструктурному типу [из 12.3 Типы функциональных возможностей DSaaS ГОСТ Р 70860—2023]

12.4 Важные дополнительные функциональные возможности DSaaS ГОСТ Р 70860—2023

Помимо ожидаемой функциональной возможности для хранения данных, многие сервисы облачного хранения предлагают другие дополнительные функциональные возможности, которые могут оказаться полезными потребителям облачных служб.

Первый набор таких функциональных возможностей связан с устойчивостью и сопротивляемостью к точечным сбоям в инфраструктуре поставщиков облачных служб. Многие облачные сервисы хранения данных хранят данные в нескольких резервных репликах, чтобы отказ одного устройства хранения или невозможность доступа к одному устройству не привели к недоступности сервиса или, что еще хуже, к потере данных. Характер репликации может быть различным. В некоторых случаях реплики специально размещаются в отделенном на физическом уровне месте (например, в другом центре обработки данных или в другой зоне доступности в пределах одного центра обработки данных) с целью устранения крупных сбоев в рамках всего центра обработки данных. В других случаях, в частности при использовании облачных сервисов с высокоскоростным доступом, места репликации могут, наоборот, располагаться в непосредственной близости друг от друга. Некоторые облачные сервисы хранения данных предоставляют возможность потребителю сервиса облачных вычислений самостоятельно выбирать политику размещения реплик.

Второй набор функциональных возможностей относится к созданию и хранению резервных копий данных. Такое резервное копирование может выполняться автоматически или по запросу потребителя облачной службы. Резервное копирование может осуществляться в объект с подключением к сети Интернет (т. е. хранилище, которое доступно в режиме онлайн, но размещено в другом месте) или без подключения к сети Интернет. Второй вариант может использоваться для длительного и недорогого хранения данных.

Еще одной функциональной возможностью, предлагаемой отдельными облачными сервисами хранения данных, является близость ресурсов. Речь идет об относительном физическом размещении экземпляров облачных сервисов хранения данных по отношению к другим облачным сервисам, в основном к экземплярам вычислительных сервисов, таким как ВМ и контейнеры. Одной из основных причин размещения экземпляров вычислительных сервисов рядом с экземплярами сервисов хранения является поддержание высокой скорости работы как с точки зрения снижения задержек, так и с точки зрения увеличения пропускной способности для данных, передаваемых между экземплярами вычислительных систем и систем хранения. Некоторые категории сервисов, например сервисы блочного хранения данных, часто предлагаются только в таком виде. Например, сервисы блочного хранения могут предлагаться только для использования экземплярами вычислительных сервисов, работающими на узлах в том же центре обработки данных, где между узлом хранения и вычислительным узлом имеется высокоскоростной канал, например оптоволоконный или Ethernet [из 12.4 Важные дополнительные функциональные возможности DSaaS ГОСТ Р 70860—2023]