Многие клиенты используют Amazon S3 в качестве основы хранения своего решения для озера данных. Озеро данных – это централизованное хранилище необработанных и преобразованных данных для аналитики в реальном времени, машинного обучения, бизнес-аналитики и т. Д. Поскольку новые данные постоянно генерируются и хранятся в течение длительного времени, озера данных в Amazon S3 позволяют безопасно переносить, хранить, управлять и анализировать все структурированные и неструктурированные данные в неограниченном масштабе. В то же время очень важны контроль и оптимизация затрат. Чтобы контролировать стоимость хранения, заказчики определяют политики хранения данных, направленные на архивирование или удаление неиспользуемых данных.
Распространенной практикой является перевод менее часто используемых данных («более холодные» данные) в более экономичный класс хранения. Примером такого класса хранилища является S3 Standard-Infrequent Access (S3 Standard-IA) . S3 Standard-IA предназначен для данных, доступ к которым осуществляется реже, но при необходимости требует быстрого доступа. S3 Standard-IA предлагает высокую надежность, высокую пропускную способность и низкую задержку, как у S3 Standard, с низкой стоимостью хранения за ГБ и за извлечение данных за ГБ. S3 Standard-IA – отличный вариант, когда шаблоны доступа к данным предсказуемы. Это позволяет клиентам использова 2000 ть политики жизненного цикла S3для автоматического перехода объектов между классами хранения без каких-либо изменений приложения и получения выгоды от снижения затрат на хранение. Однако у клиентов часто есть долговечные данные с неизвестными или непредсказуемыми схемами доступа, и это проблема, с которой AppsFlyer столкнулся с озером данных, созданным на Amazon S3.
Класс хранилища S3 Intelligent-Tiering дает клиентам возможность сэкономить деньги даже при изменении шаблонов доступа без влияния на производительность, операционных издержек и сборов за извлечение данных. Он работает путем хранения объектов на двух уровнях доступа: один уровень оптимизирован для частого доступа, а другой более дешевый уровень оптимизирован для нечастого доступа. За небольшую ежемесячную плату за мониторинг и автоматизацию для каждого объекта Amazon S3 отслеживает шаблоны доступа к объектам в S3 Intelligent-Tiering. S3 Intelligent-Tiering перемещает объекты, к которым не осуществлялся доступ в течение 30 дней подряд, на уровень нечастого доступа. Если осуществляется доступ к объекту на уровне нечастого доступа, он автоматически перемещается обратно на уровень частого доступа на 30 дней.
Поскольку в S3 Intelligent-Tiering нет платы за извлечение, этот класс хранения ограничивает стоимость. Независимо от того, как часто осуществляется доступ к объектам, максимальная стоимость для клиента приходится на данные, хранящиеся на уровне хранения для частого доступа. Для сравнения, в S3 Standard-IA существует стоимость извлечения объекта.