Дмитрий Лазарчук – соучредитель и генеральный директор Relokia и Help Desk Migration с более чем десятилетним опытом работы в сфере услуг по миграции данных.

гетти

Ни один онлайн-бизнес не может добиться успеха без принятия решений, основанных на данных. Проблема в том, что чем крупнее бизнес, тем сложнее становится базовая инфраструктура управления данными.

Если вы стартап, обычно достаточно одной базы данных, зависящей от платформы. Но по мере вашего роста вам понадобится независимое от платформы решение, которое может объединять данные в разных форматах, поступающие из нескольких источников и юрисдикций. Помимо технических проблем, ценность, которую вы получаете от своих данных (полезность данных), может быть серьезно ограничена необходимостью соблюдения законов о конфиденциальности данных (суверенитет персональных данных).

Как ваш бизнес может справиться с этим балансированием? Ответ заключается в минимизации зависимости от платформы и успешном масштабировании ваших процессов управления данными.

Зависимость от платформы

Рассмотрим архитектуру базы данных — в нашем случае структурированную коллекцию данных, поддерживающую программные системы и веб-сайты. В принципе, база данных состоит из трех уровней:

• Физическое: Как данные хранятся, извлекаются и управляются на аппаратном уровне (серверах)

• Логический: Как данные организованы и представлены приложениям (схема)

• Внешний: Как данные просматриваются пользователями или приложениями (представления)

Зависимость от платформы – это степень, в которой каждый из этих уровней привязан к определенной аппаратной или программной платформе.

Например, зависимость на физическом уровне означает, что ваша база данных привязана к определенной технологии хранения, поэтому вы, вероятно, столкнетесь с проблемами при переходе на новое хранилище. На логическом уровне добавление нового столбца данных в базу данных изменяет то, что видят приложения или пользователи.

Почему зависимость от платформы – это хорошо

Базу данных, зависящую от платформы, легко создать, поскольку платформа напрямую определяет используемые структуры, алгоритмы и зависимости с помощью типа модели данных (SQL или NoSQL), операционной системы и других факторов.

Почему это плохо

Конкретная схема базы данных и организация определяют, как приложения могут получать доступ к данным и использовать их, что приводит к значительным ограничениям. Например, компании, разрабатывающие такую базу данных, должны разрабатывать отдельную версию для каждой операционной системы. Зависимость от платформы также ограничивает масштабируемость, затрудняет внедрение новых источников данных и может привести к зависанию от поставщика.

Вот тут-то и возникает независимость данных.

Независимость данных

Независимость данных гарантирует, что физические или логические изменения базы данных не повлияют на другие уровни. Другими словами, данные, которые вы собираете, анализируете и храните, существуют отдельно от приложений, которые их генерируют и используют. Это фактически превращает данные в товар, а не в бизнес-актив.

Независимость данных явно не рассматривается для внешнего уровня, поскольку изменения на этом уровне обычно изолированы от логического и физического уровней.

Почему Важна независимость Данных

Независимость от данных позволяет вам легко обновлять и настраивать вашу платформу управления данными — другими словами, это способствует совершенствованию процесса разработки программного обеспечения без нарушения вашей работы.

Почему это плохо

Достижение независимости данных требует больше ресурсов и влечет за собой операционные издержки, сложность и потенциальную избыточность. К счастью, эти риски можно снизить с помощью хорошо продуманной стратегии внедрения.

Физическому Против. Логическая Независимость Данных

Давайте подробнее рассмотрим, что означает независимость данных на физическом и логическом уровнях базы данных.

Независимость физических данных позволяет изменять способ хранения данных, не влияя на взаимодействие с ними пользователей или приложений. Вы можете свободно выполнять горячую замену SSD-дисков, настраивать методы доступа или модифицировать алгоритмы сжатия и хэширования — и все это без изменения базы данных.

Логическая независимость данных позволяет вносить изменения на логическом уровне – например, объединять/ разделять записи или добавлять/удалять атрибуты — без изменения приложения или физического хранилища.

Крайне важно обеспечить как физическую, так и логическую независимость. Ценность данных в огромной степени зависит от того, насколько эффективно вы можете их обработать, чтобы получить полезную информацию. Другими словами, независимость имеет решающее значение для достижения полезности данных.

Балансирование Полезности с Суверенитетом Персональных Данных

Повышение полезности данных означает расширение вашей способности агрегировать данные в различных форматах из различных источников для поддержки бизнес-операций. Это требует таких шагов преобразования данных, как дедупликация, удаление белого шума и ошибочных данных, а также точное определение ключевых деталей.

Такая обработка напрямую противоречит положениям о суверенитете данных и законам о конфиденциальности, таким как GDPR, HIPAA и CCPA. Однако хранение данных в отдельных хранилищах делает их фактически бесполезными для аналитики.

Итак, каково же решение?

Эффективное уравновешивание требует пяти ключевых шагов:

1. Четко определите назначение и объем ваших данных.

2. Сведите к минимуму и обезличьте данные.

3. Внедрите безопасность данных и управление ими.

4. Проявляйте осторожность при решении этических и нормативных дилемм. Если использование данных принесет пользу, но раскроет личные данные, вероятно, лучше этого не делать.

5. Следите за отзывами пользователей. Пользователи должны быть довольны тем, как вы обрабатываете их данные, чтобы избежать проблем с соблюдением требований.

Выполнение этих шагов поможет вам избежать перерасхода средств на сбор и обработку данных, обеспечить безопасность при хранении и передаче данных, гарантировать соответствие требованиям и поддерживать развитие вашей аналитики данных и ее ценность для вашего бизнеса.

Ценность Независимости Данных

Наиболее важным бизнес-преимуществом независимости от данных является повышенная гибкость. Как компания, вы больше не привязаны к единой платформе от одного поставщика и не перегружаете свой бюджет ненужным сбором и анализом данных. Вместо этого вы можете легко корректировать и дополнять свой процесс управления данными по мере развития потребностей вашего бизнеса.

Гибкость является результатом других ключевых преимуществ независимости от данных:

• Непрерывность Операций: Приложения, использующие базу данных, остаются работоспособными даже во время настройки логического уровня.

• Более простое техническое обслуживание: Обновления и исправления не нарушают работу, поскольку физический и логический уровни отделены от уровня представления приложения.

• Повышенная безопасность: Средства контроля доступа могут быть реализованы на логическом уровне, не раскрывая деталей базовой аппаратной конфигурации.

• Согласованность данных: Схема базы данных остается неизменной во время миграции на новые серверы и при внедрении новых технологий обработки данных, таким образом сохраняя функциональность приложения.

Навынос

Эффективное принятие решений на основе данных зависит от мощной и высокопроизводительной аналитики данных. Хотя зависимость от платформы может быть полезной на первых порах, она быстро может стать препятствием для экономичной обработки данных.

Вот почему укрепление независимости данных — и эффективное обеспечение баланса между полезностью данных и суверенитетом — имеет решающее значение. Преимущества независимости данных варьируются от упрощения управления данными и их обслуживания до обеспечения безопасности, согласованности и стабильности данных в масштабе. Это, в свою очередь, позволяет вашей экосистеме управления данными расти и эволюционировать в соответствии с потребностями вашего бизнеса.

Forbes Technology Council – это сообщество, доступное только по приглашениям, для ИТ-директоров мирового класса, CTO и руководителей технологических компаний. Соответствую ли я требованиям?