Вы, наверное, слышали о недавней аварии SpaceX Starship, когда беспилотная ракета взорвалась вскоре после запуска. Или, как они говорили, «пережил скорую незапланированную разборку».

Я могу придумать множество способов распространить идею быстрого незапланированного события на другие вещи. Например, если вы бегун, «быстрая незапланированная эвакуация» во время гонки, вероятно, не нуждается в объяснении.

Кажется, многие были удивлены, узнав, что SpaceX не изобрела этот термин. Он возник задолго до появления SpaceX и, возможно, уже в 1960-х годах, согласно этой ветке Stack Exchange. То, что мы слышим об этом впервые, не означает, что это ново. Искусственный интеллект уже был в самом разгаре еще до того, как многие из вас родились (но не я!). Просто мир не слышал об этом до недавнего времени.

«Данные не готовы для анализа»

В моих беседах с бизнес-лидерами часто возникает мысль о том, что данные не готовы к анализу. Недавно я думал об этом, и мне пришла в голову идея технологического долга — в настоящее время горячая тема в области технологий. Я подумал: долг данных! Я был взволнован мыслью о том, что придумал этот термин….

Увы, быстрый поиск в Интернете выдал несколько страниц о «задолженности по данным». Я оказался не таким блестящим, как я надеялся! Шутки в сторону, факт остается фактом: об этом вообще мало говорят.

По сути, это относится к затратам, связанным с данными, накопленными без надлежащего управления. Как и в случае с любым другим видом долга, вы в конечном итоге становитесь чрезмерным, если продолжаете брать на себя больше. Он становится достаточно большим, чтобы уничтожить любую ценность, которую вы получаете от данных, или, что еще хуже, вы теряете деньги, пытаясь монетизировать данные.

Мы легко думаем о затратах с точки зрения денег. Но затраты могут быть с точки зрения времени, воздействия или несоблюдения требований, и все это в конечном итоге в конечном итоге превращается в финансовые затраты.

Что это за долги?

Вот несколько примеров «задолженности по данным», которые ни в коем случае не являются исчерпывающими:

  • Дополнительные усилия из-за проблем с документацией данных. Это включает даже время, потраченное на отслеживание правильной документации. В одном случае только на поиск одного документа ушло три дня, да и то оказалось неполным. К сожалению, такие сценарии не единичны. Отсутствие надлежащей документации означает необходимость перепроектировать бизнес-правила, задавать повторяющиеся вопросы о правильном использовании данных и изобретать велосипед многими другими способами. И, конечно же, необходимость переделывать анализ, когда истинная информация, наконец, раскрывается, означает много напрасной работы.
  • Дополнительные усилия из-за низкого качества данных или сложности их использования. Важно отметить, что это гораздо больше, чем соответствие данных определенному набору логики.
  • Задержки из-за медленного доступа к данным. Это может быть связано, среди прочего, с неадекватной технологической инфраструктурой, неэффективной архитектурой данных или моделью данных, которые влияют на время обработки, скоплением необработанных данных или обременительными процедурами и бюрократией.
  • Упущенная выгода или более высокие операционные расходы из-за неверных решений из-за того, что данные не готовы для анализа.
  • Больше времени для получения дохода или экономии из-за задержек и дополнительных усилий, необходимых для надлежащего использования данных.
  • Юридические и нормативные проблемы, если данные не управляются в соответствии с юридическими, нормативными или другими отраслевыми требованиями. Это также имеет репутационные издержки, которые влияют на всю организацию.
  • Влияние недоступных данных. Есть такие вещи, как бюрократия, политика и другие барьеры, препятствующие доступу. Кроме того, данные могут даже быть утеряны (и, следовательно, заведомо недоступны) по разным причинам.
  • Влияние неадекватной архитектуры данных. Среди прочего, это включает в себя использование архитектуры, предназначенной для транзакционных данных, для удовлетворения аналитических потребностей. Это распространено среди организаций на ранних этапах пути к данным. Конечно, первые потребности в данных почти каждой организации связаны с операционными или транзакционными данными. Но большинство организаций в какой-то момент вырастают из чисто операционных. Я видел такие случаи, как необходимость объединения четырех таблиц только для того, чтобы два столбца часто использовались вместе. Сценарии, подобные этому, увеличивают затраты на обработку и требуют планирования, чтобы избежать влияния на повседневные операции.

Последствия долга

Со временем эти долги накапливаются и усугубляются, если они остаются невыплаченными. Эксплуатационные расходы увеличиваются. Требуются большие инвестиции как в технологии, так и в людей, чтобы идти в ногу со временем. Расходы на погашение долга съедают бюджет на другие инициативы. И если вы не знаете, насколько велик ваш долг, скорее всего, он больше, чем вы думаете.

Цена неправильных решений менее ощутима и может быть никогда не известна, что пугает. Неправильно управляемые данные порождают неточную или неполную информацию, что в конечном итоге приводит к принятию неверных решений. Упущенные возможности, потерянный доход, плохая репутация, потеря доверия и повышенный риск — это лишь некоторые последствия.

На практике аспекты, влияющие на задолженность по данным, не проявляются до тех пор, пока кто-то не внимательно изучит содержимое данных. Часто это специалисты по аналитике — статистики и специалисты по данным. Но полагаться на практиков-аналитиков для сокращения долга данных — нежизнеспособный подход, как я уже говорил в прошлом. Кроме того, по моему опыту, это обычно означает, что организация сильно недооценивает масштабы своих проблем с данными.

И специалисты по данным недешевы. Говорят, что 80–90% времени аналитика данных тратится на подготовку данных: сбор информации, споры, очистка и т. д. Часть этого действительно необходима, чтобы получить четкое представление о данных и их бизнес-контекстах. Но если вы сократите этот показатель хотя бы на 25%, это будет похоже на найм большего количества специалистов по данным без фактического найма большего числа специалистов по данным. И вы делаете их более счастливыми учеными данных.

Выплата долга

Как и в случае с диетическим жиром, неразумно и даже вредно для здоровья устранять весь долг данных. Точно так же, как некоторый жир неизбежен и даже необходим, некоторый уровень долга неизбежен и даже может быть полезен. Но любой долг данных, который вы берете на себя, должен иметь смысл.

Это означает, что нам необходимо стратегически управлять долгом данных. Количественная оценка и отчет о долге данных. Отразите задолженность по данным в рентабельности инвестиций. Стоимость создания чего-то полезного из данных очень измерима, осязаема и непосредственна. Начните с этого.

Затем, чтобы погасить долг, поработайте над управлением данными. Это целая дискуссия даже в качестве учебника. Но точно так же, как мы оплачиваем наши счета в рамках обычной деятельности (BAU), управление данными необходимо как деятельность BAU.

Мне нравится то, что Гартнер сказал о технологическом долге, это относится и к долгу данных. Единственный критерий, который имеет значение, — это может ли ваша организация себе это позволить. Непродуктивно сравнивать с тем, что делают другие в отрасли, точно так же, как для нас, потребителей, непродуктивно сравнивать наши долги по кредитным картам с долгами наших соседей. Вам необходимо хорошо понимать, какие части данных важны, а также когда, как и кем они используются.

Существует много недопонимания в отношении управления данными. На самом деле это намного проще, чем многие думают, но это трудно сделать эффективно. Но эффективное управление данными сводит к минимуму накопление долга данных.

Избегайте рисков и затрат, связанных с задолженностью по данным, пока не стало слишком поздно. В конце концов, вы же не хотите, чтобы ваша организация столкнулась с быстрым незапланированным выкачиванием данных из-за плохого управления данными.

Подпишитесь на DDIntel Здесь.

Посетите наш сайт здесь: https://www.datadriveninvestor.com

Присоединяйтесь к нашей сети здесь: https://datadriveninvestor.com/collaborate