From 4012635c2cc8e1cbb429e6619102bd171d2dad11 Mon Sep 17 00:00:00 2001 From: Dmitry <121898072+bpmbpm@users.noreply.github.com> Date: Tue, 2 Jun 2026 22:51:06 +0300 Subject: [PATCH] Create tqm_dq.md --- BPM/technology/DPPT/tqm_dq.md | 119 ++++++++++++++++++++++++++++++++++ 1 file changed, 119 insertions(+) create mode 100644 BPM/technology/DPPT/tqm_dq.md diff --git a/BPM/technology/DPPT/tqm_dq.md b/BPM/technology/DPPT/tqm_dq.md new file mode 100644 index 00000000..f43059b8 --- /dev/null +++ b/BPM/technology/DPPT/tqm_dq.md @@ -0,0 +1,119 @@ +## 1 +Покажи вариант заимствования подходов из TQM в Data quality, т.е. речь идет о Data quality management. Как TQM \ СМК "переписать" под "данные", т.к. Система менеджмента Качества Данных. Приведи текст такого документа. + +### Проект документа: Система менеджмента качества данных (СМКД) – адаптация TQM / СМК + +Ниже показано, как принципы Всеобщего управления качеством (TQM) и требования ISO 9001 могут быть «переписаны» в терминах данных, формируя целостную Систему менеджмента качества данных (СМКД). Такой подход не заменяет DAMA-DMBOK, а дополняет его процессно-ориентированной управленческой рамкой. + +#### 1. От TQM к Data Quality Management: таблица заимствований + +| Принцип TQM / ISO 9001 | Адаптация к качеству данных | +|--------------------------|------------------------------| +| **Ориентация на потребителя** | Потребитель данных – любое лицо, процесс или система, использующая данные. Требования потребителей – это спецификации форматов, полноты, своевременности, точности. | +| **Лидерство** | Высшее руководство устанавливает Политику качества данных, распределяет ответственность за Data Governance, выделяет ресурсы. | +| **Вовлечение людей** | Все сотрудники, вводящие, обрабатывающие и использующие данные, осознают свою роль в обеспечении качества. Проводятся кружки качества данных. | +| **Процессный подход** | Управление данными рассматривается как сквозной процесс: от сбора/генерации до архивирования, включая подпроцессы контроля, очистки, обогащения. | +| **Улучшение (PDCA)** | Планирование метрик качества данных, выполнение измерений, анализ дефектов, действия по устранению корневых причин. | +| **Принятие решений на основе фактов** | Мониторинг и анализ показателей качества данных (точность, полнота, согласованность и др.) используются для управления. | +| **Управление взаимоотношениями с поставщиками** | Поставщики данных (внешние источники, партнёры) оцениваются и контролируются на предмет качества предоставляемой информации. | + +--- + +#### 2. Текст документа «Система менеджмента качества данных» (проект) + +**Раздел 1. Область применения** +Настоящий документ устанавливает требования к системе менеджмента качества данных (СМКД) организации, когда она: +a) стремится стабильно предоставлять данные, соответствующие требованиям потребителей и применимым нормативным актам; +b) намерена повышать удовлетворённость потребителей данных посредством эффективного управления качеством. + +**Раздел 2. Нормативные ссылки** +- ISO 9000:2015 «Системы менеджмента качества. Основные положения и словарь» (адаптировано к данным) +- DAMA-DMBOK (Data Management Body of Knowledge) +- ISO 8000 «Качество данных» +- ГОСТ Р ИСО 9001-2015 (как модель для процессного подхода) + +**Раздел 3. Термины и определения** +- *Качество данных* – степень соответствия присущих характеристик данных требованиям (ISO 8000). +- *Потребитель данных* – процесс, система или человек, использующий данные. +- *Поставщик данных* – источник, генерирующий или передающий данные. +- *Жизненный цикл данных* – стадии от создания/приобретения до удаления. + +**Раздел 4. Контекст организации** +Организация должна определить внешние и внутренние факторы, влияющие на качество данных (регуляторные требования, ожидания бизнес-подразделений, уровень зрелости ИТ-инфраструктуры). Определяются заинтересованные стороны и их потребности в отношении данных. + +**Раздел 5. Лидерство и Политика качества данных** +Высшее руководство демонстрирует лидерство, принимая Политику качества данных, которая включает: +- обязательство соответствовать требованиям и непрерывно улучшать СМКД; +- установление целей в области качества данных; +- определение ролей (Data Owner, Data Steward, Data Custodian). + +**Раздел 6. Планирование** +6.1 Действия в отношении рисков и возможностей: идентификация рисков для качества данных (например, дублирование записей, несвоевременный ввод) и планирование мер. +6.2 Цели в области качества данных: конкретные измеримые показатели (полнота клиентской базы >99%, своевременность обновления транзакций – до 1 часа). Согласованы с политикой. + +**Раздел 7. Средства обеспечения** +7.1 Ресурсы: выделяются человеческие, технологические (инструменты профилирования, очистки, мониторинга), финансовые ресурсы. +7.2 Компетентность: лица, влияющие на качество данных, должны обладать знаниями в области ввода, обработки, анализа данных. Организуется обучение методам SPC для данных, использованию правил валидации. +7.3 Осведомлённость: все сотрудники информируются о важности качества данных и их вкладе. +7.4 Документированная информация: СМКД включает документированные процедуры по измерению, контролю, обработке несоответствующих данных, записи о качестве. + +**Раздел 8. Деятельность на этапах жизненного цикла данных** (аналог «Процессы» ISO 9001) +Организация планирует и управляет процессами: +- *Сбор/генерация данных*: входной контроль (форматы, диапазоны), валидация от поставщиков. +- *Хранение и интеграция*: процедуры ETL с встроенными проверками согласованности, контроль дублирования. +- *Обработка и анализ*: применение контрольных карт для ключевых метрик, выявление аномалий. +- *Распространение и использование*: каталог данных с метаданными о качестве, информирование потребителей. +- *Архивирование и удаление*: обеспечение сохранения качества при миграции. + +Для каждого процесса определены владельцы, критерии результативности и методы мониторинга. + +**Раздел 9. Оценка эффективности** +9.1 Мониторинг, измерение, анализ и оценка: регулярный сбор статистики по измерениям качества данных (точность, полнота, своевременность, уникальность, согласованность). Используются контрольные карты Шухарта, диаграммы Парето для выявления основных дефектов. +9.2 Внутренний аудит: проверки СМКД на соответствие требованиям. +9.3 Анализ со стороны руководства: периодический обзор результативности СМКД, достижения целей, решений по улучшению. + +**Раздел 10. Улучшение** +10.1 Несоответствия и корректирующие действия: при обнаружении дефектов данных (например, массовое нарушение целостности) проводятся коррекция (исправление данных) и анализ коренной причины (диаграмма Исикавы, «5 почему»), затем предупреждающие действия. +10.2 Непрерывное улучшение: применяются методы Кайдзен, кружки качества данных для повышения культуры работы с данными, автоматизация проверок, обновление политик. + +**Приложение (справочное): Примеры инструментов TQM, адаптированных для качества данных** +- Контрольная карта (p-chart) для доли записей с пропущенными полями. +- Диаграмма Исикавы для анализа причин несвоевременного обновления. +- Цикл PDCA: Plan – планирование целевого уровня точности, Do – внедрение правил валидации, Check – измерение процента ошибок, Act – корректировка правил. + +--- + +Этот документ демонстрирует, как системный подход TQM/СМК, изначально разработанный для производственных процессов и услуг, переносится в управление данными, формируя полноценную Систему менеджмента качества данных, которая может быть сертифицирована по аналогии с ISO 9001. + +## 2 +### Отличие «Управление данными» (Data Management) от «Качество данных» (Data Quality) + +В профессиональной среде эти два понятия часто путают, однако они находятся на разных уровнях абстракции и имеют разный объём. + +**1. Определения из первоисточников** + +> **Data Management** — «разработка, выполнение и надзор за планами, политиками, программами и практиками, которые предоставляют, контролируют, защищают и повышают ценность данных и информационных активов на протяжении их жизненного цикла». +> — *DAMA-DMBOK2, Глава 1, стр. 17 (рус. перевод)* + +> **Data Quality** — «планирование, внедрение и контроль действий, которые применяют методы управления качеством к данным, чтобы гарантировать, что они пригодны для использования и удовлетворяют требованиям потребителей данных». +> — *DAMA-DMBOK2, Глава 11, стр. 397 (рус. перевод)* + +> **Data Quality (качество данных)** — «степень, в которой набор присущих характеристик данных удовлетворяет требованиям». +> — *ISO 8000-2:2020, п. 3.1.1* + +Таким образом: +- *Data Management* — всеобъемлющая дисциплина, охватывающая **11 функциональных областей** (см. колесо DAMA): архитектура данных, моделирование, хранение, безопасность, интеграция, документы и контент, мастер-данные, хранилища и BI, метаданные, качество данных и data governance. +- *Data Quality* — одна из этих областей, сфокусированная исключительно на измерении, контроле и улучшении характеристик данных (точность, полнота, своевременность, согласованность и др.) в соответствии с потребностями потребителей. + +**2. Наглядное соотношение в модели DAMA** + +В колесе DAMA «Качество данных» расположено на внешнем кольце как отдельная доменная функция, а «Управление данными» — это название всей дисциплины, включающей и центральное «Data Governance», и все 10 других областей. + +Таким образом, любое действие по улучшению качества данных (например, профилирование, очистка, внедрение правил валидации) — это часть практики «Управление данными», но не сводится к ней. Управление данными также решает вопросы архитектуры, безопасности, жизненного цикла, что не является непосредственной задачей качества данных. + +**3. Аналогия с производством** + +- *Управление производством* (Manufacturing Management) — охватывает снабжение, планирование мощностей, логистику, контроль качества и т.д. +- *Контроль качества продукции* — только та часть, которая измеряет соответствие стандартам и инициирует корректировки. + +Точно так же Data Quality — подмножество Data Management, специализирующееся на «соответствии требованиям», тогда как Data Management отвечает за всю экосистему работы с данными.