Create tqm_dq.md

BPM/technology/DPPT/tqm_dq.md

@@ -0,0 +1,119 @@
+## 1
+Покажи вариант заимствования подходов из TQM в Data quality, т.е. речь идет о Data quality management. Как TQM \ СМК "переписать" под "данные", т.к. Система менеджмента Качества Данных. Приведи текст такого документа.  
+
+### Проект документа: Система менеджмента качества данных (СМКД) – адаптация TQM / СМК
+
+Ниже показано, как принципы Всеобщего управления качеством (TQM) и требования ISO 9001 могут быть «переписаны» в терминах данных, формируя целостную Систему менеджмента качества данных (СМКД). Такой подход не заменяет DAMA-DMBOK, а дополняет его процессно-ориентированной управленческой рамкой.
+
+#### 1. От TQM к Data Quality Management: таблица заимствований
+
+| Принцип TQM / ISO 9001 | Адаптация к качеству данных |
+|--------------------------|------------------------------|
+| **Ориентация на потребителя** | Потребитель данных – любое лицо, процесс или система, использующая данные. Требования потребителей – это спецификации форматов, полноты, своевременности, точности. |
+| **Лидерство** | Высшее руководство устанавливает Политику качества данных, распределяет ответственность за Data Governance, выделяет ресурсы. |
+| **Вовлечение людей** | Все сотрудники, вводящие, обрабатывающие и использующие данные, осознают свою роль в обеспечении качества. Проводятся кружки качества данных. |
+| **Процессный подход** | Управление данными рассматривается как сквозной процесс: от сбора/генерации до архивирования, включая подпроцессы контроля, очистки, обогащения. |
+| **Улучшение (PDCA)** | Планирование метрик качества данных, выполнение измерений, анализ дефектов, действия по устранению корневых причин. |
+| **Принятие решений на основе фактов** | Мониторинг и анализ показателей качества данных (точность, полнота, согласованность и др.) используются для управления. |
+| **Управление взаимоотношениями с поставщиками** | Поставщики данных (внешние источники, партнёры) оцениваются и контролируются на предмет качества предоставляемой информации. |
+
+---
+
+#### 2. Текст документа «Система менеджмента качества данных» (проект)
+
+**Раздел 1. Область применения**
+Настоящий документ устанавливает требования к системе менеджмента качества данных (СМКД) организации, когда она:
+a) стремится стабильно предоставлять данные, соответствующие требованиям потребителей и применимым нормативным актам;
+b) намерена повышать удовлетворённость потребителей данных посредством эффективного управления качеством.
+
+**Раздел 2. Нормативные ссылки**
+- ISO 9000:2015 «Системы менеджмента качества. Основные положения и словарь» (адаптировано к данным)
+- DAMA-DMBOK (Data Management Body of Knowledge)
+- ISO 8000 «Качество данных»
+- ГОСТ Р ИСО 9001-2015 (как модель для процессного подхода)
+
+**Раздел 3. Термины и определения**
+- *Качество данных* – степень соответствия присущих характеристик данных требованиям (ISO 8000).
+- *Потребитель данных* – процесс, система или человек, использующий данные.
+- *Поставщик данных* – источник, генерирующий или передающий данные.
+- *Жизненный цикл данных* – стадии от создания/приобретения до удаления.
+
+**Раздел 4. Контекст организации**
+Организация должна определить внешние и внутренние факторы, влияющие на качество данных (регуляторные требования, ожидания бизнес-подразделений, уровень зрелости ИТ-инфраструктуры). Определяются заинтересованные стороны и их потребности в отношении данных.
+
+**Раздел 5. Лидерство и Политика качества данных**
+Высшее руководство демонстрирует лидерство, принимая Политику качества данных, которая включает:
+- обязательство соответствовать требованиям и непрерывно улучшать СМКД;
+- установление целей в области качества данных;
+- определение ролей (Data Owner, Data Steward, Data Custodian).
+
+**Раздел 6. Планирование**
+6.1 Действия в отношении рисков и возможностей: идентификация рисков для качества данных (например, дублирование записей, несвоевременный ввод) и планирование мер.
+6.2 Цели в области качества данных: конкретные измеримые показатели (полнота клиентской базы >99%, своевременность обновления транзакций – до 1 часа). Согласованы с политикой.
+
+**Раздел 7. Средства обеспечения**
+7.1 Ресурсы: выделяются человеческие, технологические (инструменты профилирования, очистки, мониторинга), финансовые ресурсы.
+7.2 Компетентность: лица, влияющие на качество данных, должны обладать знаниями в области ввода, обработки, анализа данных. Организуется обучение методам SPC для данных, использованию правил валидации.
+7.3 Осведомлённость: все сотрудники информируются о важности качества данных и их вкладе.
+7.4 Документированная информация: СМКД включает документированные процедуры по измерению, контролю, обработке несоответствующих данных, записи о качестве.
+
+**Раздел 8. Деятельность на этапах жизненного цикла данных** (аналог «Процессы» ISO 9001)
+Организация планирует и управляет процессами:
+- *Сбор/генерация данных*: входной контроль (форматы, диапазоны), валидация от поставщиков.
+- *Хранение и интеграция*: процедуры ETL с встроенными проверками согласованности, контроль дублирования.
+- *Обработка и анализ*: применение контрольных карт для ключевых метрик, выявление аномалий.
+- *Распространение и использование*: каталог данных с метаданными о качестве, информирование потребителей.
+- *Архивирование и удаление*: обеспечение сохранения качества при миграции.
+
+Для каждого процесса определены владельцы, критерии результативности и методы мониторинга.
+
+**Раздел 9. Оценка эффективности**
+9.1 Мониторинг, измерение, анализ и оценка: регулярный сбор статистики по измерениям качества данных (точность, полнота, своевременность, уникальность, согласованность). Используются контрольные карты Шухарта, диаграммы Парето для выявления основных дефектов.
+9.2 Внутренний аудит: проверки СМКД на соответствие требованиям.
+9.3 Анализ со стороны руководства: периодический обзор результативности СМКД, достижения целей, решений по улучшению.
+
+**Раздел 10. Улучшение**
+10.1 Несоответствия и корректирующие действия: при обнаружении дефектов данных (например, массовое нарушение целостности) проводятся коррекция (исправление данных) и анализ коренной причины (диаграмма Исикавы, «5 почему»), затем предупреждающие действия.
+10.2 Непрерывное улучшение: применяются методы Кайдзен, кружки качества данных для повышения культуры работы с данными, автоматизация проверок, обновление политик.
+
+**Приложение (справочное): Примеры инструментов TQM, адаптированных для качества данных**
+- Контрольная карта (p-chart) для доли записей с пропущенными полями.
+- Диаграмма Исикавы для анализа причин несвоевременного обновления.
+- Цикл PDCA: Plan – планирование целевого уровня точности, Do – внедрение правил валидации, Check – измерение процента ошибок, Act – корректировка правил.
+
+---
+
+Этот документ демонстрирует, как системный подход TQM/СМК, изначально разработанный для производственных процессов и услуг, переносится в управление данными, формируя полноценную Систему менеджмента качества данных, которая может быть сертифицирована по аналогии с ISO 9001.
+
+## 2
+### Отличие «Управление данными» (Data Management) от «Качество данных» (Data Quality)
+
+В профессиональной среде эти два понятия часто путают, однако они находятся на разных уровнях абстракции и имеют разный объём.
+
+**1. Определения из первоисточников**
+
+> **Data Management** — «разработка, выполнение и надзор за планами, политиками, программами и практиками, которые предоставляют, контролируют, защищают и повышают ценность данных и информационных активов на протяжении их жизненного цикла».  
+> — *DAMA-DMBOK2, Глава 1, стр. 17 (рус. перевод)*
+
+> **Data Quality** — «планирование, внедрение и контроль действий, которые применяют методы управления качеством к данным, чтобы гарантировать, что они пригодны для использования и удовлетворяют требованиям потребителей данных».  
+> — *DAMA-DMBOK2, Глава 11, стр. 397 (рус. перевод)*
+
+> **Data Quality (качество данных)** — «степень, в которой набор присущих характеристик данных удовлетворяет требованиям».  
+> — *ISO 8000-2:2020, п. 3.1.1*
+
+Таким образом:
+- *Data Management* — всеобъемлющая дисциплина, охватывающая **11 функциональных областей** (см. колесо DAMA): архитектура данных, моделирование, хранение, безопасность, интеграция, документы и контент, мастер-данные, хранилища и BI, метаданные, качество данных и data governance.
+- *Data Quality* — одна из этих областей, сфокусированная исключительно на измерении, контроле и улучшении характеристик данных (точность, полнота, своевременность, согласованность и др.) в соответствии с потребностями потребителей.
+
+**2. Наглядное соотношение в модели DAMA**
+
+В колесе DAMA «Качество данных» расположено на внешнем кольце как отдельная доменная функция, а «Управление данными» — это название всей дисциплины, включающей и центральное «Data Governance», и все 10 других областей.
+
+Таким образом, любое действие по улучшению качества данных (например, профилирование, очистка, внедрение правил валидации) — это часть практики «Управление данными», но не сводится к ней. Управление данными также решает вопросы архитектуры, безопасности, жизненного цикла, что не является непосредственной задачей качества данных.
+
+**3. Аналогия с производством**
+
+- *Управление производством* (Manufacturing Management) — охватывает снабжение, планирование мощностей, логистику, контроль качества и т.д.
+- *Контроль качества продукции* — только та часть, которая измеряет соответствие стандартам и инициирует корректировки.
+
+Точно так же Data Quality — подмножество Data Management, специализирующееся на «соответствии требованиям», тогда как Data Management отвечает за всю экосистему работы с данными.