doc/EA/DataQuality/README.md

Управление качеством данных

• Управление качеством данных: роли, процессы, инструменты
• Критерии качества данных
• Важность качества данных при внедрении ERP

Разное

• Data Pipeline
• Data Mesh

data engineer vs data scientist

• skillbox ;
• habr1 ; habr2
• it-academy

Точнее выделить Data-аналитик ("глубокий" анализ данных) и архитектор данных (бизнес-архитектор данных) - реест данных, MDM и т.п.

ЦБ

• Управление данными на финансовом рынке

tools

OpenMetaData

video

• https://vkvideo.ru/video-214144682_456239209 Сессия. Культура управления данными

2

• Модель данных для успешного бизнеса: от простоты к компромиссам
• https://github.com/bpmbpm/doc/blob/main/EA/DataQuality/bi.md#dq-bi
• Magic Quadrant for Intelligent Document Processing Solutions Intelligent Document Processing, IDP
• data-oriented ECS - Entity Component System (Сущность Компонент Система) ; https://habr.com/ru/articles/343778/ пример

3

• Капитализация данных osp.ru
• Управление метаданными по DMBOK

4

• hop.apache https://hop.apache.org/manual/latest/projects/metadata.html
• https://open-metadata.org/
• https://arenadata.tech/products/arenadata-catalog-data-quality-framework/ ; Arenadata Catalog

Data Cataloq

Каталог данных (качество данных)

• Современные каталоги данных: эволюция и применение больших языковых моделей OpenDataDiscovery. Только эта платформа, наряду с Open Metadata, поддерживает 10 характеристик из 11 максимально возможных для каталога данных. На Хабре за последние годы появилось несколько интересных публикаций на тему каталогов данных. Мне понравились статьи:
  • про Open Metadata из блога МКБ https://habr.com/ru/companies/mkb/articles/766716/
  • про Datahub из блога СберМаркета https://habr.com/ru/companies/sbermarket/articles/788402/
  • про Apache Atlas https://habr.com/ru/companies/glowbyte/articles/667834/
  • про своё решение от Тинькофф https://habr.com/ru/companies/oleg-bunin/articles/697220/ Как в Тинькофф создавали Data Catalog
  • про lineage моделей машинного обучения от Билайн. https://habr.com/ru/companies/beeline_tech/articles/807833/
• Жизненный цикл качества данных
• MDM системы и Data Catalog
• https://www.decosystems.ru/data-catalog/
• Data catalog есть, а пользы нет: Частые ошибки внедрения ; Хороший, плохой, злой: База данных, data catalog и AI
• Как мы выбирали Data Catalog, но в итоге оставили все как есть Lamoda Tech

5

• Apache Atlas – доступный data catalog
• Data catalog: от истории до сравнения решений
• Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции
• Data Governance и Бизнес: как найти общий язык

6

• Как мы построили витрины данных из разрозненных микросервисов
• Как за 22 часа я собрала полноценный UI-прототип корпоративной системы с помощью ИИ

DLS

• Data as Code на практике: создаём, версионируем и делимся модулями БД с помощью ArchDB
• язык описания данных DML (Microsoft Access SQL), DDL\SQL, ERD и т.п.