Привет, Хаброжители!

Во вторник разработчик переименовал столбец в рабочей базе. В четверг ключевой дашборд показал падение метрики, и никто не связал одно с другим. В понедельник руководство одобрило маркетинговую кампанию, чтобы вернуть ушедших пользователей. Через несколько недель выяснилось, что пользователи никуда не уходили, падение было следствием того самого переименования, а бюджет уже потрачен. Знакомая ситуация?

Решение — контракты данных. Они обеспечивают высокое качество данных и полный контроль над ними: описывают ожидания от данных, закрепляют владельцев активов, а их условия автоматически проверяются прямо в процессе CI/CD. Подход не новый, его успешно обкатывали в рамках DevOps и DevSecOps, и теперь применяют и к данным.

О чем книга?

Книга «Контракты данных. Разработка конвейеров продакшен-уровня» Чеда Сандерсона, Марка Фримена и Б. Э. Шмидта — практическое руководство по проектированию, внедрению и масштабированию контрактов данных.

Авторы разбирают архитектуру контрактов данных, объясняют, почему проблемы качества данных часто возникают из-за несогласованных изменений между командами, и показывают, как автоматизировать контроль на разных этапах жизненного цикла данных.

При этом речь не только о технологиях. Чтобы контракты данных работали в компании, необходимо договориться об ожиданиях, распределить ответственность между командами и научиться оценивать результаты внедрения.

Что внутри?

  • Реальные примеры использования контрактов данных.

  • Компоненты архитектуры контрактов данных: CI/CD, мониторинг, управление версиями и многое другое.

  • Инструменты с открытым исходным кодом для внедрения контрактов данных.

  • Архитектура контрактов данных как решение проблем качества данных.

  • Оценка бизнес-эффекта от внедрения контрактов.

  • Стратегия внедрения контрактов данных в компании.

Какую проблему решает?

Разработчики меняют код у себя, а дата-инженеры и аналитики узнают об этом случайно. Контракты данных решают эту проблему, фиксируя требования к данным в виде кода и автоматически проверяя их в CI/CD до попадания изменений в продакшен.

Для кого книга?

Для дата-инженеров, аналитиков, бэкенд-разработчиков и техлидов, желающих устранить хаос в слое данных и автоматизировать контроль их качества прямо в процессах CI/CD.

Об авторах
Чед Сандерсон

Эксперт по контрактам данных, генеральный директор и соучредитель компании Gable. Много пишет о качестве данных, ведет рассылку Data Products, основал сообщество Data Quality Camp. Живет в Сиэтле.

Марк Фримен

Инженер данных, общественный деятель в области здравоохранения, использует данные для решения социальных проблем. Окончил магистратуру Стэнфордского медицинского университета.

Б. Э. Шмидт

Креативный директор и писатель с двадцатилетним опытом работы в рекламе, контент-маркетинге и digital-стратегиях.

Ознакомиться с оглавлением
Полистать отрывок

Приобрести книгу «Контракты данных. Разработка конвейеров продакшен-уровня» можно на нашем сайте.

При покупке бумажного издания на сайте piter.com электронная книга высылается в подарок на ваш e-mail.

Для Хаброжителей действует скидка 25% по промокоду — DATACONTRACTS

Комментарии (0)