Scrum vs Kanban — что лучше для DS проекта?

Я публиковал результаты воркшопа, где оказалось, что команды, использующие канбан, опережают скрам в уровне зрелости.

Что лучше подходит DS команде — скрам или канбан? В статье мы разберем за и против применения скрама и канбана.

Что такое Скрам в SWE и в чем его сакральный смысл?

Скрам чрезвычайно популярен в разработке ПО (Software Engineering, SWE). Давайте с вами попробуем разобраться почему.

Главная фишка скрама — спринты (итерации). Вот основные принципы:

• У спринта есть цель спринта. Спринт считается успешным, если команда добилась цели спринта.
• Баклог (план) спринта состоит из пользовательских историй. Каждая пользовательская история имеет ценность для пользователя.
• Пользовательские истории начинаются в спринте и доделываются внутри спринта до конца. Если точнее, они должны соответствовать Definition of Done. В зрелых командах это означает, что пользовательская история разработана, протестирована, баги найдены, исправлены и закрыты, продукт задеплоен на stage или prod

Что дает команде такая работа?

• Цель спринта обеспечивает фокус на результате. Грубо говоря, есть чем похвастаться каждый спринт
• Короткий Time to Market. От момента старта разработки до поставки проходит один спринт, в большинстве команд это 2 недели
• Это очень упрощает планирование. Если мы на самом деле фокусируемся на доделывании до конца наших пользовательских историй, то мы не тянем в следующий спринт доделки и баги с прошлых спринтов. Тогда все прозрачно и понятно!

Что отличает Data Science проекты?

Аналогом пользовательской истории в DS является гипотеза. Точно так же, как и пользовательская история, она имеет следующие свойства:

• имеет понятную и измеримую ценность для пользователя или бизнеса,
• может быть доделана до конца,
• выражена языком бизнеса

Большинство DS команд сталкивается со следующей проблемой:

Гипотезу практически невозможно доделать до конца (валидировать) в течении спринта

У гипотезы очень длинный жизненный цикл. Например, в CRISP-DM он выглядит так:

• Business Understanding
• Data Understanding
• Data Preparation
• Modeling
• Evaluation
• Deployment

Сколько времени нужно для валидации гипотезы? Везде по разному, обычно называют цифры от нескольких недель до нескольких месяцев.

Это очень много, по крайней мере в сравнении со скоростью реализации обычной пользовательской истории. В SWE типичное количество пользовательских историй — от 3 до 8 доделанных от начала до конца за спринт.

Второе важное отличие Data Science проектов заключается в следующем. Data Science — discovery process. Каждая гипотеза может с высокой вероятностью провалится и относительно небольшой процент гипотез доезжает до прода и приносит ценность.

SWE — delivery process. С трудом можно представить, чтобы разумно сформулированную пользовательскую историю не удалось доделать или хотя бы показать заказчику.

Чем отличается канбан

В канбан по доске явным образом визуализируется передвижение гипотез по их жизненному циклу.

Разбиение на отдельные задачи делается в виде чеклиста прямо под гипотезой. Команды стараются поддерживать его в актуальном состоянии, добавляя новые задачи или удаляя ненужные по мере надобности.

Гипотезы могут отфильтровываться сразу же, не дожидаясь конца спринта.

Как скрам работает в Data Science

Но ведь множество команд работают по скрам! Как они это делают?

• Никакой разумной цели спринта, как правило, поставить не получается. Даже если вдруг мы формулируем цель, достичь ее к концу спринта практически невозможно
• В конце спринта есть куча недоделанной работы, которая в конце просто переносится на следующий спринт
• Внутри спринта из-за discovery-характера DS проектов может случиться нечто, что полностью уничтожает смысл доделывать спринт до конца

По-сути, спринт превращается в регулярную отбивку времени, просто обозначает частоту встреч команды по планированию.

Как выглядит план спринта? Внутри спринта может оказаться подготовка данных одной гипотезы, моделирование другой, А/Б тестирование третей. При этом из названия задач не понятно, к какой гипотезе она относится, да и сами гипотезы явно не формулируются.

Основная претензия к планированию в стиле скрам — непрозрачность статуса гипотез. Все это усложняет планирование. Приходится контролировать недоделанные работы, переносить их из спринта в спринт, учитывать старые баги.

Эта нагрузка ложится на тимлида. В чертогах его разума находится информация о реальном состоянии дел DS проекта и очень часто нигде больше.

Почему многие команды выбирают скрам?

Мне кажется, тут играет роль некий психологический фактор. Планирование спринта выглядит так: каждый DS набирает себе работы на две недели. Это дает ощущение контроля за происходящим и приятное удовлетворение тем, что все заняты и никто не бездельничает.

Это абсолютно оправдано, если в команде по какой-то причине полно бездельников, которые норовят слиться с работы. Совет тут может быть только один — не надо таких нанимать.

Когда скрам будет более эффективным выбором

Скрам прекрасный подход и его применение в DS разумно, если:

• За спринт вы успеваете провалидировать 3-8 гипотез от начала до конца
• Почти все эти гипотезы попадают в прод

Такое на самом деле возможно. Например, ваша модель давно в проде и вы просто добавляете к ней новые кейсы. При этом у вас очень мало блокирующих факторов. Например, все данные компании доступны в DWH и в прекрасном состоянии.

Фактически, речь идет о команде, поддерживающей уже работающую модель.

Во всех других случаях канбан мне кажется более разумным выбором.

Комментарии (4922)

1. polyethylene pipe welder | Опубликовано в 02:07, 22.07.2023 Ответить

   تشتهر تجهيزات HDPE من إيليت بايب Elite Pipe بتعدد استخداماتها ، مما يسمح بوصلات آمنة وفعالة في تطبيقات متنوعة مثل إمدادات المياه وتوزيع الغاز وخطوط الأنابيب الصناعية.

2. 60 hdpe pipe | Опубликовано в 22:07, 23.07.2023 Ответить

   I truly appreciate your technique of writing a blog. I added it to my bookmark site list and will

3. أسعار بايب | Опубликовано в 06:07, 24.07.2023 Ответить

   The Elitepipe Plastic Factory in Iraq serves as a catalyst for infrastructure development, providing the market with superior HDPE, uPVC pipes, and fittings that contribute to the growth and success of various sectors. Elitepipe Plastic Factory

4. bbc persian | Опубликовано в 22:07, 24.07.2023 Ответить

   it’s awesome article. I look forward to the continuation.

5. kcal 9 news live | Опубликовано в 02:07, 27.07.2023 Ответить

   Good article with great ideas! Thank you for this important article. Thank you very much for this wonderful information.

6. racing tv | Опубликовано в 03:07, 27.07.2023 Ответить

   Greetings! Very helpful advice in this particular article! It is the little changes which will make the most important changes. Thanks a lot for sharing!

7. newsmax tv | Опубликовано в 03:07, 27.07.2023 Ответить

   Some really excellent info, I look forward to the continuation.

8. sky news live | Опубликовано в 06:07, 27.07.2023 Ответить

   Nice post. I learn something new and challenging on blogs I stumbleupon on a daily basis.

9. hdpe pipe for compressed air | Опубликовано в 07:07, 27.07.2023 Ответить

   يتجلى تفاني المصنع في الجودة في الأداء المتفوق لأنابيب HDPE ، والمعروفة بقوتها ومتانتها الاستثنائية.

10. equidia live | Опубликовано в 14:07, 27.07.2023 Ответить

    Wonderful post! We will be linking to this great article on our site. Keep up the great writing