Scrum vs Kanban — что лучше для DS проекта?

Я публиковал результаты воркшопа, где оказалось, что команды, использующие канбан, опережают скрам в уровне зрелости.

Что лучше подходит DS команде — скрам или канбан? В статье мы разберем за и против применения скрама и канбана.

Что такое Скрам в SWE и в чем его сакральный смысл?

Скрам чрезвычайно популярен в разработке ПО (Software Engineering, SWE). Давайте с вами попробуем разобраться почему.

Главная фишка скрама — спринты (итерации). Вот основные принципы:

• У спринта есть цель спринта. Спринт считается успешным, если команда добилась цели спринта.
• Баклог (план) спринта состоит из пользовательских историй. Каждая пользовательская история имеет ценность для пользователя.
• Пользовательские истории начинаются в спринте и доделываются внутри спринта до конца. Если точнее, они должны соответствовать Definition of Done. В зрелых командах это означает, что пользовательская история разработана, протестирована, баги найдены, исправлены и закрыты, продукт задеплоен на stage или prod

Что дает команде такая работа?

• Цель спринта обеспечивает фокус на результате. Грубо говоря, есть чем похвастаться каждый спринт
• Короткий Time to Market. От момента старта разработки до поставки проходит один спринт, в большинстве команд это 2 недели
• Это очень упрощает планирование. Если мы на самом деле фокусируемся на доделывании до конца наших пользовательских историй, то мы не тянем в следующий спринт доделки и баги с прошлых спринтов. Тогда все прозрачно и понятно!

Что отличает Data Science проекты?

Аналогом пользовательской истории в DS является гипотеза. Точно так же, как и пользовательская история, она имеет следующие свойства:

• имеет понятную и измеримую ценность для пользователя или бизнеса,
• может быть доделана до конца,
• выражена языком бизнеса

Большинство DS команд сталкивается со следующей проблемой:

Гипотезу практически невозможно доделать до конца (валидировать) в течении спринта

У гипотезы очень длинный жизненный цикл. Например, в CRISP-DM он выглядит так:

• Business Understanding
• Data Understanding
• Data Preparation
• Modeling
• Evaluation
• Deployment

Сколько времени нужно для валидации гипотезы? Везде по разному, обычно называют цифры от нескольких недель до нескольких месяцев.

Это очень много, по крайней мере в сравнении со скоростью реализации обычной пользовательской истории. В SWE типичное количество пользовательских историй — от 3 до 8 доделанных от начала до конца за спринт.

Второе важное отличие Data Science проектов заключается в следующем. Data Science — discovery process. Каждая гипотеза может с высокой вероятностью провалится и относительно небольшой процент гипотез доезжает до прода и приносит ценность.

SWE — delivery process. С трудом можно представить, чтобы разумно сформулированную пользовательскую историю не удалось доделать или хотя бы показать заказчику.

Чем отличается канбан

В канбан по доске явным образом визуализируется передвижение гипотез по их жизненному циклу.

Разбиение на отдельные задачи делается в виде чеклиста прямо под гипотезой. Команды стараются поддерживать его в актуальном состоянии, добавляя новые задачи или удаляя ненужные по мере надобности.

Гипотезы могут отфильтровываться сразу же, не дожидаясь конца спринта.

Как скрам работает в Data Science

Но ведь множество команд работают по скрам! Как они это делают?

• Никакой разумной цели спринта, как правило, поставить не получается. Даже если вдруг мы формулируем цель, достичь ее к концу спринта практически невозможно
• В конце спринта есть куча недоделанной работы, которая в конце просто переносится на следующий спринт
• Внутри спринта из-за discovery-характера DS проектов может случиться нечто, что полностью уничтожает смысл доделывать спринт до конца

По-сути, спринт превращается в регулярную отбивку времени, просто обозначает частоту встреч команды по планированию.

Как выглядит план спринта? Внутри спринта может оказаться подготовка данных одной гипотезы, моделирование другой, А/Б тестирование третей. При этом из названия задач не понятно, к какой гипотезе она относится, да и сами гипотезы явно не формулируются.

Основная претензия к планированию в стиле скрам — непрозрачность статуса гипотез. Все это усложняет планирование. Приходится контролировать недоделанные работы, переносить их из спринта в спринт, учитывать старые баги.

Эта нагрузка ложится на тимлида. В чертогах его разума находится информация о реальном состоянии дел DS проекта и очень часто нигде больше.

Почему многие команды выбирают скрам?

Мне кажется, тут играет роль некий психологический фактор. Планирование спринта выглядит так: каждый DS набирает себе работы на две недели. Это дает ощущение контроля за происходящим и приятное удовлетворение тем, что все заняты и никто не бездельничает.

Это абсолютно оправдано, если в команде по какой-то причине полно бездельников, которые норовят слиться с работы. Совет тут может быть только один — не надо таких нанимать.

Когда скрам будет более эффективным выбором

Скрам прекрасный подход и его применение в DS разумно, если:

• За спринт вы успеваете провалидировать 3-8 гипотез от начала до конца
• Почти все эти гипотезы попадают в прод

Такое на самом деле возможно. Например, ваша модель давно в проде и вы просто добавляете к ней новые кейсы. При этом у вас очень мало блокирующих факторов. Например, все данные компании доступны в DWH и в прекрасном состоянии.

Фактически, речь идет о команде, поддерживающей уже работающую модель.

Во всех других случаях канбан мне кажется более разумным выбором.

Комментарии (4940)

1. binance kods | Опубликовано в 02:07, 01.07.2023 Ответить

   Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me. https://www.binance.com/lv/register?ref=T7KCZASX

2. Libreng Binance Account | Опубликовано в 19:07, 01.07.2023 Ответить

   I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article. https://accounts.binance.com/ph/register?ref=53551167

3. Meilleur code de parrainage Binance | Опубликовано в 19:07, 02.07.2023 Ответить

   Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me? https://accounts.binance.com/fr/register?ref=WTOZ531Y

4. Εγγραφ | Опубликовано в 04:07, 04.07.2023 Ответить

   Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me? https://accounts.binance.com/el/register?ref=RQUR4BEO

5. Inscrivez-vous pour obtenir 100 USDT | Опубликовано в 18:07, 04.07.2023 Ответить

   Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me? https://accounts.binance.com/fr/register-person?ref=FIHEGIZ8

6. أنابيب uPVC | Опубликовано в 15:07, 08.07.2023 Ответить

   يتضح التزام إيليت بايب Elite Pipe بإرضاء العملاء في جداول التسليم الفوري وخدمة ما بعد البيع الاستثنائية.

7. melhor código de indicac~ao da binance | Опубликовано в 12:07, 11.07.2023 Ответить

   Your article helped me a lot, is there any more related content? Thanks! https://accounts.binance.com/pt-BR/register?ref=WTOZ531Y

8. Bonus de parrainage Binance | Опубликовано в 04:07, 12.07.2023 Ответить

   Your point of view caught my eye and was very interesting. Thanks. I have a question for you. https://www.binance.com/fr/register?ref=DB40ITMB

9. جدول مواسير hdpe | Опубликовано в 23:07, 18.07.2023 Ответить

   The factory’s uPVC fittings are designed with meticulous attention to detail, ensuring secure and tight connections that minimize the risk of leaks or failures. Elitepipe Plastic Factory

10. elitepipeiraq.com | Опубликовано в 20:07, 19.07.2023 Ответить

    ElitePipe Plastic Factory is proud to introduce our comprehensive range of high-quality plastic piping solutions in Iraq. ?? ? Discover our product offerings: 1️⃣ HDPE Pipes: Our High-Density Polyethylene (HDPE) pipes are perfect for water supply, irrigation, and industrial applications. They boast exceptional durability, flexibility, and corrosion resistance. 2️⃣ UPVC Pipes: Unplasticized Polyvinyl Chloride (UPVC) pipes are ideal for sewerage, drainage, and plumbing systems. Count on their reliability and longevity for efficient infrastructure. 3️⃣ LDPE Pipes: Our Low-Density Polyethylene (LDPE) pipes are specifically designed for agricultural applications, including drip irrigation. Optimize your farming operations with these high-performance pipes. 4️⃣ Butt Welding Machines: We offer state-of-the-art Butt Welding Machines, ensuring seamless and reliable jointing of plastic pipes. Trust our machines for efficient and sturdy connections. 5️⃣ Electrofusion Welding EF Machines: Experience the latest in welding technology with our Electrofusion Welding EF Machines. Achieve precise and secure fusion of pipes, guaranteeing long-lasting performance. 6️⃣ Fittings: Elite Pipe Plastic Factory provides a wide range of fittings to complement our pipes. From connectors to adaptors, our fittings ensure leak-free connections and smooth flow. 7️⃣ Electrofusion Fittings: Our Electrofusion Fittings are engineered to perfection, enabling effortless installation and superior performance. Trust these fittings for secure joints and longevity. 8️⃣ Agriculture Pipe: Designed specifically for agricultural use, our pipes offer efficient water distribution and irrigation solutions. Maximize your crop yield with our top-quality agriculture pipes. 9️⃣ HDPE Cable: Count on our HDPE Cable conduits for reliable protection and management of electrical cables. These durable conduits ensure safety and longevity for your electrical installations. ? GRP Pipe: Our Glass Reinforced Plastic (GRP) pipes offer exceptional strength and corrosion resistance. Perfect for various applications, including water transport and industrial processes. 1️⃣1️⃣ Sprinkler Pipe: Elite Pipe Plastic Factory delivers high-performance sprinkler pipes, providing efficient water distribution for agricultural and landscaping needs. Achieve optimal irrigation with our reliable pipes. 1️⃣2️⃣ Valves: We offer a wide range of valves to control and regulate the flow of fluids in your piping systems. Our valves ensure precise control, durability, and efficiency. ? At Elite Pipe Plastic Factory, we are dedicated to delivering top-notch products that exceed expectations. We combine advanced technology, rigorous quality control, and industry expertise to provide you with the best plastic piping solutions. ? Experience excellence in plastic piping with Elite Pipe Plastic Factory! Contact us today to discuss your requirements and witness the difference our products can make in your projects. ???