Тест Джола по зрелости процессов
На митапе LeanDS#3 я проводил опрос участников по уровню зрелости их процессов. За основу я взял этот тест. Это простой бальный тест, в котором можно набрать от 1 до 13 баллов.
Автор теста Enda Ridge считает, что оценка ниже 10 должна вызывать беспокойство и утверждает, что многие команды болтаются в районе 3.
Что получилось у нас?
Как проводился тест
Вопросы я переделал под шкалу Лайкерта:
- Our results are reproducible
- We use use source control (like git)
- We create data pipeline that we can rebuild with one command
- We manage delivery to a schedule (use scrum/kanban, estimate work in hours. or any other method)
- We capture our objectives (scientific hypotheses)
- We rebuild pipelines frequently
- We track bugs in your models and your pipeline code
- We analyse the robustness of our models
- We translate model performance to business KPIs/metrics
- New candidates write code at interview
- We have access to scalable compute and storage
- Data Scientists can install libraries and packages without intervention by IT
- Data Scientists can deploy their models with minimal dependencies on engineering and infrastructure
Варианты ответов с количеством баллов я взял следующими:
- Strongly Disagree — 0
- Disagree — 0
- Undecided — 0
- Agree — 1
- Strongly Agree — 1
Количество баллов выше штука в целом спорная, но мне показалось, что так будет разумнее:
- Если вы не знаете, скорее всего практики нет
- Разница между “Совсем не согласен” и “не согласен” носит практически не различимый характер и зависит от темперамента отвечающего
- Agree скорее всего означает “бывает, что нарушаем” а Strongly Agree — “я свято верю, что не нарушаем”. Будем считать, что раз вы начали это делать, то с пути не свернете.
- Это больше соответствует духу изначальной бескомпромиссности теста Enda — либо 0 либо 1,
Дисклеймеры
- Выборка, безусловно, смещенная. Опрос проводился среди участников митапа по качеству и от них естественно ожидать более высокой зрелости.
- Количество ответов относительно небольшое — 43.
- Интересно наблюдать за трендами и изменениями, тем не менее некоторые выводы можно сделать и по точечному опросу.
Аудитория
Большинство — сайентисты и тимлиды/техлиды.
Зрелость процессов и что болит
Итак, медианная зрелость процессов (количество очков, набранных в тесте) равна 8. Посчитайте у себя по вопросам выше — набираете 8?
Это меньше порога в 10, определенного Enda, но значительно выше 3.
Лучше всего дело обстоит с контролем версий — 39 из 42 опрошенных используют его. Хуже всего с частой перестройкой пайплайнов данных. Впрочем, этот вопрос немного спорный.
Вторая часть страданий и боли — зависимость от внешних команд и инфраструктуры — лишь 21 из 42 такой боли не испытывают.
Кто более зрелый — консалтинг или продуктовые команды?
Я отдельно посчитал зрелость относительно типа сервиса:
Оказалось, что сервисы для конечных пользователей значительно более зрелые. Мне кажется, это достаточно легко объяснить. Зрелость во многом определяется потребностью со стороны бизнеса.
Внутренние пользователи нуждаются в DS-аналитике, там и сложность и скорость работы требуется намного меньшая.
Консалтинговые команды делают то, за что платят.
Что круче — канбан или скрам?
Отдельно мне было интересно посмотреть, какой процесс коррелирует с высокой технической зрелостью.
Разумеется, скрам и канбан гораздо круче, чем более древние процессы.
Канбан достаточно заметно опережает скрам по зрелости.
Распределение по зрелости:
Это соответствует моему опыту. Жизненный цикл ценности для бизнеса сильно больше спринта. Рано или поздно люди это замечают и отказ от скрама в пользу канбана кажется им разумным.
По времени наличия DS в компании
Средняя зрелость растет незначительно по времени. Возможно она больше зависит от зрелости членов команды, нежели от времени.
Выводы
- Медианная зрелость по тесту Joel — 8
- Канбан-команды более зрелые, чем скрам
- Продуктовые команды более зрелые, чем внутренние и внутренние более зрелые, чем консалтинговые.
Nota bene
Данные по опросу можно взять тут. Напишите мне, если я где-то налажал ? или если есть другие интересные Findings.
Хотите больше регулярной информации по управлению в DS — подпишитесь на наш канал в телеграмме @leands
Комментарии (293)-
I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article.
-
Compte Binance gratuit | Опубликовано в 07:04, 20.04.2024
Your point of view caught my eye and was very interesting. Thanks. I have a question for you.
-
Melden Sie sich an, um 100 USDT zu erhalten | Опубликовано в 05:04, 21.04.2024
Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
-
Binance注册 | Опубликовано в 11:04, 22.04.2024
Thanks for sharing. I read many of your blog posts, cool, your blog is very good.
-
binance代碼 | Опубликовано в 13:04, 22.04.2024
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
-
binance-а тркелу | Опубликовано в 21:04, 24.04.2024
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
-
Kayit Ol | Опубликовано в 08:04, 25.04.2024
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
-
bonus di riferimento binance | Опубликовано в 20:04, 25.04.2024
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
-
Binance US Pagpaparehistro | Опубликовано в 03:04, 26.04.2024
Thanks for sharing. I read many of your blog posts, cool, your blog is very good.
-
Створити безкоштовний акаунт | Опубликовано в 01:04, 27.04.2024
Thanks for sharing. I read many of your blog posts, cool, your blog is very good.
www.binance.com Регистрация | Опубликовано в 15:04, 19.04.2024