Тест Джола по зрелости процессов

Асхат Уразбаев • 18 Фев в 13:27

На митапе LeanDS#3 я проводил опрос участников по уровню зрелости их процессов. За основу я взял этот тест. Это простой бальный тест, в котором можно набрать от 1 до 13 баллов.

Автор теста Enda Ridge считает, что оценка ниже 10 должна вызывать беспокойство и утверждает, что многие команды болтаются в районе 3.

Что получилось у нас?

Как проводился тест

Вопросы я переделал под шкалу Лайкерта:

  1. Our results are reproducible
  2. We use use source control (like git)
  3. We create data pipeline that we can rebuild with one command
  4. We manage delivery to a schedule (use scrum/kanban, estimate work in hours. or any other method)
  5. We capture our objectives (scientific hypotheses)
  6. We rebuild pipelines frequently
  7. We track bugs in your models and your pipeline code
  8. We analyse the robustness of our models
  9. We translate model performance to business KPIs/metrics
  10. New candidates write code at interview
  11. We have access to scalable compute and storage
  12. Data Scientists can install libraries and packages without intervention by IT
  13. Data Scientists can deploy their models with minimal dependencies on engineering and infrastructure

Варианты ответов с количеством баллов я взял следующими:

  • Strongly Disagree — 0
  • Disagree — 0
  • Undecided — 0
  • Agree — 1
  • Strongly Agree — 1

Количество баллов выше штука в целом спорная, но мне показалось, что так будет разумнее:

  • Если вы не знаете, скорее всего практики нет
  • Разница между “Совсем не согласен” и “не согласен” носит практически не различимый характер и зависит от темперамента отвечающего
  • Agree скорее всего означает “бывает, что нарушаем” а Strongly Agree — “я свято верю, что не нарушаем”. Будем считать, что раз вы начали это делать, то с пути не свернете.
  • Это больше соответствует духу изначальной бескомпромиссности теста Enda — либо 0 либо 1,

Дисклеймеры

  • Выборка, безусловно, смещенная. Опрос проводился среди участников митапа по качеству и от них естественно ожидать более высокой зрелости.
  • Количество ответов относительно небольшое — 43.
  • Интересно наблюдать за трендами и изменениями, тем не менее некоторые выводы можно сделать и по точечному опросу.

Аудитория

 

Большинство — сайентисты и тимлиды/техлиды.

Зрелость процессов и что болит

Итак, медианная зрелость процессов (количество очков, набранных в тесте) равна 8. Посчитайте у себя по вопросам выше — набираете 8?

 

Это меньше порога в 10, определенного Enda, но значительно выше 3.

Лучше всего дело обстоит с контролем версий — 39 из 42 опрошенных используют его. Хуже всего с частой перестройкой пайплайнов данных. Впрочем, этот вопрос немного спорный.

Вторая часть страданий и боли — зависимость от внешних команд и инфраструктуры — лишь 21 из 42 такой боли не испытывают.

Кто более зрелый — консалтинг или продуктовые команды?

Я отдельно посчитал зрелость относительно типа сервиса:

Оказалось, что сервисы для конечных пользователей значительно более зрелые. Мне кажется, это достаточно легко объяснить. Зрелость во многом определяется потребностью со стороны бизнеса.

Внутренние пользователи нуждаются в DS-аналитике, там и сложность и скорость работы требуется намного меньшая.

Консалтинговые команды делают то, за что платят.

Что круче — канбан или скрам?

Отдельно мне было интересно посмотреть, какой процесс коррелирует с высокой технической зрелостью.

Разумеется, скрам и канбан гораздо круче, чем более древние процессы.

Канбан достаточно заметно опережает скрам по зрелости.

Распределение по зрелости:

Это соответствует моему опыту. Жизненный цикл ценности для бизнеса сильно больше спринта. Рано или поздно люди это замечают и отказ от скрама в пользу канбана кажется им разумным.

По времени наличия DS в компании

Средняя зрелость растет незначительно по времени. Возможно она больше зависит от зрелости членов команды, нежели от времени.

Выводы

  • Медианная зрелость по тесту Joel — 8
  • Канбан-команды более зрелые, чем скрам
  • Продуктовые команды более зрелые, чем внутренние и внутренние более зрелые, чем консалтинговые.

Nota bene

Данные по опросу можно взять тут. Напишите мне, если я где-то налажал ? или если есть другие интересные Findings.

Хотите больше регулярной информации по управлению в DS — подпишитесь на наш канал в телеграмме @leands

Комментарии (502)

  1. 打开Binance账户 | Опубликовано в 19:04, 28.04.2023 Ответить

    Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me. https://accounts.binance.com/zh-CN/register-person?ref=JHQQKNKN

  2. Melden Sie sich an, um 100 USDT zu erhalten | Опубликовано в 13:04, 29.04.2023 Ответить

    Your point of view caught my eye and was very interesting. Thanks. I have a question for you. https://accounts.binance.com/de-CH/register?ref=IJFGOAID

  3. Code de parrainage Binance | Опубликовано в 10:04, 30.04.2023 Ответить

    Thanks for sharing. I read many of your blog posts, cool, your blog is very good. https://accounts.binance.com/fr/register-person?ref=V2H9AFPY

  4. bester binance Empfehlungscode | Опубликовано в 12:05, 02.05.2023 Ответить

    I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article. https://www.binance.com/de-CH/register?ref=FIHEGIZ8

  5. gate.io türkiye | Опубликовано в 23:05, 02.05.2023 Ответить

    I am sorting out relevant information about gate io recently, and I saw your article, and your creative ideas are of great help to me. However, I have doubts about some creative issues, can you answer them for me? I will continue to pay attention to your reply. Thanks.

  6. gate io nedir | Опубликовано в 06:05, 03.05.2023 Ответить

    I am sorting out relevant information about gate io recently, and I saw your article, and your creative ideas are of great help to me. However, I have doubts about some creative issues, can you answer them for me? I will continue to pay attention to your reply. Thanks.

  7. gateio | Опубликовано в 12:05, 03.05.2023 Ответить

    I am an investor of gate io, I have consulted a lot of information, I hope to upgrade my investment strategy with a new model. Your article creation ideas have given me a lot of inspiration, but I still have some doubts. I wonder if you can help me? Thanks.

  8. Kayıt Ol | Опубликовано в 13:05, 03.05.2023 Ответить

    I am an investor of gate io, I have consulted a lot of information, I hope to upgrade my investment strategy with a new model. Your article creation ideas have given me a lot of inspiration, but I still have some doubts. I wonder if you can help me? Thanks.

  9. gate.io | Опубликовано в 20:05, 03.05.2023 Ответить

    I am an investor of gate io, I have consulted a lot of information, I hope to upgrade my investment strategy with a new model. Your article creation ideas have given me a lot of inspiration, but I still have some doubts. I wonder if you can help me? Thanks.

  10. binance úcet | Опубликовано в 21:05, 03.05.2023 Ответить

    I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article. https://accounts.binance.com/sk/register?ref=PORL8W0Z

Добавить комментарий

ХОЧЕШЬ ЗНАТЬ ВСЕ НОВОСТИ LEANDS?

Подписывайся на наш телеграм-канал @leands

Подписаться