Сегодня прошел наш открытый семинар по проблемам современного тестирования. Хотелось бы поблагодарить всех участников за их интерес к данному семинару, а также за многочисленные вопросы. Как и было обещано, семинар состоял из трех основных секций. Первая секция была посвящена автоматизации тестирования. На ней мы рассмотрели и детально обсудили проблемы и преимущества автоматизации, в чем помогла нам замечательная презентация Максима Дорофеева “Обезьянки против роботов”. На мой взгляд более красиво и интересно ни у кого не получилось бы раскрыть данную проблему. Во второй части семинара мы перешли к проблемам современного тестирования, разобрались почему тестирование приложений отнимает столько времени. Выводы, которые должен был вынести для себя каждый участник:
- Найденные дефекты в приложении либо уменьшают тестовое покрытие, либо замедляют тестирование, либо происходит и то и другое
- Тестирование – это не написание тест кейсов, а скорее активность, которая должна проводиться тестировщиками для изучения и лучшего понимания приложения с целью его улучшения. Именно эта активность не может быть делегирована компьютеру
- Ни количество найденных багов, ни количество тест кейсов не может считаться метрикой для измерения продуктивности работы тестировщиков
В третьей части семинара участники узнали больше об изменениях, которые принесли Agile подходы в QA и какими качествами должен обладать тестировщик, чтобы найти себя в Agile команде. Были рассмотрены основные концепции и принципы тестирования в Agile проекте, а также отношения к требованиям, документации, работе с багами и многое другое. В завершении мы разобрали процесс постановки QA процесса в Scrum, который был предложен мной на одной из конференций Agile Ukraine (презентацию и видео можно найти в ресурсах). Мы проанализировали основные активности, которые должны делаться командой в итерации для достижения должного уровня качества продукта и избежания большей части известных проблем, а также практические советы из личного опыта для каждой из этих активностей. Я надеюсь что в результате каждый участник ушел с кучей мыслей и планов по улучшениям в своей команде или компании в целом.
После официальной части была организована неформальная дискуссия, в ходе которой каждый мог задать вопрос или поделиться своим опытом с другими. Было поднято множество интересных тем и дано немало полезных советов. Каждый, в том числе и я, узнал для себя что-то новое. Спасибо всем вам за участие! Надеюсь вы нашли семинар полезным для себя и расширили свои знания в области тестирования. Будем рады видеть вас на наших тренингах.
Была на семинаре 30.01.2009.
В тестировании 5 лет, 2 года работаем по SCRUM.
Тренинг больше полезен тем, кто собирается или только начал работать по Agile. Или вообще о таком подходе не слышал. (Возможно, есть смысл в анонсе семинара давать ссылку на статью в википедии про Agile.)
Показалось, что первая часть про преимущества и недостатки ручного и автоматизированного подходов затянута. Код лучше показывать полностью или не показывать (показать только XML). А так и посмотреть не дали (только начала вникать, сразу переключили), и время потратили.
В конце создалось ощущение, что многое рассказывают во второй раз. И что лучше бы второй раз не повторять, а оставить время на дискуссии.
Хотелось больше интерактива: вопросы в зал типа “как вы думаете”, “что самое важное”, “какие преимущества”. Хотелось больше обсуждений по ходу дела, но понимаю, что не так просто это контролировать, направлять и еще и уложиться во время.
Например, обозначили проблему с тест кейсами (неопределенность самого понятия, риск ухода от exploratory testing), можно сразу обсудить (спросить у зала, какие идеи), как эти проблемы минимизировать.
К сожалению, не смогла остаться на обсуждение. Замечания к таймингу. Возможно, надо планировать, что некотрое время уйдет на вопросы и ответы и объявлять, что семинар будет до 16:00 (например).
В целом много нового не узнала, но почерпнула для себя кое-что: попробую репортить баги в виде автоматических тестов; узнала, как доступно объяснить заказчику, почему тестирование некачественного приложения занимает больше времени.
Большое спасибо Николаю за труд. Очень хороший докладчик, отвечал на вопросы, но и не давал увести дискуссию в сторону от рассматриваемой темы.
Мне кажется такие семинары/тренинги хороши тем, что получаешь заряд бодрости и оптимизма и хочется быстро внедрить на своём проекте что-нибудь полезное 🙂
Николай, опубликуйте где-нибудь, пожалуйста, слайды второй части семинара.
Спасибо.
К сожалению некоторые материалов не могут быть опубликованы, так как являются частью тренинга. Остальные же доступны в ресурсах или видео. Извините за неудобства.
Громадное спасибо за семинар!!!!!
Было очень интересно и познавательно. Очень хорошо, что доклад основывался на практическом опыте Николая, так как приятно узнать, что «схема» QA процесса, описанная на семинаре, действительно применима в жизни.
Я думаю, многие и в том числе и я, задумываются об автоматизации своих тестов. Вот правда в тулах я не очень разбираюсь. И у меня сразу возник вопрос, а какой тул лучше использовать, если проект написан на SilverLight для Web application? Может кто-то посоветует?
Еще раз спасибо Вам, Николай, за семинар!
Спасибо большое за отзыв. Вопрос по поводу Silverlight лучше всего задать в группе “Agile Testing”: http://groups.google.com/group/acceptance-testing. Там может быть будут люди с опытом автоматизации такого рода тестирования.
Николай, спасибо за интересный семинар!
Очень понравилась Ваша способность четко определить проблемы тестирования; казалось бы, само собой разумеющиеся вещи, но все время их как-то упускаешь при обсуждениях из виду из-за вот этих “само собой” )))))
Планируем в скором времени использовать Ваши советы насчет внедрения автоматизированных тестов в уже “долгоиграющем” проекте и надеюсь, с выбором тулзовины определимся тоже ))))
(Кстати, не уверена, правильно ли я при обсуждении произносила название второй тулзы, если Вам будет интересно, то это WebAii (первичную информацию можно найти здесь http://www.artoftest.com/home.aspx))
Еще раз спасибо!
Николай, хотел поблагодарить вас за семинар 24.01 и вообще за вашу позицию в отношении разработки и тестирования софта.
Я работаю в компании, где про Agile никто не слышал, хотя неосознанно переход на его принципы потихоньку происходит (во всяком случае в моей голове 🙂 ).
Побывав на вашем семинаре, я понял насколько это актуальная тема. И особенно сейчас, когда наша компания взялась за разработку и внедрение совершенно новой системы, а ресурсов и опыта на это не хватает, и подходы устаревшие (даже попахивающие совком). Совершенно с вами согласен в том, что Agile идеология – это часть собственного роста и развития, а значит и компании в целом. Таким образом, внедрять его мешает пресловутая “разруха в головах”. Чтобы лучше представить ситуацию в нашей компании – простой пример на тему отношений QA и девелоперов: большинство последних пишут код и не утруждаются проверить его даже локально, бекенд программисты принципиально не смотрят результаты своего “труда” на UI’е, UIщики не интересуются бекендом и тп – ведь для всего этого есть QA тим 🙂 О том, чтобы обсуждать requirements вместе с QA’ем до девелопмента никто не задумывается (не смотря на мои намеки), как и о проблемах usability. Наша система разростается до невероятных размеров (она разрабатывается уже 7 лет), а нормальный automation testing до сих пор не внедрен. Думаю, с таким подходом мы бы давно развалились, если бы сами не являлись заказчиками своего же продукта 🙂
Время Agile настало, а вот как к нему прийти – непонятно. Наш management слишком занят текущими проблемами, чтобы начать думать о структурных изменениях процесса…
Anyway, Николай, спасибо! Вы открыли глаза! Все то, о чем я думал (видя несовершенство на работе), оказывается называется Agile. Теперь ставлю перед собой цель для нового этапа профессионального роста – работать в Agile команде. Как я этого добьюсь – уже другой вопрос, конечно…