Thucydides или собственный фреймворк - что лучше?!

Совсем недавно тут мы проводили достаточно интересный опрос - А какой webdriver framework используете Вы? И правда - сейчас существует достаточно богатый выбор уже готовых решений, осталось только выбрать подходящий. Или может всё таки использовать что-то своё? 

В этой статье я постараюсь проанализировать результаты опроса, высказать свои мысли по поводу результатов и попробую на их основании ответить на следующие вопросы:

1. Какими свойствами должен обладать фреймворк, чтобы быть на первом месте?
2. Почему чаще всего всё же используется «самописные» библиотеки?

Начнем по порядку.
Еще раз приведу результаты, на основании которых я делал выводы:

Тут же хотелось бы немного разделить фреймворки следующим образом:

в первой группе будут - Thucydides, Html Elements и Selenide

во второй - cucumber-jvm и jbehave.

Остальное пока оставим в стороне.

Я специально разделил их, так как всё-таки первые - это строго selenium фреймворки, а вторые - это фреймворки для BDD и их можно использовать как в связке с Webdriver, так и без нее.

Итак. Почему же результаты расположились именно таким образом? Анализ хотелось бы провести так же отдельно для разных групп.

Объем предоставляемых возможностей

Первое, что приходит на ум - это объем предоставляемых возможностей.

Тут, как и в опросе - явный лидер Thucydides. Это и полноценная поддержка Webdriver фич, и BDD, и достаточно симпатичный встроенный отчет. 

Если отталкиваться от этого показателя, то тогда на втором месте должен был бы быть Selenide, так как это - полноценный фреймворк для упрощения написания selenium тестов, в то время как Html Elements - это лишь небольшое облегчение работы с веб элементами в тестах.

Тут, кажется, selenide проиграл, так как он достаточно молод по сравнению с другими.

Возраст

Плавно перетекаем ко второму показателю - «возраст» наших «подсудимых». Разумно будет предположить, что от «выдержки» зависит и кол-во пользователей. 

И опять выигрывает Thucydides. И проигрывает Html Elements. Возможно, стоит рассматривать не время первого коммита в репозиторий, как я пытался это сделать, а выход в “продакшн”. Тут, к сожалению, достаточно сложно поймать даты, но по ощущениям - результаты опроса прямо пропорциональны дате выхода - чем раньше продукт был пущен в бой, тем больше у него голосов.

Порог вхождения

Третий показатель, который напрашивается - это так называемый порог вхождения, то есть насколько просто начать пользоваться библиотекой. 

Так как Html Elements самый небольшой из них - то тут, наверное, он берет первое место. На второе я бы поставил Selenide, он обладает неплохим и простым сайтом с документацией и видеопримерами. Сложнее всего видится вхождение и познание многообразия фич Thucydides. То есть в случае с этим показателем - результаты не совпадают с результатами опроса.

Популярность

Четвертый показатель - это количество ресурсов с примерами, разборами типичных ошибок и тп. Тут опять же лидирует Thucydides, проигрывает Selenide. И опять явно прослеживается зависимость на «возраст».

Раскрученность

Пятый - «раскрученность» - о чем больше говорят на различных семинарах, что больше на слуху? Время раскручивания Thusydides, наверное, уже позади, но он уже успел себя показать. И за счет этого - тут я бы тоже поставил его на первое место. Дальше - Html Elements. Просто за счет того, что он более стар, да и спикеров в компании разработчике Яндекс найдется не мало. К сожалению, опять проигрывает Selenide. Хотя, насколько видно, в последнее время он потихоньку начинает «раскрутку».

Исходя из вышесказанного - по сумме балов выигрывает Thucydides, второе место - Html Elements, третье - Selenide. Получился следующий пъедестал почета(да не судите строго, хочется как-то немного добавить красок в текст):

Хотя, кажется, что со временем результаты поменяются. Уже достаточно много слов было сказано и написано в упрек Thucydides, так что осмелюсь предположить, что не долго ему осталось находиться на вершине этого небольшого пьедестала. Я лично среди этих фреймворков сделаю ставку на Selenide. На мой взгляд у него может быть неплохое будущее.

Что же касается 2-х BDD фреймворков - cucumber, как мне кажется, выигрывает за счет так же своего возраста. По сути - фреймворки похожи друг на друга, обладают схожим набором фич. Так же cucmber есть и для многих языков программирования, что несомненно тоже дает ему пару балов вперед.

Подведя итоги первой части - давайте всё же попробуем ответить на вопрос - Какими свойствами должен обладать фреймворк, чтобы быть на первом месте?

Несмотря на то, что как видно из небольшого анализа(да и по логике вещей это кажется очевидным), очень важную роль играет «возраст», я бы не стал ставить его не первое место. На мой взгляд, из вышеописанных свойств самыми важными являются следующие:

1. обилие фич - наверное самый важный показатель. Чем больше «полезных» функций есть в библиотеке - тем им больше хочется пользоваться, заменив кучу подключенных библиотек одной. Тут, разумеется, очень важно обратить внимание на слово «полезные», ведь фреймворк может и содержать 100 различных фич, но они могут быть совершенно «неудобоваримыми» и неудобными на для использования.
2. порог вхождения и документация - фреймворк должно быть очень просто подключать, API должно быть легким в использовании, документации должно быть достаточно(но не много), и что не маловажно - должен быть приятный ресурс продукта. Лично для меня - важно, когда я захожу почитать о какой-то большой библиотеке и вижу понятный, хорошо сделанный сайт с хорошим описанием и примерами, с грамотной навигацией.
3. раскрученность - чем больше фреймворк на слуху, чем чаще о нем рассказывают на различных конференциях, блогах и тп - тем к нему больше тянутся люди.
   Но, разумеется, все эти показатели может совокупность следующих : уникальности и своевременности. Как в свое время, например, появился Selenium. 

В нашем опросе так же присутствовало еще несколько результатов, связанных с различными самописными фреймворками.

Результат "не использую java фреймворк" - это люди, пишущие не на Java. Чаще всего, наверное, используется python. Опять же за счет явно несложного порога вхождения.

А остальные два - они похожи по своей сути. Ведь чтобы использовать «чисто webdriver + java без наворотов" - всё равно приходится писать какой-то свой фреймворк?

И всё же - почему же автоматизаторы чаще используют что-то своё, а не прибегают к помощи уже написанных решений?

Тут можно придумать несколько возможных вариантов:

1. тесты пишет новичок автоматизатор. И ему достаточно сложно взять большой продукт и разобраться в нем, по этому он пишет свой, хотя, наверное, мог бы потратить намного меньше времени, взяв уже готовое решение. Но он учится, а лучшее обучение - через написание собственного кода. И за это мы его не будем ругать. Возможно, в бущущем, он будет использовать selenide или thusydides.
2. тесты пишет любой автоматизатор, который просто не знает о существовании того или иного фреймворка, по этому пишет своё. 
3. тесты пишет опытный автоматизатор. Он уже много раз использовал различные фреймворки, знает их плюсы и минусы, и за свой не малый срок работы сделал удобное и оптимальное решение, которое использует в своих проектах. Оно простое и отлично подходит под необходимые нужды.
4. существующие фреймворки не удовлетворяют требованиям. То есть потребуется очень много времени, чтобы «подпилить» нужные функции в уже существующем решении и намного проще и оптимальнее использовать своё.

Почему-то многие считают, что это плохо, писать свои фреймворки. На мой же взгляд - это очень даже хорошо. Существующие решения не всегда сделаны оптимально, а уж тем более не всегда оптимально используются для решения задач. То есть взять библиотеку из 1000 классов и использовать из нее 2 намного хуже, чем самому реализовать те самые нужные функции. Тем более, что через создание собственных фреймворков рождаются новые решения, которые в последствии приобретают популярность и используются множеством людей.

Автор : Сидельников Михаил

email: sidelnikovmike@gmail.com

2015 год.

для сайта http://automated-testing.info