advertisement

Watson: Rethinking Test Reports. Selenium Camp 2014

50 %
50 %
advertisement
Information about Watson: Rethinking Test Reports. Selenium Camp 2014
Technology

Published on March 1, 2014

Author: kronar

Source: slideshare.net

Description

Reports… They have always been troublesome. Nobody wants to generate “any reports” after loads of hard work on hacking autotests. At the same time, team members are hardly satisfied with the reports they are provided. Even if your reports are decent at the moment, more than likely something will have to be changed when your automated test suite is two or three times larger. About what was “painful” and how we managed it, I will tell at Selenium Camp.
advertisement

Watson или как мы переосмыслили отчеты

О себе • В IT c 2006 • В автоматизации тестирования с 2007 • Руковожу автоматизацией с 2009 @PapaMinos http://test-failed.blogspot.com 62

Менеджер 63

Автоматизатор 64

Руководство 65

Research (1 week) 66

Proof of concept (month later) 67

История целиком 68

69

Лампочки – наше всё! 610

Очень хороший отчет 611

Обычное приложение 612

На самом деле 613

Лень 614

Лень 615

Жадность 616

«Сам дурак» 617

2+ года назад (декабрь 2011) 618

2+ года назад (декабрь 2011) 619

2 года назад (март 2012) Model-View report (TestNG+ReportNG) 620

Мы выросли • С 9 до 600 тестов • С 1 запуска в неделю до десятков в день • Отчеты стали читать разные люди и их тоже стало больше 621

Недостатки TestNG+ReportNG 1. 2. 3. 4. 5. 6. 7. Фильтрация + сортировка Неполный рендеринг Проблемы рендеринга Навигация Скриншоты+Верстка Невозможность расширить модель Не Real-time Невозможность анализа отчетов Проблемы подхода 622

Проблемы рендеринга • • • • • Одна страница Over 9000 скриншотов Куски верстки Полное отсутствие навигации Кое-что упущено 623

Невозможность расширить модель
 624

Real-Time? Не, не слышали. 625

Наша специфика 626

Один ко многим
 627

Вспомнить всё! Как проходил тест Z на окружениях Test и Production в течении последних двух недель ? 628

Watson - Ватсон, вы гей? - Холмс!?!.....Но как, черт возьми, вы узнали? - Это элементарно, Ватсон. Я вас просто спросил. 629

Watson • Хранение данных и отображение репортов • Отображение репортов real-time • Анализ метаинформации от тестов 630

Что хранить? 631

Логи 632

Маркеры 633

Ключи 634

Модель данных
 635

Модель данных
 636

Модель данных
 637

Demo 638

Watson: Архитектура 639

Watson: Под капотом • • • • • • • • Dropwizard (Jetty+Jackson+Jersey+Guava) Google Guice Google Charts (?) JQuery MongoDB Cache-и (их много) Свои руки и идеи коллег Прямые руки и «чЮфство прекрасного» верстальщиков 640

Watson: Features • • • • • • • Отчет по тестовому раунду Рендеринг отчета по каждому тесту Списки раундов Страница стабильности Аудит выполнения маркеров Страница времени выполнения маркеров Activity Stream по бегущим тестам 641

Watson: Coming soon • • • • • Анализ stacktrace-ов Группировка fail-ов по стектрейсам Известные дефекты Статистика работы страниц (Page, Actions) Формирование сьютов 642

Watson: Profit-ы • Рендеринг под себя • Real-Time • Анализируемость 643

Watson: мопед не мой (с) • • • • Facebook Scribe LinkedIn Apache Kafka (article) Cloudera Flume Spotify TRS (presentation, video) http://bit.ly/1hnN8LH 644

Это всё? 645

Спасибо! Никита Макаров 
 Руководитель группы автоматизации тестирования, Одноклассники nikita.makarov@odnoklassniki.ru ! !

И, да… есть  такая  работа  –  сидеть  в  «Одноклассниках»   ! http://v.ok.ru 647

Add a comment

Related presentations

Presentación que realice en el Evento Nacional de Gobierno Abierto, realizado los ...

In this presentation we will describe our experience developing with a highly dyna...

Presentation to the LITA Forum 7th November 2014 Albuquerque, NM

Un recorrido por los cambios que nos generará el wearabletech en el futuro

Um paralelo entre as novidades & mercado em Wearable Computing e Tecnologias Assis...

Microsoft finally joins the smartwatch and fitness tracker game by introducing the...

Related pages

Watson: rethinking test reports - Selenium Camp

Nikita Makarov. Odnoklassniki, Russia. He worked in outsourcing and at product companies, where he was responsible for testing and test automation of ...
Read more

Conference program - Selenium Camp

Conference program. ... Ideal test automation process or the full story about test pyramid. ... All rights reserved Selenium Camp ...
Read more

Selenium Camp 2014 (28.02 – 01.03, Киев) | McGray;s Tower

Selenium Camp 2014 ... В этом году Selenium Camp проходит уже в четвертый ... Watson: rethinking test reports from ...
Read more

Selenium Camp 2014 удался на славу - dataart.ru

Selenium Camp 2014 удался на ... Watson: Rethinking Test Reports. ... До встречи на Selenium Camp 2015!
Read more

alexmcgray.blogspot.com - McGray's Tower

Friday, March 14, 2014. Selenium Camp 2014 ... В этом году Selenium Camp проходит уже в ... Watson: rethinking test reports from ...
Read more

McGray;s Tower

Mar 14 2014. Selenium Camp ... В этом году Selenium Camp проходит уже в четвертый ... Watson: rethinking test reports from ...
Read more

Peliculotas

¿Qué podemos decir?. En Peliculotas nos dedicamos a subir peliculas completas en español latino sobre todos los géneros. Disfruta y comparte.
Read more

Google

Advertising Programmes Business Solutions +Google About Google Google.com © 2016 - Privacy - Terms. Search; Images; Maps; Play; YouTube; News; Gmail ...
Read more