Программа сложной структуры с использованием меню

путей. Поэтому при структурном тестировании необходимо использовать другие

критерии его полноты, позволяющие достаточно просто контролировать их

выполнение, но не дающие гарантии полной проверки логики программы.

Но даже если предположить, что удалось достичь полного структурного

тестирования некоторой программы, в ней тем не менее могут содержаться

ошибки, т.к.

1) программа может не соответствовать своей внешней

спецификации, что в частности, может привести к тому, что в ее управляющем

графе окажутся пропущенными некоторые необходимые пути ;

2) не будут обнаружены ошибки, появление которых

зависит от обрабатываемых данных (т.е. на одних исходных данных программа

работает правильно, а на других - с ошибкой).

Таким образом, ни структурное, ни функциональное тестирование не

может быть исчерпывающим. Рассмотрим подробнее основные этапы тестирования

программных комплексов.

В тестирование многомодульных программных комплексов можно выделить

четыре этапа :

1) тестирование отдельных модулей ;

2) совместное тестирование модулей ;

3) тестирование функций программного комплекса (т.е.

поиск различий между разработанной программой и ее внешней спецификацией )

;

4) тестирование всего комплекса в целом (т.е. поиск

несоответствия созданного программного продукта сформулированным ранее

целям проектирования, отраженным обычно в техническом задании).

На первых двух этапах используются прежде всего методы структурного

тестирования, т.к.

на последующих этапах тестирования эти методы

использовать сложнее из-за больших размеров проверяемого программного

обеспечения ;

последующие этапы тестирования ориентированы на

обнаружение ошибок различного типа, которые не обязательно связаны с

логикой программы.

При тестировании как отдельных модулей, так и их комплексов должны

быть решены две задачи :

1) построение эффективного множества тестов ;

2) выбор способа комбинирования (сборки) модулей

при создании трестируемого варианта программы .

СТРУКТУРНОЕ ТЕСТИРОВАНИЕ .

Поскольку исчерпывающее структурное тестирование невозможно,

необходимо выбрать такие критерии его полноты, которые допускали бы их

простую проверку и облегчали бы целенаправленный подбор тестов.

Наиболее слабым из критериев полноты структурного тестирования

является требование хотя бы однократного выполнения (покрытия) каждого

оператора программы.

Более сильным критерием является так называемый критерий С1 : каждая

ветвь алгоритма (каждый переход) должна быть пройдена (выполнена) хотя бы

один раз. Для большинства языков программирования покрытие переходов

обеспечивает и покрытие операторов, но , например, для программ на языке

ПЛ/1 дополнительно к покрытию всех ветвей требуется всех дополнительных

точек входа в процедуру (задаваемых операторами ENTRY) и всех ON - единиц.

Использование критерия покрытия условий может вызвать подбор тестов,

обеспечивающих переход в программе, который пропускается при использовании

критерия С1 (например, в программе на языке Паскаль, использующей

конструкцию цикла WHILE х AND y DO... , применение критерия покрытия

условий требует проверки обоих вариантов выхода из цикла : NOT x и NOT

y ).

С другой стороны покрытие условий может не обеспечивать покрытия

всех переходов. Например, конструкция IF A AND B THEN... требует по

критерию покрытия условий двух тестов (например, A=true, B=false и

A=false, B=true ), при которых может не выполняться оператор,

расположенный в then - ветви оператора if.

Практически единственным средством, предоставляемым современными

системами программирования, является возможность определения частоты

выполнения различных операторов программы (ее профилизации). Но с помощью

этого инструмента поддержки тестирования можно проверить выполнение только

слабейшего из критериев полноты - покрытие всех операторов.

Правда, с помощью этого же инструмента можно проверить и выполнение

критерия С1. Но для этого предварительно текст программы должен быть

преобразован таким образом, чтобы все конструкции условного выбора (IF и

CASE

10

или SWITCH ) содержали ветви ELSE или DEFAULT, хотя бы и пустые. В этом

случае все ветви алгоритма , не выполнявшиеся на данном тесте будут

“видимы” из таблицы частоты выполнения операторов преобразованной

программы.

Актуальной остается задача создания инструментальных средств,

позволяющих :

1) накапливать информации о покрытых и непокрытых

ветвях для всех использованных тестов ;

2) выделять разработчику еще не покрытые при

тестировании участки программы, облегчая выбор следующих тестов ;

3) поддерживать более мощные критерии полноты

структурного тестирования.

Совместное тестирование модулей.

Известны два подхода к совместному тестированию модулей : пошаговое

и монолитное тестирование.

При монолитном тестировании сначала по отдельности тестируются все

модули программного комплекса, а затем все они объединяются в рабочую

программу для комплексного тестирования.

При пошаговом тестировании каждый модуль для своего тестирования

подключается к набору уже проверенных модулей.

В первом случае для автономного тестирования каждого модуля

требуется модуль - драйвер ( то есть вспомогательный модуль, имитирующий

вызов тестируемого модуля) и один или несколько модулей - заглушек ( то

есть вспомогательных модулей, имитирующих работу модулей, вызываемых из

тестируемого). При пошаговом тестировании модули проверяются не

изолированно друг от друга, поэтому требуются либо только драйверы, либо

только заглушки.

А

B C D

E F

рис. 1

12

При сравнении пошагового и монолитного тестирования можно отметить

следующие преимущества первого подхода :

1) меньшая трудоемкость (для примера на рис.1 при

монолитном тестировании требуются 5 драйверов и 5 заглушек ; при пошаговом

тестировании требуются или только 5 драйверов - если модули подключаются

“снизу вверх ”, - или только 5 заглушек - если модули подключаются “сверху

вниз”) ;

2) более раннее обнаружение ошибок в

интерфейсах между модулями (их сборка начинается раньше, чем при

монолитном тестировании ) ;

3) легче отладка, то есть локализация ошибок

(они в основном связаны с последним из подключенных модулей ) ;

4) более совершенны результаты тестирования

(более тщательная проверка совместного использования модулей).

Есть приемущества и у монолитного тестирования :

1) меньше расход машинного времени (хотя из-за

большей сложности отладки может потребоваться дополнительная проверка

программы и это приемущество будет сведено на нет) ;

2) предоставляется больше возможностей для

организации параллельной работы на начальном этапе тестирования.

В целом более целесообразным является выбор пошагового

тестирования. При его использовании возможны две стратегии подключения

модулей : нисходящая и восходящая.

Нисходящее тестирование начинается с главного (или верхнего) модуля

программы, а выбор следующего подключаемого модуля происходит из числа

модулей, вызываемых из уже протестированных. Одна из основных проблем ,

возникающих при нисходящем тестировании, - создание заглушек. Это

тривиальная задача, т. к. как правило недостаточно, чтобы в заглушке

выполнялся вывод соответствующего информационного сообщенияи и возврат

всегда одних и тех же значений выходных данных.

Другая прблема , которую необходимо решать при нисходящем

тестировании, - форма представления тестов в программе, так как, как

правило, главный модуль получает входные данные не непосредственно, а

через специальные модули ввода, которые при тестировании в начале

заменяются заглушками. Для передачи в главный модуль разных тестов нужно

или иметь несколько разных заглушек, или записать эти тесты в файл во

внешней памяти и с помощью заглушки считывать их.

Поскольку после тестирования главного модуля процесс проверки может

продолжаться по-разному, следует придерживаться следующих правил :

а) модули, содержащие операции ввода-вывода, должны

подключаться к тестированию как можно раньше ;

б) критические (т.е. наиболее важные ) для

программы в целом модули также должны тестироваться в первую очередь.

12

Основные достоинства нисходящего тестирования :

уже на ранней стадии тестирования есть

возможность получить работающий вариант разрабатываемой программы ;

быстро могут быть выявлены ошибки, связанные с

организацией взаимодействие с пользователем.

Недостатки нисходящей стратегии продемонстрируются с помощью рис.2.

Допустим , что на следующем шаге тестирования заглушка модуля H

заменяется его реальным текстом. Тогда

1) может оказаться трудным или даже

невозможным построить такой тест на входе модуля J, который соотвеьствовал

бы любой заданной наперед последовательности значений данных на входе

модуля Н ;

2) не всегда окажется возможным легко

оценить соответствие значений данных на входе модуля J требуемым тестам

для проверки модуля Н;

3) т. к. результаты выполнения прграммы на

построенном для проверки модуля Н тесте выводятся не им, а модулем I ,

может оказаться трудным восстановлении дейсвительных результатов работы

модуля Н.

Другие проблемы, которые могут возникать при нисходящем

тестировании :

появляется соблазн совмещения нисходящего

проектирования с тестированием, что, как правило, неразумно, т.к.

проектирование - процесс итеративный и в нем неизбежен возврат на верхние

уровни и исправление принятых ранее решений, что обесценивает результаты

уже проведенного тестирования ;

может возникнуть желание перейти к

тестированию модуля следующего уровня до завершения тестирования

предыдущего по объективным причинам (необходимости создания нескольких

версий заглушек, использования модулями верхнего уровня ресурсов модулей

нижних уровней).

При восходящем тестировании прверка программы начмнается с

терминальных модулей (т.е. тех, которые не вызывают не каких других

модулей программы). Эта стратегия во многом противоположна нисходящему

тестированию (в частности, преимущества становятся недостатками и

наоборот).

Нет проблемы выбора следующего подключаемого модуля - учитывается

лишь то , чтобы он вызывал только уже протестированые модули. В отличие от

заглушек драйверы не должны иметь несколько версий, поэтому их разработка

в большенстве случаев проще (кроме того, использование средств

автоматизации и отладки облегчает создание как раз драйверов, а не

заглушек).

Другие достоинства восходящего тестирования :

поскольку нет промежуточных модулей

(тестируемый модуль является для рабочего варианта программы модулем

самого верхнего уровня), нет проблем, связанных с возможностью или

тружностью задания тестов ;

нет возможности совмещения проектирования с

тестированием ;

нет трудностей, вызывающих желание перейти

к тестированию следующего модуля , не завершив проверки предыдущего.

Основными недостатком восходящего тестирования является то , что

проверка всей структуры разрабатываемого программного комплекса возможна

только на завершающей стадии тестирования.

Хотя однозначного вывода о преимущества той или иной стратегии

пошаговаого тестирования сделать нельзя (нужно учитывать конкретные

характеристики тестируемой программы), в большинстве случаев более

предпочтительным является восходящее тестирование.

На третьем этапе тестирования программных комплексов (тестировании

функций) ипользуются прежде всего методы функционального тестирования.

Функциональное тестирование.

Обзор методов проектирования тестов при функциональеом

тестировании начнем с метода зквивалентного разбиения.

Т.к. нашей целью является построения множества тестов,

характеризующегося наивысшей вероятностью обнаружения большинстыва ошибок

в тестируемой программе, то тест из этого множества должен :

1) уменьшать (более чем на единицу) число других тестов, которые

должны быть разработанны для достижения заранее поставленной цели

“удовлетворительного” тестирования ;

2) покрывать собой значительную часть других

возможных тестов .

Другими словами :

1) каждый тест должен заключать в себе

проверку наибольшего числа задаваемых внешней спецификацией входных

условии (ограничений на входные данные) для того, чтобы минимизировать

общее число необходимых тестов ;

2) необходимо разбить область значений

входных данных на конечное число подобластей (которые будут называться

классами эквивалентности), чтобы можно было полагать каждый тест,

являющийся представителем некоторого класса, эквивалентным любому другрому

тесту этого класса (т.е. обнаруживающим одни и те же ошибки).

В общем случае использование термина “класс эквивалентности”

является здесь не вполне точным, т.к. выделенные подобласти могут

пересекаться.

Проектирование тестов по методу эквивалентного разбиения

проводится в два этапа :

выделение по внещней спецификации классов

эквивалентности;

построение множества тестов.

На первом этапе происходит выбор из спецификации каждого входного

условия и разбиение его на две или более группы, соответствующие так

называемым “правильным” (ПКЭ) и “неправильным” классом эквивалентности

(НКЭ), т.е. облатям допустых для программы и недопустимых значений входных

данных. Этот процесс зависит от вида входного условия. Если входное

условие описывает область (например, х 0.5 или размер А меньше 50 ; размер А больше 50).

Если входное условие описывает дискретное множество допустимых

значений входных данных (например, В может равно -1, 0 или 1) , то

определяются ПКЭ для каждого значения из множества (в данном примере 3) и

один НКЭ (В<>-1 & В<>0 & В<>1).

Если входное условие описывает ситуацию “ложно быть ” (например,

N>0), то определяются один ПКЭ (N>0) и один НКЭ (N= вместо >.

При проектировании тестов по методу эквивалентного разбиения будут

построены тесты для случаев возможности построения треугольника (например,

3, 4, 5) и невозможности его построения (например, 1, 2, 4), т.е. ошибка в

программе не будет обнаружена (на входные данные 1, 2, 3 будет выведено

сообщение “разносторонний треугольник”). Но подобный тест будет получен

при использовании метода анализа граничных условий.

Анализ граничных уловий - один из наиболее полезных методов

проектирования тестов. Но он часто оказывается неэффективным из-за того ,

что граничные условия иногда едва уловимы, а их выявление весьма трудно.

Общим недостатком двух рассмотренных выше методов функционального

тестирования является то, что при их примененине исследуются исследуются

возможные комбинации входных условий. Следует, правда, заметить, что из-за

весьма большого числа таких комбинаций, их анализ вызывает существенные

затруднения. Но существует метод (метод функциональных диаграмм),

позволяющий в этом случае систематическим образом выбрать высоко

эффективные тесты. Полезным побочным эффектом этого метода является

обнаружение неполноты и противоречивости во внешних спецификациях.

Функциональная диаграмма - это текст на некотором формальном языке,

на который транслируется спецификация, составленная на естественном или

полуформальном языках. Далее будет называться причиной отдельное входное

условие и следствием - выходное условие или преобразование системы (т.е.

остаточное действие программы, вызванное определенным входным условием или

их комбинацией). Например, для программы обновления файла изменение в нем

является преобразованием системы, а подтверждающее это изменение сообщение

- выходным условием.

Метод функциональных диаграмм состоит из шести основных этапов. На

первом из них (необязательном) внешняя спецификация большого размера

разбивается на отдельные участки (например, спецификация компилятора языка

программирования разбивается на участки, определяющие синтаксический

контроль отдельных операторов языка).

На втором этапе в спецификации выделяются причины и следствия, а на

третьем - анализируется семантическое содержание спецификации и она

преобразуется в булевский граф, связывающий причины и следствия и

называющийся функциональной диаграммой. На рис.3 приведены базовые символы

для записи функциональных диаграмм (каждый узел функциональной диаграммы

может находиться в состоянии 1 - “существует” - или 0 - “не существует”).

а) Тождество : (а(1(>b(1) & (а(0(>b(0)

а b

б) Отрицание : (а(1(>b(0) & (a(0(>b(1)

~

a b

в) Дизъюнкция : (a(1(b(1(>c(1) & (a(0&b(>0 >c(0)

a

( c

b

г) Конъюнкция : (a(1&b(1(>c(1) & (a(0(b(0(>c(0)

a

& c

b

рис.3

На четвертом этапе функциональная диаграмма снабжается комментариями,

которые задают ограничения на комбинации причин и следствий. На рис.4

приведены знаки комментариев, задающих эти ограничения.

а) Исключение одной из причин :

a

E ((a(1(b(1)^~(a(1&b(1)) ( (a(0&b(0)

b

б) Включение хотя бы одной причины :

a

I (a(1(b(1)&~(a(0&b(0)

b

в) Существуетодна и только одна причина :

a

O (a(1(b(1)&~(a(1&b(1)&~(a(0&b(0)

b

г) Одна причина влечет за собой лругую :

a

R ~(a(1&b(0)

b

д) Одно следствие скрывает в себе другое :

a

M (a(1&b(0)&(a(1&b(1)

b

рис.4

Пятый этап - функциональная диаграмма преобразуется в таблицу решений

:

выбирается следствие, которое устанавливается в 1 ;

находятся все комбинации причин (с учетом ограничений),

которые устанавливают выбранное следствие в 1

Страницы: 1, 2