Тестирование информационных систем Ep.PP и Ep.DB

    Цель  тестирования - выявление как можно большего количества ошибок. Тестовый прогон считается удачным, если он позволяет выявить ошибки; эффективным, если имеет высокую вероятность обнаружения большего числа ошибок.

    Существуют  следующие методы тестирования программ:

1. статический; наиболее формализованный, базируется на правилах структурного построения программ и обработки данных. Проверка степени выполнения этих правил проводится без изменения объектного кода программы путем формального анализа текста программы на языке программирования. Операторы и операнды текста программы анализируются в символьном виде, поэтому этот метод тестирования иногда называют символическим тестированием;
2. детерминированный; наиболее трудоемкий и детализированный метод тестирования, требует многократного выполнения программы с использованием определенных, специальным образом подобранных тестовых наборов данных. При детерминированном тестировании контролируются каждая комбинация исходных данных и соответствующие результаты, а также каждое утверждение в спецификации тестируемой программы. Детерминированное тестирование в силу трудоемкости, возможно, применять для отдельных модулей в процессе сборки программы или для небольших и несложных программных комплексов.
3. стохастический; применяется для комплексного тестирования и предполагает использование в качестве исходных данных множества случайных величин с соответствующими распределениями. Стохастическое тестирование применяется в основном для обнаружения ошибок.

      Программное средство, предназначенное для работы в системах реального времени, должно проходить тестирование в реальном масштабе времени.

    Каждый  из рассмотренных методов тестирования не исключает последовательного применения другого метода, требование к повышению качества программного средства предполагает необходимость подвергать его различным методам тестирования и (или) их сочетаниям в зависимости от сложности области применения.

    Каждый  из рассмотренных методов тестирования не исключает последовательного применения другого метода, требование к повышению качества программного средства предполагает необходимость подвергать его различным методам тестирования и (или) их сочетаниям в зависимости от сложности области применения.

    Для тестирования программного средства первой части комплекса  лабораторных работ  рекомендуется детерминированное  и стохастическое тестирование, и  их сочетание.

    Детерминированное тестирование или тестирование на определенных входных данных, основывается на двух подходах: структурное тестирование и функциональное тестирование.

    Структурное тестирование, или тестирование программ как «белого ящика» (стратегия тестирования, управляемого логикой программы), предполагает детальное изучение текста (логики) программы и построение таких входных данных, которые позволили бы при многократном выполнении программы обеспечить выполнение максимально возможного количества маршрутов, логических ветвлений, циклов и так далее.

    При построении наборов данных по принципу «белого ящика» руководствуются следующими критериями:

1. покрытие операторов; предполагает выбор такого тестового набора данных, который вызывает выполнение каждого оператора в программе хотя бы один раз. Слабый критерий;
2. покрытие узлов ветвления; предполагает разработку такого количества тестов, чтобы в каждом узле ветвления был обеспечен переход по веткам «истина» и «ложь» хотя бы один раз;
3. покрытие условий; если узел ветвления содержит более одного условия, тогда нужно разработать число тестов, достаточное для того, чтобы возможные результаты каждого условия выполнялись, по крайней мере, один раз, каждой точке входа в программу должно быть передано управление при вызове, по крайней мере, один раз;
4. комбинаторное покрытие условий; используется для выполнения ошибок в логических выражениях. Требует создания такого числа тестов, чтобы все возможные комбинации результатов условия в каждом решении и все точки входа выполнялись, по крайней мере, один раз.

     Функциональное  тестирование, или тестирование программ, как «черного ящика» (тестирование по «входу - выходу»), полностью абстрагируется от логики программы, предполагается, что логика программы неизвестна, а тестовые наборы подбираются на основании анализа функциональных входных спецификаций. Тестирование по методу "черного ящика" может обнаружить наличие ошибок в программе. Оно не доказывает, что таких ошибок в программе нет. Однако проведение такого тестирования значительно повышает уверенность в том, что приложение надежно и безопасно по отношению к непредвиденным входным данным. Если тестирование программы по этому методу проводилось в течение 24 часов, и она по-прежнему работает, то вряд ли дальнейшие атаки подобного рода вызовут ошибку. Если в результате тестирования были обнаружены ошибки, то их необходимо исправить. Вместо того, чтобы исправлять случайно обнаруженные ошибки по мере их появления, более продуктивным может быть фундаментальное исправление формата файла на предмет разумного использования контрольных сумм, XML, очистки памяти и/или форматов файлов на базе грамматики.

     Тестирование  по методу "черного ящика" является важным средством нахождения в программах реальных ошибок.

    К стратегии «черного ящика» относятся  методы:

1. эквивалентного разбиения. Осуществляется в два этапа - выделение классов эквивалентности, построение тестов. Классом эквивалентности называется множество входных значений, каждое из которых имеет одинаковую вероятность обнаружения конкретного типа ошибки;
2. анализ граничных значений. Предполагает исследование ситуаций, возникающих на границах и вблизи границ эквивалентных разбиений;
3. метод функциональных диаграмм. Заключается в преобразовании входной спецификации программы в функциональную диаграмму (диаграмму причинно-следственных связей) с помощью простейших булевских отношений, построение таблицы решений (методом обратной трассировки), которая является основой для написания эффективных тестовых наборов данных.

     При этом технология тестирования программного средства может быть представлена следующим  набором действий:

1. В спецификации программы выделяются причины и следствия. Причина - отдельное входное условие или класс эквивалентности входных условий. Следствие - выходное условие или результат преобразования системы. Каждой причине и следствию приписывается уникальный номер.
2. Анализируется семантическое содержание спецификации, которая преобразуется в булевский граф, связывающий причины и следствия. Каждая вершина может находиться в состоянии «истина» или «ложь».
3. Диаграмма снабжается примечаниями, задающими ограничения и описывающими комбинации причин и (или) следствий, которые являются невозможными из-за синтаксических или внешних ограничений.
4. По полученной функциональной диаграмме строится таблица решений. Для этого поочередно для каждого следствия, значение которое условно устанавливается в «истину», прослеживается обратный путь (по диаграмме) ко всем причинам, связанным с этим следствием, и фиксируется их состояние. Каждый столбец таблицы решений соответствует тесту.
5. Столбцы решений преобразуют в тесты.

      2.2 Тестирование систем Ep[1].DB и Ep[1].PP 

      При тестировании систем Ep[1].DB и Ep[1].PP был обнаружен ряд ошибок. Все ошибки можно разделить по важности на:

1. критическую;
2. высокую;
3. среднюю;
4. незначительную;
5. ошибки подлежащие доработке.

      Ошибки, обнаруженные в ходе тестирования системы Ep[1].DB представлены в таблице 1. 

Таблица 1 – Ошибки, обнаруженные в ходе тестирования системы  Ep[1].DB

      Ошибки, обнаруженные в ходе тестирования системы Ep[1].PP представлены в таблице 2. 
 

Таблица 2 – Ошибки, обнаруженные в ходе тестирования системы Ep[1].PP

      3 Сравнительный анализ работы информационных систем 

      В результате проведения тестирования было выявлено значительное количество ошибок в обеих системах.

      Системы Ep[1].DB и Ep[1].PP являются схожими по своим функциональным характеристикам. Различие состоит в том, что первая система оценивает программные продукты по времени выполнения полного перечня функциональных операций в зависимости от объемов баз данных, количества одновременно работающих пользователей и других показателей, характеризующих условия функционирования ПП.