Принципы и методы тестирования

Существует несколько методов тестирования:

· Тестирование программ методом "чёрного ящика" (Black box testing)

· Тестирование софта методом "белого ящика" (White box)

· Тестирование ПО методом "серого ящика" (Grey box)

· Тестирование не функциональных аспектов программы.

При тестировании белого ящика (англ. white-box testing, также говорят — прозрачного ящика), разработчик теста имеет доступ к исходному коду и может писать код, который связан с библиотеками тестируемого ПО. Это типично для юнит-тестирования (англ. unit testing), при котором тестируются только отдельные части системы. Оно обеспечивает то, что компоненты конструкции — работоспособны и устойчивы, до определенной степени.

При тестировании чёрного ящика (англ. black-box testing), тестировщик имеет доступ к ПО только через те же интерфейсы, что и заказчик или пользователь, либо через внешние интерфейсы, позволяющие другому компьютеру либо другому процессу подключиться к системе для тестирования. Например, тестирующий модуль может виртуально нажимать клавиши или кнопки мыши в тестируемой программе с помощью механизма взаимодействия процессов, с уверенностью в том, все ли идет правильно, что эти события вызывают тот же отклик, что и реальные нажатия клавиш и кнопок мыши. Как правило, тестирование чёрного ящика ведётся с использованием спецификаций или иных документов, описывающих требования к системе.

Если «альфа-» и «бета-тестирование» относятся к стадиям до выпуска продукта (а также, неявно, к объёму тестирующего сообщества и ограничениям на методы тестирования), тестирование «белого ящика» и «черного ящика» имеет отношение к способам, которыми тестировщик достигает цели.

Бета-тестирование в целом ограничено техникой чёрного ящика (хотя постоянная часть тестировщиков обычно продолжает тестирование белого ящика параллельно бета-тестированию). Таким образом, термин «бета-тестирование» может указывать на состояние программы (ближе к выпуску чем «альфа»), или может указывать на некоторую группу тестировщиков и процесс, выполняемый этой группой. Итак, тестировщик может продолжать работу по тестированию белого ящика, хотя ПО уже «в бете» (стадия), но в этом случае он не является частью «бета-тестирования» (группы/процесса).

Тестирование нефункциональных параметров программы

Существуют специальные методы для тестирования аспектов программ, не являющихся функциональными, т.е. не относящихся к работоспособности самих программ. Это тестирование:

Тестирование производительности программного обеспечения - посмотреть работоспособность, если программа управляет большим количеством данных или имеет большое число пользоателей. Это напрямую относится к понятию масштабируемости приложений.

Тестирование "Юзабилити" - тестирование интерфейса пользователя, его удобности, практичности и лёгкости для освоения обычным пользователем.

Тестирование безопасности программ важно для программ, имеющих дело с конфиденциальными данными для предотвращения использования уязвимостей хакерами.

Тестирование качества интернационализации и локализации программного обеспечения.

Пользоваться этими методами можно и нужно, чтобы программа была качественной.

 

Принципы:

1)Для того чтобы протестировать программу, нужно попытаться заставить ее работать неверно.

2) Тесты не заменяют спецификации.

3) Любое неудачное выполнение должно порождать тестовый случай, который навсегда становится частью тестового пакета данного проекта.

4) Определение успеха или неудачи тестов должно происходить автоматически.

5) Эффективный процесс тестирования должен включать в себя тестовые случаи, проверяемые как вручную, так и автоматически.

6) Оценивайте любую стратегию тестирования, однако, какой бы интересной она ни казалась, прибегайте к объективной оценке, используя точные критерии в воспроизводимом процессе тестирования.

7) Самое важное свойство стратегии тестирования — это число обнаруженных ошибок как функция времени.

 

51. Метрология программных средств.

Предметом метрологии является извлечение количественной информации о свойствах объектов и процессов с заданной точностью и достоверностью.

Метрология программных средств – дисциплина, изучающая проблемы оценивания метрических характеристик качества ПС на этапах от разработки спецификаций до завершения отладки и тестирования программного продукта.

Сейчас существует несколько определений качества, которые в целом совместимы друг с другом. К числу наиболее распросстраненных относятся:

Система измерений характеристик ПС – это совокупность измеряемых характеристик, единиц измерения, измерительных шкал и связей, установленных между ними.

Метрика – определенный метод и шкала измерения подхарактеристик качества. Метрики качества программных средств базируются на внутренних атрибутах ПС и внешнем поведении вычислительной системы, в состав которой входит ПС.

Измерительная шкала устанавливает границы (диапазон) и точность измерений характеристик свойств в установленных единицах.

Результаты измерений в избранной измерительной шкале позволяют обнаружить сходство и различие в свойствах с целью последующей оценки и классификации.

Применительно к ПО используют главным образом следующие известные виды измерительных шкал: номинальные (категорийные), порядковые, интервальные.

— Номинальная (категорийная) шкала фиксирует наличие или отсутствие некоторой характеристики свойства без учета градаций и позволяет классифицировать программы по этому принципу.

— Порядковая шкала фиксирует отношение порядка и позволяет ранжировать программы относительно некоторого опорного значения характеристик свойств.

— Интервальная шкала фиксирует не только отношение порядка, но и величину, отличающую одно значение характеристики от другого (интервал между значениями).

Методы оценки характеристик ПС.

— Измерительные методы основаны на получении информации о характеристиках ПС с использованием специальных инструментальных средств (технических или программных средств, обеспечивающих проведение измерений и их автоматизацию).

— Регистрационные методы основаны на получении информации о характеристиках ПС во время испытаний или функционирования путем регистрации и подсчета определенных событий (например, моментов и количества ошибок, времени начала и окончания расчетов и т.д.), регистрируемых извне программы с помощью средств измерений общего назначения.

— Органолептические методы основаны на получении информации о характеристиках программного обеспечения путем их восприятия органами чувств – в первую очередь зрения, слуха и осязания.

— Расчетные методы основаны на получении информации о характеристиках программного обеспечения за счет использования теоретических или эмпирических зависимостей.

— Экспертные методы используют опыт экспертов-специалистов, компетентных в оценке характеристик программного обеспечения.

— Социологические методы используют обработку специальных анкет-опросников, содержащих качественные оценки характеристик ПС социальными группами,

Проявляемые свойства программного обеспечения условно можно разделить на две группы: функциональные (внешние), конструктивные (внутренние).

Для разработчиков и пользователей программы представляют интерес определенные функциональные и конструктивные свойства, (например, надежность, эффективность, модульность, структурность). Как правило, пользователя (заказчика) интересуют те функциональные свойства, которые характеризуют полезность программного обеспечения. Именно эти внешние свойства, отражающие точку зрения пользователя, обуславливают качество программного обеспечения, то есть являются его факторами (рис. 2). Заметим, что для разработчиков представляют интерес не только внешние, но и внутренние, или конструктивные свойства, от которых зависит выполнение требований к программному обеспечению и восприятие его пользователем.

Характеристики качества ПС:

— Фактором качества будем называть свойство, в той или иной степени обуславливающее качество программного обеспечения. При оценке качества учитывают несколько факторов. Для получения численной оценки фактора качества используют один или несколько критериев качества.

— Критерий качества – это понятие, признак или численный показатель, характеризующий оцениваемый фактор качества. Критерий качества может быть представлен имеющим физический смысл вычислимым выражением, составленным из характеристик качества, значением которого является показатель качества. Для вычисления значения критерия используют одну или несколько метрик.

— Метрика – мера количественной оценки качества ПО по заданному критерию, система или способ измерений качества программного обеспечения. Метрика содержит один или несколько оценочных элементов.

Оценочный элемент – измеримая характеристика программного обеспечения, имеющая численное значение в избранной измерительной шкале.

52. Качество программных средств. Показатели качества ПС: сложность, корректность, надежность, трудоемкость.

Среди показателей качества можно выделить две крупные группы и соответствующие им наборы критериев:

· функциональные критерии отражают специфику областей применения и степень соответствия программ их основному целевому назначению;

· конструктивные критерии более инвариантны к целевому назначению программ и отражают эффективность использования программами ресурсов вычислительных средств, а также надежность функционирования ПС.

Деление критериев на эти две группы в значительной степени условно, что отражено на наличием связей, обозначенных штриховыми линиями. На выделены четыре основные группы критериев, в составе каждой из которых детализируются еще несколько показателей и параметры, от которых они зависят. Возможна более глубокая детализация некоторых из них, которая будет представлена при описании основных критериев.

Функциональная пригодность — это набор атрибутов, определяющий назначение, номенклатуру, основные необходимые и достаточные функции ПС, заданные техническими требованиями заказчика или потенциального пользователя. В процессе проектирования ПС атрибуты функциональной пригодности конкретизируются в спецификации на компоненты. Эти атрибуты можно численно представить точностью вычислений, относительным числом поэтапно изменяемых функций, коэффициентом изменения спецификаций требований разработчиками и заказчиками и т. д. В наибольшей степени функциональная пригодность проявляется в корректности и надежности ПС, поэтому этим показателям посвящено основное содержание параграфа. Кроме них функциональную пригодность отражает множество различных критериев, которые тесно с ней связаны. Их можно рассматривать как частные критерии или как факторы, влияющие на основные показатели.

В зависимости от назначения ПС почти каждый из показателей этой группы может стать в значительной степени доминирующим и почти полностью определяющим функциональную пригодность ПС. Однако практически во всех случаях важнейшим критерием является функциональная корректность ПС. Значения этого показателя зависят от функциональной корректности применяемых компонент, от методов их достижения и оценивания: детерминировано, стохастический и в реальном времени.

53. Стандарты, регламентирующие показатели качества ПС. Выбор и измерение показателей качества на основных этапах жизненного цикла ПС. Применение метрик в управлении качеством ПС.

Стандарт ISO 9126:1991 - Оценка программного продукта. Основные факторы, определяющие качество сложных программных средств. Внутренние метрики. Внешние метрики. Метрики качества в использовании.

Стандарт ISO 9126:1991 - Оценка программного продукта. Характеристики качества и руководство по их применению - является основой формального регламентирования характеристик качества ПС. Развитие этого международного стандарта проводится в направлении уточнения, детализации и расширения, описаний характеристик качества комплексов программ. Для замены редакции 1991 года завершается разработка и формализован проект стандарта, состоящего из четырех частей ISO 9126:1-4. Стандарт ISO 9126:1991 предполагается заменить, на две взаимосвязанные серии стандартов: ISO 9126:1-4 (проект) - Качество программных средств - и утвержденный стандарт ISO 14598:1-6:1998-2000 - Оценивание программного продукта. Проект нового стандарта ISO 9126 состоит из следующих частей под общим заголовком - Информационная технология - Качество программных средств:

Часть 1: Модель качества.

Часть 2: Внешние метрики качества.

Часть 3: Внутренние метрики качества.

Часть 4: Метрики качества в использовании.

Часть первая стандарта ISO 9126-1 - (пересмотренная и расширенная редакция ISO 9126:1991), сохранила практически ту же номенклатуру нормативных характеристик качества программных средств. В ней приводится схема взаимосвязи частей стандарта ISO 9126 и частей стандарта ISO 14598, а также область применения, нормативные ссылки, термины и определения. Модель характеристик качества ПС состоит из шести групп базовых показателей, каждая из которых детализирована несколькими нормативными субхарактеристиками:

Функциональная пригодность детализируется:

• пригодностью для применения;
• корректностью (правильностью, точностью);
• способностью к взаимодействию;
• защищенностью.

Надежность характеризуется:

• уровнем завершенности (отсутствия ошибок);
• устойчивостью к дефектам;
• восстанавливаемостью;
• доступностью-готовностью.

Эффективность рекомендуется отражать:

• временной эффективностью;
• используемостью ресурсов.

Применимость (практичность) предлагается описывать:

• понятностью;
• простотой использования;
• изучаемостью;
• привлекательностью.

Сопровождаемость представляется:

• удобством для анализа;
• изменяемостью;
• стабильностью;
• тестируемостью.

Переносимость (мобильность) предлагается отражать:

• адаптируемостью;
• простотой установки - инсталляции;
• сосуществованием - соответствием;
• замещаемостью.