Аттестация программного обеспечения

Аттестация программного обеспечения – это исследование программного обеспечения в целях определения его характеристик, свойств и идентификационных данных (признаков) c целью подтверждения соответствия требованиям ГОСТ Р 8.654-2009.

Все средства измерений с целью обеспечения единства измерений подвергаются оценке соответствия требованиям, установленным при утверждении их типа, если они используются в сфере действия государственного метрологического контроля и надзора. ПО, как правило, не аттестуется отдельно, а проходит аттестацию в составе СИ, т.е. в процессе аттестации не учитываются характеристики надежности и погрешности самого ПО.

Учитывая все возрастающую надежность механических, электрических и электронных компонентов средств измерений можно сделать вывод, что качество измерений все в большей степени определяется правильной работой программного обеспечения.

Характеристики программного обеспечения средств измерений и его алгоритмов можно разбить на две группы.

К первой группе относят характеристики, которые в соответствии с приказом Минпромторга России от 30 ноября 2009 г. N 1081 должны быть внесены в описание типа СИ, а именно:

• идентификационные данные (признаки);
• уровень защиты от непреднамеренных и преднамеренных изменений.

Ко второй группе относятся характеристики, которые не вносят в описание типа СИ, но без оценки и проверки которых невозможно в полной мере установить действительные значения характеристик ПО в целом, в том числе значения характеристик, относящихся к первой группе. К таким характеристикам относятся:

• степень соответствия ПО сопровождающей документации;
• разделение на метрологически значимую и незначимую части;
• наличие или отсутствие защищенных интерфейсов;
• степень влияния на метрологические характеристики (MX) СИ;
• другие характеристики, согласованные между заявителем испытаний и организацией, проводящей испытания.

Аттестация может распространяться на следующие виды программного обеспечения СИ:

• ПО, являющееся частью измерительной системы и функционирующее на базе персонального компьютера;
• ПО, являющееся самостоятельным программным продуктом, который может применяться для сбора, обработки, хранения и представления измерительной информации;
• ПО, являющееся неотъемлемой частью СИ (встроенное ПО);
• ПО для контроллеров и вычислительных блоков.

Объектами аттестации, в соответствии с рекомендацией МИ 2174-91, могут быть:

• алгоритмы обработки данных, представляющие собой самостоятельные объекты использования;
• программы обработки данных, реализующие выбранный алгоритм обработки и представляющие собой самостоятельный программный продукт;
• алгоритмы и программы обработки данных в составе прикладного программного обеспечения конкретных измерительных устройств;
• информационно-вычислительных комплексов, информационно-измерительных систем, методик выполнения измерений.

При аттестации ПО СИ необходимо выполнить весь тот набор испытаний и проверок, который нужен для подтверждения свойств ПО положениям нормативной документации, устанавливающей обязательные требования к программному обеспечению. В настоящее время документом, устанавливающим перечень процедур, является ГОСТ Р 8.883-2015 «Государственная система обеспечения единства измерений (ГСИ). Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний». Перечень включает в себя:

• проверку документации, сопровождающей ПО;
• проверку разделения программного обеспечения и его идентификации;
• проверку структуры программного обеспечения;
• оценку погрешности программного обеспечения;
• проверку защищенности программного обеспечения и данных.

В ГОСТ Р 8.654-2009 «ГСИ. Требования к программному обеспечению средств измерений. Основные положения» содержится информация о соответствии программного обеспечения необходимым требованиям.

Аттестация программного обеспечения в соответствии с МИ 2174

Аттестация ПО СИ представляет собой достаточно сложную исследовательскую задачу, решение которой определяется конкретной программной и аппаратной реализацией соответствующего средства измерений.

Методика аттестации включает в себя следующие обязательные процедуры:

1. Устанавливается набор основных характеристик алгоритмов, которые следует оценивать. В частности, такими характеристиками для алгоритмов, используемых при обработке данных многократных прямых измерений, могут быть:

П1 = СКО случайной погрешности результатов измерения;

П2 = граница систематической погрешности результата измерения.

Иногда указанные характеристики удобно представлять в приведенной форме, отнесенными к соответствующим погрешностям среднего арифметического.

В качестве показателя устойчивости алгоритма принимают точку срыва Пср, т.е. допустимую долю выбросов в данных, наличие которых не приводит к нарушению работоспособности алгоритма.

2. Устанавливается набор моделей исходных данных, поступающих на обработку. В качестве моделей данных могут приниматься, например, независимые случайные величины со средним и дисперсией, имеющие гауссовские распределения; независимые случайные величины, имеющие равномерные распределения на интервале; линейно изменяющаяся последовательность со средним значением и углом наклона и т.д.

3. Вычисляются (оцениваются) значения характеристик алгоритмов (программ) на выбранных типовых моделях. Результаты таких оценок могут быть представлены в виде таблиц значений характеристик алгоритма в зависимости от используемых моделей исходных данных.

4. Оформляется свидетельство об аттестации алгоритма (программы), включающее указанные таблицы.

Аттестация ПО в соответствии с МИ 2174 сводится к оценке искажений, вносимых тестируемым ПО в модели исходных данных. В принципе, такая процедура аттестации не требует наличия так называемого эталонного ПО и позволяет оценить свойства ПО, а также степень его влияния на метрологические характеристики средств измерений. Проблема заключается в удачном выборе характеристик алгоритма и таких моделей исходных данных, которые в максимальной степени соответствовали бы той реальной измерительной задаче, которая решается конкретным ПО.

Аттестация программного обеспечения по методике МИ 2955

Методика аттестации ПО, как правило, является составной частью программы испытаний СИ в целях утверждения типа и должна включать следующие основные этапы:

• определение перечня исследуемых характеристик и параметров, исходных данных и критериев, которым должны удовлетворять результаты, полученные аттестуемым ПО;
• проведение аттестации в соответствии с методикой аттестации и получение результатов анализа документации и функциональных проверок аттестуемого ПО;
• обработка результатов аттестации и их оформление в виде протокола аттестации.

Методика аттестации разрабатывается для каждого отдельного ПО СИ с учетом его назначения и функциональных особенностей.

Содержание методики аттестации:

• приводится перечень исследуемых характеристик, свойств и параметров ПО, необходимых исходных данных и опорных («эталонных») ПО, а также критерии, позволяющие производить оценку характеристик аттестуемого ПО;
• определяются и описываются методы аттестации, которые должны обеспечить проверку всех основных функций аттестуемого ПО, а также его соответствие требованиям к ПО СИ;
• описывается последовательность действий при проведении процедуры аттестации ПО.

Результаты аттестации ПО признаются положительными, если при анализе документации и проведении функциональных проверок, предусмотренных методикой аттестации, устанавливается соответствие аттестуемого ПО требованиям ГОСТ Р 8.654 и другой нормативной документации.