Аттестация программного обеспечения
Аттестация программного обеспечения – это исследование программного обеспечения в целях определения его характеристик, свойств и идентификационных данных (признаков) c целью подтверждения соответствия требованиям ГОСТ Р 8.654-2009.
Все средства измерений с целью обеспечения единства измерений подвергаются оценке соответствия требованиям, установленным при утверждении их типа, если они используются в сфере действия государственного метрологического контроля и надзора. ПО, как правило, не аттестуется отдельно, а проходит аттестацию в составе СИ, т.е. в процессе аттестации не учитываются характеристики надежности и погрешности самого ПО.
Учитывая все возрастающую надежность механических, электрических и электронных компонентов средств измерений можно сделать вывод, что качество измерений все в большей степени определяется правильной работой программного обеспечения.
Характеристики программного обеспечения средств измерений и его алгоритмов можно разбить на две группы.
К первой группе относят характеристики, которые в соответствии с приказом Минпромторга России от 30 ноября 2009 г. N 1081 должны быть внесены в описание типа СИ, а именно:
- идентификационные данные (признаки);
- уровень защиты от непреднамеренных и преднамеренных изменений.
Ко второй группе относятся характеристики, которые не вносят в описание типа СИ, но без оценки и проверки которых невозможно в полной мере установить действительные значения характеристик ПО в целом, в том числе значения характеристик, относящихся к первой группе. К таким характеристикам относятся:
- степень соответствия ПО сопровождающей документации;
- разделение на метрологически значимую и незначимую части;
- наличие или отсутствие защищенных интерфейсов;
- степень влияния на метрологические характеристики (MX) СИ;
- другие характеристики, согласованные между заявителем испытаний и организацией, проводящей испытания.
Аттестация может распространяться на следующие виды программного обеспечения СИ:
- ПО, являющееся частью измерительной системы и функционирующее на базе персонального компьютера;
- ПО, являющееся самостоятельным программным продуктом, который может применяться для сбора, обработки, хранения и представления измерительной информации;
- ПО, являющееся неотъемлемой частью СИ (встроенное ПО);
- ПО для контроллеров и вычислительных блоков.
Объектами аттестации, в соответствии с рекомендацией МИ 2174-91, могут быть:
- алгоритмы обработки данных, представляющие собой самостоятельные объекты использования;
- программы обработки данных, реализующие выбранный алгоритм обработки и представляющие собой самостоятельный программный продукт;
- алгоритмы и программы обработки данных в составе прикладного программного обеспечения конкретных измерительных устройств;
- информационно-вычислительных комплексов, информационно-измерительных систем, методик выполнения измерений.
При аттестации ПО СИ необходимо выполнить весь тот набор испытаний и проверок, который нужен для подтверждения свойств ПО положениям нормативной документации, устанавливающей обязательные требования к программному обеспечению. В настоящее время документом, устанавливающим перечень процедур, является ГОСТ Р 8.883-2015 «Государственная система обеспечения единства измерений (ГСИ). Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний». Перечень включает в себя:
- проверку документации, сопровождающей ПО;
- проверку разделения программного обеспечения и его идентификации;
- проверку структуры программного обеспечения;
- оценку погрешности программного обеспечения;
- проверку защищенности программного обеспечения и данных.
В ГОСТ Р 8.654-2009 «ГСИ. Требования к программному обеспечению средств измерений. Основные положения» содержится информация о соответствии программного обеспечения необходимым требованиям.
Аттестация программного обеспечения в соответствии с МИ 2174
Аттестация ПО СИ представляет собой достаточно сложную исследовательскую задачу, решение которой определяется конкретной программной и аппаратной реализацией соответствующего средства измерений.
Методика аттестации включает в себя следующие обязательные процедуры:
1. Устанавливается набор основных характеристик алгоритмов, которые следует оценивать. В частности, такими характеристиками для алгоритмов, используемых при обработке данных многократных прямых измерений, могут быть:
П1 = СКО случайной погрешности результатов измерения;
П2 = граница систематической погрешности результата измерения.
Иногда указанные характеристики удобно представлять в приведенной форме, отнесенными к соответствующим погрешностям среднего арифметического.
В качестве показателя устойчивости алгоритма принимают точку срыва Пср, т.е. допустимую долю выбросов в данных, наличие которых не приводит к нарушению работоспособности алгоритма.
2. Устанавливается набор моделей исходных данных, поступающих на обработку. В качестве моделей данных могут приниматься, например, независимые случайные величины со средним и дисперсией, имеющие гауссовские распределения; независимые случайные величины, имеющие равномерные распределения на интервале; линейно изменяющаяся последовательность со средним значением и углом наклона и т.д.
3. Вычисляются (оцениваются) значения характеристик алгоритмов (программ) на выбранных типовых моделях. Результаты таких оценок могут быть представлены в виде таблиц значений характеристик алгоритма в зависимости от используемых моделей исходных данных.
4. Оформляется свидетельство об аттестации алгоритма (программы), включающее указанные таблицы.
Аттестация ПО в соответствии с МИ 2174 сводится к оценке искажений, вносимых тестируемым ПО в модели исходных данных. В принципе, такая процедура аттестации не требует наличия так называемого эталонного ПО и позволяет оценить свойства ПО, а также степень его влияния на метрологические характеристики средств измерений. Проблема заключается в удачном выборе характеристик алгоритма и таких моделей исходных данных, которые в максимальной степени соответствовали бы той реальной измерительной задаче, которая решается конкретным ПО.
Аттестация программного обеспечения по методике МИ 2955
Методика аттестации ПО, как правило, является составной частью программы испытаний СИ в целях утверждения типа и должна включать следующие основные этапы:
- определение перечня исследуемых характеристик и параметров, исходных данных и критериев, которым должны удовлетворять результаты, полученные аттестуемым ПО;
- проведение аттестации в соответствии с методикой аттестации и получение результатов анализа документации и функциональных проверок аттестуемого ПО;
- обработка результатов аттестации и их оформление в виде протокола аттестации.
Методика аттестации разрабатывается для каждого отдельного ПО СИ с учетом его назначения и функциональных особенностей.
Содержание методики аттестации:
- приводится перечень исследуемых характеристик, свойств и параметров ПО, необходимых исходных данных и опорных («эталонных») ПО, а также критерии, позволяющие производить оценку характеристик аттестуемого ПО;
- определяются и описываются методы аттестации, которые должны обеспечить проверку всех основных функций аттестуемого ПО, а также его соответствие требованиям к ПО СИ;
- описывается последовательность действий при проведении процедуры аттестации ПО.
Результаты аттестации ПО признаются положительными, если при анализе документации и проведении функциональных проверок, предусмотренных методикой аттестации, устанавливается соответствие аттестуемого ПО требованиям ГОСТ Р 8.654 и другой нормативной документации.