Возникли вопросы или опасения по поводу этой статьи? Пожалуйста свяжитесь с нами.

Что такое тестирование и как мы его измеряем?

В этой статье я не буду забрасывать вас миллиардами показателей тестирования. Вместо этого я хотел бы поделиться своими мыслями о том, что следует учитывать, когда вы хотите измерить тестирование. Я часто вижу, как метрики тестирования неправильно используются от одного проекта к другому, и хотел поделиться своим мнением.

Обо всем по порядку. Чтобы ответить на поставленный выше вопрос, давайте создадим общее понимание двух ключевых слов, содержащихся в вопросе: (1) Testing , (2) Measurement .

Для меня тестирование программного обеспечения — это обширная и неограниченная интеллектуальная деятельность. Мы тестируем наше программное обеспечение, чтобы выявить риски в нашем программном обеспечении. Риск — это проблема, которая может произойти. Проблема — это все, что угрожает ценности нашего программного обеспечения. Другими словами, проблема в нашем программном обеспечении — это отклонение от того, что воспринимается и желательно в нашем программном обеспечении. Итак, цель тестирования — получить информацию о рисках в нашем программном обеспечении. Итак, тестирование — это поиск информации (Джем Канер).Тестирование — это информация, а не автоматизация. Мы ищем эту информацию, чтобы позволить другим людям (например, владельцам продуктов) принимать бизнес-решения (например, решения о доставке) на основе предоставленной информации.

Таким образом, тестирование не может быть инкапсулировано в дискретные процедурные блоки, называемые тестовыми примерами (Джеймс Бах). Его нельзя закодировать в тестовые примеры, потому что тестовый пример — это всего лишь один конкретный экземпляр теста. Тестовый пример — это не тест, как рецепт не готовка. Количество имеющихся у вас рецептов (тестовых случаев) ничего не говорит нам о ваших навыках приготовления (тестирования) (Аарон Хокли).

Точно так же маршрут — это не поездка, ноты — это не музыкальное представление, а файл слайдов PowerPoint не является докладом на конференции. Все первые являются артефактами, они являются явными представлениями. Последние — человеческие перформансы (Майкл Болтон). Следовательно, тестирование — это деятельность. Это спектакль, а не создание артефакта. Артефакты (тестовые примеры) могут создаваться до, во время или после акта тестирования (Джеймс Бах). Таким образом, тестировщик может тестировать без тестовых примеров.Хотите нырнуть еще глубже? Посмотрите это видео, чтобы узнать больше о целях и задачах тестирования программного обеспечения.

Не согласны? Если да, остановитесь здесь и проведите остаток вашего увлекательного и, надеюсь, информативного «тестового» дня. Да пребудет с вами удача в выявлении рисков в вашем программном обеспечении.

Чтобы измерить производительность или прогресс какой-либо деятельности (например, тестирования), нам нужны количественные показатели, называемые метриками. Метрики позволяют нам оценить успех деятельности.Успех определяется как повторное достижение операционных целей , что позволяет организации продвигаться к стратегическим целям .

Итак, самая важная стратегическая цель любой коммерческой организации — получение дохода. Один из способов достижения этой стратегической цели — высокая степень удовлетворенности клиентов, которая увеличивает вероятность получения регулярного дохода.Есть много факторов, которые могут способствовать достижению этой операционной цели, связанной с высоким уровнем удовлетворенности клиентов, одним из которых является программного обеспечения высокого качества . Здесь все усложняется, поскольку качество — это расплывчатый термин, и это главная причина, по которой разработка программного обеспечения является такой сложной задачей. Итак, давайте определимся с этим.

Джеральд Вайнберг как-то мудро сказал: «Качество — это ценность для какого-то человека, который иногда имеет значение». Это означает, что качество по своей сути субъективно. Он существует только в отношении восприятия людей (какого-то человека), и эти восприятия могут различаться (некоторое время).

Человек в нашем случае — это заинтересованная сторона, на которую существенно влияет внедрение нового программного обеспечения или изменения, внесенные в существующее программное обеспечение. Они платят или готовы платить за наше программное обеспечение и являются людьми, для которых мы создаем программное обеспечение.

То, что построено, должно отражать потребности заинтересованных сторон. Потребность — это что-то желаемое, важное, необходимое и / или необходимое (Ян МакКоватт). Следовательно, качество является ценностью для заинтересованных сторон, и эта ценность достигается путем предоставления решения их проблем и / или потребностей.

БОКОВОЕ ПРИМЕЧАНИЕ: Удовлетворение всех заинтересованных сторон

Небольшое примечание от Джеймса Баха о субъективности качества . Разные заинтересованные стороны будут воспринимать один и тот же продукт как имеющий разный уровень качества. Это, кстати, причина, по которой ошибки (не обязательно) присутствуют в нашем программном продукте. Ошибки больше связаны с отношениями между программным продуктом и заинтересованными сторонами. Таким образом, ошибка может быть создана или решена просто путем смены заинтересованных сторон.Следовательно, тестировщики должны искать разные вещи для разных заинтересованных сторон.

Как можно разнообразить тестирование? Мы должны изучить отношения между нашим программным продуктом и заинтересованными сторонами. Для этого мы должны сделать множество социальных суждений, включая оценку важности тестирования конкретной ситуации и оценку значения и важности потенциальных проблем для наших заинтересованных сторон. Следовательно, для полного алгоритма идентификации ошибок потребуется полная, недвусмысленная и актуальная спецификация, принимаемая всеми заинтересованными сторонами.Ну, а когда вы в последний раз видели такое? Думаю, я знаю твой ответ. Это одна из причин, почему тестирование нельзя закодировать в тестовых примерах.

Короче говоря, качество нашего программного продукта повышается, когда наши заинтересованные стороны говорят: «Теперь лучше, это решает мою проблему!» или «Сейчас лучше, это позволяет мне более эффективно добиваться поставленных целей!». Как только наши заинтересованные стороны говорят это, мы можем с уверенностью сказать, что наше программное обеспечение создает для них ценность и что наше программное обеспечение имеет высокое качество.

Как это вообще можно измерить !? Как вы можете измерить что-то качественное (качество программного обеспечения) с чем-то количественным (метрики)?

Ну, погоди. Не так быстро, пожалуйста! Обратите внимание, что речь идет о показателях тестирования. Прежде всего согласимся с тем, что задача наших тестировщиков — не выяснять, что необходимо реализовать, чтобы удовлетворить интересы заинтересованных сторон. Этим занимаются наши владельцы продуктов и / или менеджеры по продуктам.Их работа — выявлять потребности, проблемы, болевые точки и все остальное, что потенциально может принести пользу нашим заинтересованным сторонам. Эти результаты передаются командам разработчиков, которые, мы надеемся, будут реализованы и протестированы (одновременно!).

Именно в этот момент тестировщики начинают вносить свой вклад в повышение (или снижение) качества программного обеспечения посредством хорошего (или плохого) тестирования. Причина этого проста. К сожалению, мы не живем в идеальном мире без ошибок, безупречной разработки и безупречного программного обеспечения.Таким образом, тестировщики выявляют проблемы в программном обеспечении, которые мешают нашим заинтересованным сторонам достичь своих целей. Если тестировщики не обнаруживают проблемы, их невозможно решить, поскольку мы не можем решить то, о чем не знаем. Каждая решенная проблема — это на одну проблему в программном обеспечении меньше, что повышает качество программного обеспечения.

Итак, тестирование дает повод для улучшения качества программного обеспечения за счет выявления проблем. Мы надеемся, что это приведет к разработке кода решения проблемы — а поскольку без причины нет эффекта, тестирование повышает качество программного обеспечения (хотя и косвенно).Период. Обратите внимание, что я не ограничиваю тестирование чем-то, что выполняется только тестировщиками. Каждый, кто обнаруживает проблемы, в конечном итоге повышает качество программного обеспечения. Я считаю, что человек, ответственный за проверку исправления, конечно, не единственный, кто повышает качество программного обеспечения. Это коллективные усилия, вклад каждого человека (например, владельца продукта, тестировщика, дизайнера, разработчика, релиз-инженера), который повышает качество программного обеспечения. Вы можете прочитать мои аргументы полностью, чтобы убедиться.

Не согласны? Если да, остановитесь здесь и проведите остаток вашего увлекательного и, надеюсь, информативного «тестового» дня.Да пребудет с вами удача в выявлении проблем в вашем программном обеспечении.

С этой точки зрения тестирование можно рассматривать как информационную услугу, которая предоставляет информацию обо всем, что может угрожать ценности наших программных продуктов. Тестеры предоставляют техническую информацию, которая используется при принятии решений о доставке. Эти решения о доставке являются бизнес-решениями (Майкл Болтон) и обычно принимаются менеджерами по продуктам и людьми из производственного отдела (например, операционными инженерами). Теперь одна из целей принятия этих решений о доставке — собрать отзывы о программном обеспечении и использовать их для как можно более быстрого повышения его качества, и поскольку на эти решения о доставке влияет техническая информация, предоставленная в ходе тестирования, тестирование снова по своей сути связано с программным обеспечением качество.

Итак, когда мы хотим измерить тестирование с помощью метрик, эти метрики должны позволить нам найти ответ на следующий вопрос.

Предоставляем ли мы в ходе тестирования достаточно информации, которая позволяет нашей организации (например, владельцам продуктов, менеджерам по продуктам, разработчикам, инженерам по эксплуатации) разрабатывать, внедрять и поставлять высококачественное программное обеспечение?

Нужные нам показатели тестирования не измеряют качество программного обеспечения напрямую.В этом нет необходимости, поскольку, как мы обсуждали выше, именно владельцы продуктов и / или менеджеры по продуктам определяют и измеряют качество программного обеспечения и то, как оно создает ценность для наших заинтересованных сторон.
Нам необходимо привести наши показатели тестирования в соответствие с нашими бизнес-целями. Это дает нашим метрикам тестирования контекст. Контекст наших показателей тестирования — это качество программного обеспечения. Знать это крайне важно, поскольку измерение тестирования само по себе не имеет смысла и никогда не имело. Каждая отдельная метрика тестирования должна стимулировать дискуссию, которая сосредоточена вокруг поставленного выше вопроса.Это должно позволить нам, тестировщикам, начать информированное обсуждение, обсуждение того, что нам нужно изменить в нашем процессе тестирования и / или нашем подходе к тестированию для оптимизации тестирования. Под «оптимизацией тестирования» я просто подразумеваю поиск способов, которые позволяют нам быстрее и чаще выявлять риски, связанные с каждым атрибутом качества программного обеспечения. Итак, давайте уточним вопрос выше.

Предоставляет ли этот показатель тестирования достаточно информации, чтобы помочь нам оптимизировать тестирование, чтобы наша организация могла повышать качество программного обеспечения быстрее и чаще?

Еще одно.Пожалуйста, не думайте, что сложные (и сложные) вещи (например, риски), связанные с нашими программными продуктами, можно беспроблемно резюмировать с помощью набора чисел (Джеймс Бах). Более того, не следует полагать, что с помощью этих показателей вы можете полностью суммировать достоинства и недостатки своих действий по тестированию. Лучше используйте свои показатели, чтобы начать вдумчивое обсуждение. Используйте их как основу для создания общего понимания рисков, связанных с нашими программными продуктами, поскольку не все, что имеет значение, можно подсчитать, и не все, что считается подсчитанным (Альберт Эйнштейн).Ваши метрики определяют количество «известных», потому что вы не можете измерить «неизвестные» напрямую, но вы можете добраться до «неизвестных» косвенно.

После того, как вы измерите что-то с помощью некоторых показателей, вас попросят выяснить, что происходит за этими показателями. Эти обсуждения дадут хотя бы намек на то, где искать «неизвестные». Причина этого в том, что качество — это функция точной мысли и размышлений. Это волшебство.Методы, укрепляющие эту дисциплину, неизменно повышают качество (Майкл Фезерс). Методом стимулирования этих дискуссий являются регулярные (например, еженедельные, двухнедельные) ретроспективы, когда вы оглядываетесь назад и размышляете о своих показателях как (тестирующая) команда. Это даст вам представление о том, что вы хотите измерить с помощью своих показателей.

Эти идеи должны привести к конкретным элементам действий, и эти элементы действий в конечном итоге позволят вам оптимизировать тестирование. Следовательно, ваши показатели должны давать полезную информацию.При этом мы также определяем гипотезы, например: «Как эти действия повлияют на наше тестирование и как мы можем увидеть влияние в наших показателях?». Это даст вам больше решений, основанных на данных, и меньше решений, основанных на мнениях, эго или авторитетах.

Говоря об эго, следует избегать так называемых метрик тщеславия. Метрики тщеславия — это метрики, которые заставляют вас чувствовать себя хорошо, ничего не рассказывая о вашем тестировании. Итак, показатели тщеславия хороши для эго, но плохи для действий (Эрик Рис).Итак, если выясняется, что рассматриваемые вами показатели бесполезны в поиске ответа на поставленный выше вопрос или вы не можете сопоставить какие-либо действия с этими показателями, то вам следует прекратить на них смотреть. Ключевая фраза здесь: «Если это сработает, оставь. В противном случае выбросьте это ».

Итак, в этих регулярных ретроспективах (также называемых вскрытиями) решите, что вы хотите начать измерять, прекратить измерения и продолжить измерения. По каждой метрике на этих регулярных встречах мы задаем два простых вопроса: (1) Что мы узнали из этой метрики? (2) Что нам нужно изменить, чтобы узнать больше? Это наша простая стратегия постоянного улучшения.Наша мантра — «подумайте, измерьте, проанализируйте, настройте». Ужасная правда заключается в том, что большинство людей этого не делают, поскольку данные легко собирать, но трудно интерпретировать данные — и еще сложнее принимать конкретные решения на основе данных.

Кроме того, пожалуйста, никогда не забывайте, что нет фактов, есть только интерпретации.

Не думайте только о показателях, думайте о ключевых показателях эффективности (KPI).Причину этого объясняет Кайла Григг: не каждая измеряемая вами метрика может быть «ключевой», поскольку, если все ваши метрики особенные, ни одна из них не является. Итак, вам нужно выбрать показатели, которые наиболее точно соответствуют вашим важнейшим целям тестирования. Затем эта подгруппа показателей становится вашими ключевыми показателями эффективности. Один из простых способов думать о KPI — это думать о них как о жизненно важных показателях, которые сосредотачивают ваше внимание на вещах, которые наиболее важны для поддержания жизнеспособности вашего ежедневного бизнеса по тестированию.

Тот факт, что ваши ключевые показатели эффективности являются вашими наиболее важными показателями, не означает, что остальные ваши показатели бесполезны.Когда один из ваших ключевых показателей жизнедеятельности выходит из строя, вам необходимо посмотреть на другие показатели, чтобы правильно диагностировать основную проблему. Ваши ключевые показатели эффективности должны указывать на наличие проблемы, в то время как другие показатели помогают вам понять проблему. Итак, имейте в виду, что есть разница между метриками и ключевыми показателями эффективности, поэтому, пожалуйста, не используйте их как взаимозаменяемые. Итак, мой совет (пока) заключается в следующем.

Не прячьтесь за свои метрики. Постоянно подвергайте сомнению значимость, необходимость и значимость ваших показателей.Помните, что ваши показатели — это только одна часть головоломки. Знайте, что они вводят в заблуждение, если вы не изучите их детали и контекст. Взгляните за пределы своих показателей, ища истину, стоящую за ними. Сделайте ваши показатели действенными. Избегайте тщеславия. Перекрестная проверка ваших показателей. Помните, что хорошие метрики — это метрики, которые помогают вам принимать решения, чтобы в конечном итоге оптимизировать ваше тестирование. Выберите ключевые показатели эффективности и внимательно их выберите. Не ждите, пока какой-нибудь искусственный интеллект общего назначения, такой как Skynet, возьмет на себя задачу интерпретации ваших показателей.Сделай сам и сделай это сейчас.

А теперь остановитесь, пройдитесь по своим показателям тестирования, будучи честным с самим собой, и подумайте над тем, что вы прочитали до сих пор.

С возвращением! Что ж, я (почти) уверен, что большинство из вас проверяли показатели, относящиеся либо к артефактам (например, сколько ошибок было обнаружено в каких тестовых примерах на прошлой неделе?), Либо к действиям человека (например, сколько времени требуется тестировщику для проверки потребность в среднем?). Назовем эти показатели , связанные с тестированием, .Большой список этих показателей можно найти в этом блоге.

Эти показатели важны, это вне всяких сомнений. Мы можем многому у них научиться, чтобы оптимизировать наши ежедневные процедуры тестирования, но вы не должны останавливаться на достигнутом. Эти показатели необходимы, но их недостаточно. Как насчет самого важного и фундаментального компонента тестирования программного обеспечения? А как насчет людей-испытателей !? Их мыслительные процессы и их социальное взаимодействие также могут помочь оптимизировать ваше тестирование, тем самым повышая качество программного обеспечения.Подумайте об этом так: за каждым тестовым случаем стоит идея тестирования, исходящая от человека-тестировщика. Итак, если ваша идея тестирования — отстой, то ваш тестовый пример — отстой.

Я абсолютно убежден в этом, и вот почему.

Как указано выше, «Тестирование — это деятельность. Это спектакль, а не акт создания артефакта ». По словам Майкла Болтона, это означает, что тестирование — это не столько то, что вы делаете, а, скорее, способ вашего мышления. Таким образом, тестирование не может быть сведено к акту создания артефакта или к серии механических проверок.Тестирование — это намного больше, чем консервативное подтверждающее тестирование, при котором вы оцениваете свой продукт, применяя алгоритмические правила принятия решений к конкретным наблюдениям за вашим продуктом (Рич Роджерс).

Говоря простым языком, тестирование — это гораздо больше, чем просто ответ на вопрос «Это утверждение проходит или не проходит?». Это именно то, что вы делаете с помощью подтверждающего тестирования, которое также называется проверкой. Это то, что делают машины, когда выполняют автоматизированные тестовые сценарии. Это то, что (большинство) тестировщиков делают во время повторяющегося ручного выполнения тестовых примеров.Что ж, очевидно, что тестирование — это нечто большее, чем просто это. Тестирование — это больше процесс ответа на вопрос «Есть ли здесь проблема?». Это тонкая разница в формулировках, но она требует совершенно другого мышления.

Процесс ответа на этот вопрос, такого рода принятия решений требует применения множества человеческих действий, таких как вопросы, изучение, моделирование, умозаключения, социальные суждения и действительно долгое время и так далее. Итак, хорошие тестировщики проводят хорошее тестирование с помощью хороших идей тестирования.Итак, что означает хорошее тестирование?

Джеймс Бах выразился так: Для хорошего тестирования нужны хорошие тестировщики, а хорошие тестировщики способны…

• Расскажите, что они нашли
• Быстро делайте правильные выводы
• Думайте критически о том, что они знают
• Знай, что они никогда не узнают всего
• Продолжайте думать о том, что они уже знают
• Сосредоточьтесь на том, чего они не знают
• Устранение конкретных проблем без потери фокуса
• Распознавать предвзятость и управлять ею
• Форма и гипотезы проверки
• Прыгать на домыслы (а не на выводы)
• Задумайтесь над своими решениями
• Рассмотрим альтернативы
• Укрепление важных концепций
• Тщательно исследуйте иллюзии, которые они считают истинными
• Анализируйте чужое мышление
• Причина и следствие
• Определиться с будущими путями обучения
• Научитесь учиться и так далее.

Этот список можно продолжать бесконечно. Короче говоря, хорошие тестировщики осторожны, любопытны и критичны. Это то, что затрудняет обмануть тестировщиков, и это важно, поскольку ваш продукт всегда пытается обмануть вас тем или иным способом.

Другими словами, хорошие тестировщики — это Питеры Пэнов из рода человеческого, поскольку они никогда не теряют интереса к поиску чего-либо, что может угрожать ценности нашего программного обеспечения. Учитывая обширный список качеств, которыми должен обладать хороший тестировщик, мы не должны игнорировать человеческие проблемы, которым грозит опасность (Джем Канер).

Уф! Как это вообще можно измерить количественно !? Есть ли человеческих показателей ? Честно говоря, просто не знаю. Мнения по этому вопросу расходятся. Но правильно ли это вообще задавать? Что ж, по словам Питера Друкера, это так, поскольку он однажды сказал: «Если вы не можете измерить это, вы не можете его улучшить». Правда! Но учтите, что это утверждение не делает различия между прямыми и косвенными измерениями. Таким образом, даже в тех случаях, когда мы не можем напрямую измерить такие навыки, как любопытство, критическое мышление и осторожность, мы можем косвенно попытаться понять, что мы можем узнать о своих навыках из показателей, связанных с тестами.Итак, ключевое слово — качественное исследование. Вы проводите качественное исследование, когда хотите что-то понять. Вы проводите количественных исследований, чтобы понять это. Итак, действительно хорошее количественное исследование должно не только отвечать, но и побуждать к качественному исследованию (Майкл Болтон). Другими словами, ваши показатели, связанные с тестированием, должны не только отвечать, но и вызывать вопросы о наличии или отсутствии ваших навыков тестирования.

Вот и все. Надеюсь, что это находит отклик у вас.

В поисках нужных инструментов

Сначала студент клинической психологии Роберт Липпи подумал, что нашел идеальный инструмент для измерения для своей диссертации воздействия, которое обучение и знакомство с другими культурами оказывают на культурную компетентность военных врачей первичного звена. Инструмент, который он определил, казался идеальным, потому что, в отличие от многих других инструментов, которые он рассмотрел, он был разработан специально для врачей первичного звена.Его советники не согласились, отметив, что информации о надежности и валидности инструмента нет.

«Они сказали:« Похоже, это хороший инструмент, но мы на самом деле ничего не знаем о нем с научной точки зрения », — говорит Липпи, студент четвертого курса Университета медицинских наук, занимающийся военной службой, лейтенант из США. Военно-морской резерв и стажер в Национальном военно-морском медицинском центре в Бетесде. «Мне пришлось вернуться к чертежной доске». Липпи еще раз проанализировал психологическую литературу по культурной компетентности и нашел эмпирически обоснованный инструмент, который удовлетворил его советников.

Как выяснил Липпи, недостаточно найти инструмент измерения, который, на первый взгляд, подходит для вашего исследования. Студенты должны знать, как выбрать подходящий инструмент, оценить его качество и использовать его этично, говорят психологи и другие эксперты по измерениям.

ВЫБОР ПРИБОРА

Когда дело доходит до выбора и использования инструментов, ученики должны применять систематический подход, — говорит Джеффри П.Брейден, доктор философии, председатель комитета APA по психологическим тестам и оценке и директор программы школьной психологии в Университете штата Северная Каролина. У него и других есть несколько предложений:

• Знайте, что вам нужно. Хороший первый шаг — проверить литературу, чтобы увидеть, какие инструменты использовали исследователи в вашем районе, — предлагает Брейден. Но имейте в виду, что, хотя существуют сотни инструментов, может быть только один, который соответствует вашим конкретным потребностям.Студент, заинтересованный в измерении математической тревожности, может найти инструмент с этой фразой в названии и предположить, что он подходит для их целей, говорит Барбара С. Плэйк, доктор философии, бывший директор Центра тестирования Buros и почетный профессор Университета им. Небраска. «Но это может быть измерение математической тревожности в другой популяции или с помощью другого механизма, чем вас интересует», — предупреждает она.

И вы можете найти инструмент, который задает именно те вопросы, на которые вам нужны ответы, но все же придется отклонять его по практическим соображениям, добавляет Брейден.Например, инструмент может занять слишком много времени для администрирования. Или это может стоить больше, чем вы можете потратить.

• Подружитесь со своим библиотекарем. Как только вы определитесь с тем, что ищете, отправляйтесь в библиотеку. Чтобы найти коммерчески доступные тесты, Плэйк рекомендует начать поиск в онлайн-обзоре тестов Института Buros по адресу www.unl.edu/buros. База данных содержит информацию о почти 4000 коммерчески доступных психологических, образовательных и бизнес-тестах, датируемых серединой 1970-х годов.Поищите ключевые слова в категории «баллы», — предлагает Плэйк, отмечая, что этот подход позволит выявить тесты, которые измеряют вещи, которых может не быть в названии теста. Студенты могут либо приобрести обзоры тестов по 15 долларов каждый, либо ознакомиться с конкретным томом «Ежегодника психических показателей» Buros, который содержит желаемый обзор. «Тесты в печати» Buros также позволяют исследователям искать тесты в соответствии с тем, что они измеряют, — говорит Плэйк. В книге содержится информация обо всех имеющихся в продаже тестах на знание английского языка, которые сейчас печатаются.

Когда дело доходит до поиска некоммерческих тестов, говорит издатель APA Гэри ВанденБос, доктор философии, одним из основных ресурсов является восьмитомный «Справочник неопубликованных экспериментальных психологических показателей», опубликованный APA. В справочнике описаны экспериментальные меры из исследований, опубликованных в 36 ведущих журналах.

APA. «Помимо поиска по названию инструмента, вы также можете искать по области, а затем проверять информацию о« тестах и ​​измерениях »в отрывках», — говорит старший директор PsycINFO Линда Биби.

Еще одним ресурсом является база данных о медицинских и психосоциальных инструментах (HAPI), созданная службами базы данных поведенческих измерений и доступная в большинстве университетских библиотек через библиографическую базу данных OVID. (См. Www.ovid.com/site/products/ovidguide/hapidb.htm.) HAPI описывает меры, опубликованные в журналах с 1985 года.

«Мы буквально просматриваем каждый журнал и идентифицируем инструменты», — объясняет директор службы баз данных поведенческих измерений Эвелин Перлофф, доктор философии, почетный профессор сестринского дела и психологии Университета Питтсбурга.

В дополнение к своей базе данных у компании есть сотни инструментов, которые она может отправить исследователям по почте; комиссия за обработку составляет 20 долларов за инструмент. Компания также предоставляет бесплатные консультации исследователям.

• Сделайте некоторый контроль качества. «Многие люди считают, что если инструмент был опубликован на коммерческой основе, он должен быть прекрасным продуктом», — говорит Плэйк, которая до недавнего выхода на пенсию была соредактором «Тестов в печати» и «Ежегодника психических измерений».«Но даже с крупными издателями вы должны убедиться, что тест имеет адекватные психометрические свойства».

Это означает проверку того, что прибор является одновременно надежным и действительным, что означает, что он не только дает одинаковый результат при каждом использовании, но и измеряет то, что он должен измерять. Издатели обычно предоставляют «набор образцов», состоящий из копии теста, технического руководства и другой информации, — говорит Плэйк.

Также ознакомьтесь с обзорами этого прибора, — рекомендует Брейден со ссылкой на «Mental Measurements Yearbook» и PRO-ED Inc.»Test Critiques» как полезные ресурсы. Или введите название инструмента в PsycINFO и выберите «обзор» в качестве типа запрашиваемого документа. Используйте индекс цитирования по социальным наукам для поиска статей, цитирующих конкретный инструмент, чтобы вы могли видеть, кто использовал этот инструмент и с какой целью.

• Получать разрешение. После того, как вы нашли идеальный инструмент, вам необходимо получить согласие, прежде чем вы сможете начать его использовать.Хотя некоторые инструменты являются общественным достоянием, большинство — нет. В этих случаях вам придется купить инструмент у издателя, если это коммерчески доступный продукт, или получить разрешение автора, если это не так. «Большинство исследователей хотят, чтобы студенты использовали свои инструменты, потому что это означает, что кто-то обращает на них внимание», — говорит Брейден. Он добавляет, что общение с автором также дает вам возможность обсудить сильные и слабые стороны инструмента.

• Платить. Если вы будете покупать коммерческий продукт, имейте в виду, что затраты могут варьироваться от нескольких центов за каждую копию анкеты до сотен долларов за индивидуально проводимые тесты интеллекта. Возможно, вам придется купить руководство или отправить данные издателю для оценки, что может увеличить расходы.

Но студенты часто могут поспорить со скидкой, говорит Брейден. «Многие студенты не знают, что обычно есть существенная скидка, если инструмент будет использоваться для исследования, и это исследование не финансируется», — говорит он.«Большинство крупных тестовых издателей взлетят от 40 до 50 процентов».

СТРОИТЬ СОБСТВЕННЫЙ

Не можете найти то, что вам нужно? По словам Брейдена, в более чем нескольких случаях студенты решат, что на самом деле уже нет хорошей меры.

Не отчаивайтесь, — говорит он. Вместо этого подумайте о создании собственного инструмента. Он отмечает, что SurveyMonkey.com и подобные веб-сайты позволяют исследователям создавать онлайн-опросы.Или поработайте со своим консультантом, чтобы создать более традиционный инструмент.

Один из бывших учеников Брэйдена разработал инструмент для выявления студентов, испытывающих проблемы с обучением, в качестве его магистерской диссертации, а затем использовал его для докторской диссертации. Инструмент — Шкала оценки академической компетентности — теперь коммерчески доступен от Harcourt Assessment Inc. «Он и его советник зарабатывают на нем деньги», — смеется Брейден.

Ребекка А. Клей — писатель из Вашингтона, округ Колумбия.С.

Начало работы — поиск тестовых и измерительных приборов

Вот некоторые вещи, которые вам необходимо учесть, прежде чем начинать поиск измерительных инструментов.

Сравнение опубликованных тестов и неопубликованных
Опубликованные тесты или измерения доступны для покупки у издателя тестов. Для проведения этих тестов может потребоваться сертификация или разрешение от издателя и авторов.

Неопубликованные тесты или измерения коммерчески недоступны, но могут быть включены в статьи, исследования и диссертации.Эти тесты также защищены авторским правом, и вы должны запросить разрешение на использование этих тестов, связавшись с автором (авторами).

Соблюдение политик и руководств вашего учреждения
Убедитесь, что вы ознакомились с политикой и руководящими принципами вашего учреждения в отношении исследований, а также с тем, как это относится к добровольцам, которых вы будете тестировать. Например, в Мичиганском университете Управление вице-президента по исследованиям предоставляет ресурсы по безопасным и конфиденциальным исследованиям на людях и имеет Программу защиты исследований на людях.Институциональные наблюдательные советы медицинских и поведенческих наук (HSBS IRB) несут ответственность за защиту людей, которые принимают участие в исследовательских проектах в этом университете, и обеспечивают образование для исследователей.

Проконсультируйтесь с вашей школой или отделом
Если у вас есть вопросы о проведении тестов, которые вы обнаружили, вам может потребоваться связаться с кем-нибудь из вашей школы или отдела или из офиса вице-президента по исследованиям.

Будьте терпеливы
Поиск теста или измерительного инструмента временами может быть сложной задачей и требует терпения.Вам, вероятно, потребуется обратиться к нескольким различным ресурсам, онлайн-базам данных и книгам, но не сдавайтесь. Ресурсы в этом руководстве предназначены для того, чтобы помочь вам в этом процессе. Если вам нужна дополнительная помощь, обратитесь к одному из перечисленных ниже библиотекарей.

Помните …

Всегда запрашивайте разрешение у автора теста перед использованием теста, если явно не указано, что разрешение не требуется.

Контроль качества и измерения | Корпорация MITRE

Определение: Обеспечение качества — это «запланированное и систематическое средство для обеспечения руководству применения установленных стандартов, практик, процедур и методов процесса.«Целью измерения и анализа [качества] является развитие и поддержание возможностей измерения, используемых для поддержки потребностей в управленческой информации [1]».

Ключевые слова: непрерывное совершенствование, измерение, показатели, улучшение процессов, качество, стандарты

Контекст

Существует множество точек зрения как на качество, так и на его измерение, которые зависят от точки зрения заинтересованных сторон. Знание этих точек зрения важно, когда вы рекомендуете программы качества или измерения для правительственной организации.

MITER SE Роли и ожидания: Ожидается, что системные инженеры (SE) MITRE смогут порекомендовать, как создать программу обеспечения качества при приобретении государственных систем или правительственной операционной организации. Ожидается, что они смогут направлять создание и направление программ обеспечения качества, проводить обзоры процессов и продукции и влиять на принятие корректирующих действий для обеспечения соблюдения задокументированных процессов. Ожидается, что системные инженеры MITER смогут помочь в разработке измерительных возможностей для мониторинга процессов и продуктов [2].

Перспективы качества

Вот некоторые точки зрения на качество [3]:

• Судебный. Когда его называют непревзойденным определением качества, оно является одновременно абсолютным и универсально узнаваемым, знаком бескомпромиссных стандартов и высоких достижений. Вы не можете реально измерить или оценить это — вы просто узнаете это, когда увидите. Lexus и Ritz-Carlton являются примерами.
• На основе продукта. С этой точки зрения качество является функцией конкретной измеримой переменной, а различия в качестве отражают различия в количестве атрибутов продукта, таких как количество нитей на квадратный дюйм или пикселей на квадратный дюйм.Простыни и ЖК-телевизоры высокой четкости являются примерами.
• На основе пользователя. Качество определяется как пригодность для использования по назначению или то, насколько хорошо продукт выполняет свои функции. Если вам нужен внедорожник для кемпинга, вам может подойти Jeep. Если вам нужен роскошный автомобиль с множеством функций, Cadillac может лучше удовлетворить ваши потребности.
• На основе стоимости. С этой точки зрения качественный продукт так же полезен, как и конкурирующий продукт, и продается по более низкой цене, или он предлагает большую полезность или удовлетворение по сопоставимой цене.Если бы у вас был выбор между двумя «флэш-накопителями» и один предлагал один гигабайт памяти за 39,95 долларов, а другой предлагал два гигабайта памяти за 19,95 долларов, скорее всего, вы бы выбрали последнее.
• На производственной базе. Качество — это желаемый результат инженерной и производственной практики или соответствие спецификациям. Для Coca-Cola качество — это «производство продукта, на который люди могут рассчитывать каждый раз, когда они к нему обращаются».
• Качество, ориентированное на клиента. Американский национальный институт стандартов и Американское общество качества (ASQ) определяют качество как «совокупность свойств и характеристик продукта или услуги, которая зависит от его способности удовлетворить заданные потребности [4].«Популярное расширение этого определения -« качество соответствует ожиданиям потребителей или превосходит их ».

Обеспечение качества в сравнении с контролем качества

Существует важное различие между обеспечением качества (QA) и контролем качества (QC). ASQ определяет QA как «запланированные и систематические действия, реализуемые в системе качества с целью выполнения требований к качеству продукта или услуги». ASQ определяет QC как «методы наблюдения и действия, используемые для выполнения требований к качеству [4].«Таким образом, QA — это упреждающая, ориентированная на процесс деятельность, тогда как QC — это реактивная, ориентированная на производство деятельность. Фокус QA заключается в создании хороших процессов, чтобы качество было« встроено »в продукт, а не пыталось». проверять качество готовой продукции.

Стандарты качества и руководство

Семейство 9000 Международной организации по стандартизации (ISO) представляет концепцию управления качеством, процессов, сертификации и постоянного улучшения.ISO 9000 — это международно признанный стандарт управления качеством. Он рассматривает производство и перспективы качества с учетом требований клиентов. Семейство ISO 9000: 2000 основано на восьми принципах менеджмента качества: (1) Ориентация на клиента, (2) Лидерство, (3) Вовлечение людей, (4) Процессный подход, (5) Системный подход к менеджменту, (6) Постоянный Улучшение, (7) Фактический подход к принятию решений и (8) Взаимовыгодные отношения с поставщиками [5].

В стандарте ISO 9001: 2000 (основа для сертификации или регистрации ISO 9001) указано: «Этот международный стандарт определяет требования к системе менеджмента качества, когда организация а) должна продемонстрировать свою способность последовательно предоставлять продукт, который соответствует требованиям потребителя и применимым нормативным требованиям. b) направлен на повышение удовлетворенности потребителей посредством эффективного применения системы, включая процессы постоянного улучшения системы и обеспечения соответствия требованиям потребителя и применимым нормативным требованиям [6].«Регистрация ISO 9001 имеет решающее значение для обеспечения безопасности и ведения бизнеса как для частных, так и для государственных подрядчиков. Правительство признает ISO 9001: 2000 как требование к качеству« более высокого уровня »и может ссылаться на него в контракте в соответствии с условиями, изложенными в Части Положения о федеральных закупках. 46.202-4, Контрактные требования более высокого уровня В таких ситуациях правительство больше заинтересовано в системе управления качеством подрядчика (и ее сертификации), чем в государственной инспекции разрабатываемого продукта.

Государственные закупочные организации редко имеют независимую организацию по обеспечению качества, которая контролирует качество рабочих продуктов или процессов правительства. Модель зрелости возможностей, интегрированная для приобретения (CMMI-ACQ), включает область процессов (обеспечение качества продукции и процессов), которая обеспечивает набор целей и конкретных практик для обеспечения качества в закупающей организации [7]. И государственные, и подрядные организации по развитию имеют схожую область процесса CMMI для разработки (CMMI-DEV) [8].

Правительство время от времени вводит инициативы по улучшению качества или процессов, которые на какое-то время привлекают внимание, а затем преодолеваются событиями или забываются. Некоторые из этих прошлых инициатив включают «Программу предложений», «Отсутствие дефектов», «Круги качества» и «Полное управление качеством». Некоторые из самых последних инициатив — это «Шесть сигм» Министерства обороны (DoD), «Непрерывное совершенствование процессов в масштабах Министерства обороны» / «Lean Six Sigma» и «Интеллектуальные операции ВВС в XXI веке» [9, 10, 11].Большинство из этих инициатив связаны с улучшением процессов за счет устранения потерь, оптимизации процессов или внедрения более эффективных способов выполнения требуемых задач, что приводит к сокращению затрат или экономии средств.

Перспективы измерений

Все три модели CMMI — CMMI-ACQ [12], CMMI для служб (CMMI-SVC) [13] и CMMI-DEV [14] — включают область процесса для измерения и анализа. «Целью измерения и анализа (MA) является развитие и поддержание возможностей измерения, которые используются для поддержки потребностей в управленческой информации [14].«В моделях рекомендуется восемь конкретных практик: 1) установить цели измерения; 2) указать меры; 3) указать процедуры сбора и хранения данных; 4) указать процедуры анализа; 5) собрать данные измерений; 6) проанализировать данные измерений; 7 ) Хранить данные и результаты и 8) сообщать результаты [14].

Четыре категории измерений являются общими для многих программ сбора данных, в которых участвует MITER:

1. Количественные требования к производительности, предъявляемые к требованиям пользователей и требования к производительности системы, измеряются в программах эксплуатационного тестирования и тестирования.Предложения по ключевым параметрам производительности можно найти в Приложении B Руководства Председателя Объединенного комитета начальников штабов по эксплуатации Совместной системы интеграции и развития возможностей [15].
2. Technical Performance Measurement (TPM) отслеживает прогресс разработчика в выполнении критических требований к производительности в течение всего срока действия программы, когда существует риск развития. Эта концепция дополнительно объясняется на веб-сайте TPM Офиса министра обороны (OSD) [16].
3. Earned Value Management (EVM) контролирует затраты разработчика и выполнение графика в контрактах на разработку с возмещением затрат. Дополнительную информацию можно найти в статье об управлении освоенной стоимостью в данном руководстве по системному проектированию, а также в EIA-748A и на веб-сайте OSD EVM [17, 18].
4. Process Metrics связаны с процессами разработки, такими как разработка программного обеспечения. Хороший подход к определению типа необходимого измерения и проверенные метрики, поддерживающие это измерение, можно найти на веб-сайте Practical Software and System Measurement [19].

Существует пятая категория, которая может быть задействована, если MITER помогает в разработке основанных на результатах логистических критериев для операций и усилий по техническому обслуживанию. OSD рекомендует пять параметров производительности: 1) эксплуатационная готовность; 2) эксплуатационная надежность; 3) Стоимость единицы использования; 4) Логистический след; и 5) Время отклика логистики. Они цитируются в OSD Memo по этой теме [20].

Для получения дополнительной информации см. Статьи «Метрики управления приобретением» и «Как разработать возможности измерения» в данном руководстве по системному проектированию.

статей по этой теме

Статья «Создание программы обеспечения качества в системе приобретения систем и / или правительственной операционной организации» предоставляет руководство по процессам, обеспечивающим создание правильного продукта (качество, определяемое потребителями), что создаваемый продукт будет соответствовать его указанным требованиям (продукт- на основе качества), и что продукт подходит для использования по назначению (качество на основе пользователя).

Статья «Как проводить обзоры процессов и продуктов через границы» содержит руководство по оказанию помощи правительственным организациям и подрядным организациям в документировании процессов качества и спецификаций рабочих продуктов, а также в проверке этих процессов и продуктов.

Ссылки и ресурсы

1. CMMI-DEV, версия 1.2.
2. Модель компетенции MITRE Systems Engineering (SE), версия 1, 1 сентября 2007 г., Институт MITRE, раздел 3.7, Обеспечение качества и измерения, стр. 45-46.
3. Эванс, Дж. Р. и У. М. Линдси, 2008 г., Управление качеством и производительностью , 7-е издание, Томсон, Юго-западный регион.
4. Веб-сайт Американского общества качества (ASQ) .
5. ISO 9000: 2000, 2000. Системы менеджмента качества, основы и словарь, второе издание.
6. ISO 9001: 2000, 2000 , Системы менеджмента качества, Третье издание.
7. CMMI-ACQ, версия 1.2.
8. CMMI-DEV, версия 1.2.
9. Матчетт, Дэниел Р., «Шесть сигм для Министерства обороны», журнал Defense AT&L, июль-август 2006 г., Vol. 35, № 4, с. 19–21.
10. DoD 5012.42, 15 мая 2008 г., DoD -wide Continuous Process Improvement (CPI) / Lean Six Sigma (LSS) Program .
11. Секретарь ВВС и начальник штаба ВВС, 7 февраля 2006 г., Интеллектуальные операции ВВС для 21 века CONOPS и план реализации , версия 4.
12. CMMI-ACQ, версия 1.2.
13. CMMI-SVC, версия 1.2.
14. CMMI-DEV, версия 1.2.
15. CJCSM 3170.01C, Работа системы интеграции и разработки совместных возможностей.
16. OSD — веб-сайт по измерению технических характеристик.
17. Управление заработанной стоимостью, стандарт ANSI EIA-748A (июнь 1998 г., изд.).
18. OSD — веб-сайт по управлению заработанной стоимостью.
19. Веб-сайт по практическому программному обеспечению и системным измерениям.
20. OSD AT&L Memo, 16 августа 2005 г., Логистика, основанная на результатах: закупки с использованием критериев эффективности.

Произошла ошибка при настройке вашего пользовательского файла cookie

Этот сайт использует файлы cookie для повышения производительности. Если ваш браузер не принимает файлы cookie, вы не можете просматривать этот сайт.

Настройка вашего браузера на прием файлов cookie

Существует множество причин, по которым cookie не может быть установлен правильно. Ниже приведены наиболее частые причины:

• В вашем браузере отключены файлы cookie. Вам необходимо сбросить настройки своего браузера, чтобы он принимал файлы cookie, или чтобы спросить вас, хотите ли вы принимать файлы cookie.
• Ваш браузер спрашивает вас, хотите ли вы принимать файлы cookie, и вы отказались. Чтобы принять файлы cookie с этого сайта, нажмите кнопку «Назад» и примите файлы cookie.
• Ваш браузер не поддерживает файлы cookie. Если вы подозреваете это, попробуйте другой браузер.
• Дата на вашем компьютере в прошлом. Если часы вашего компьютера показывают дату до 1 января 1970 г., браузер автоматически забудет файл cookie. Чтобы исправить это, установите правильное время и дату на своем компьютере.
• Вы установили приложение, которое отслеживает или блокирует установку файлов cookie.Вы должны отключить приложение при входе в систему или проконсультироваться с вашим системным администратором.

Почему этому сайту требуются файлы cookie?

Этот сайт использует файлы cookie для повышения производительности, запоминая, что вы вошли в систему, когда переходите со страницы на страницу. Чтобы предоставить доступ без файлов cookie потребует, чтобы сайт создавал новый сеанс для каждой посещаемой страницы, что замедляет работу системы до неприемлемого уровня.

Что сохраняется в файле cookie?

Этот сайт не хранит ничего, кроме автоматически сгенерированного идентификатора сеанса в cookie; никакая другая информация не фиксируется.

Как правило, в файлах cookie может храниться только информация, которую вы предоставляете, или выбор, который вы делаете при посещении веб-сайта. Например, сайт не может определить ваше имя электронной почты, пока вы не введете его. Разрешение веб-сайту создавать файлы cookie не дает этому или любому другому сайту доступа к остальной части вашего компьютера, и только сайт, который создал файл cookie, может его прочитать.