Транспарентность и валидация модели
Ср, 01 Июнь 2016
1104

David M. Eddy, PhD, MD1, William Hollingworth, PhD2, J. Jaime Caro, MDCM3,4, Joel Tsevat, MD, MPH5, Kathryn M. McDonald, MM6, John B. Wong, MD7, on Behalf of the ISPOR−SMDM Modeling Good Research Practices Task Force

 

1  Archimedes, Inc., San Francisco, CA, USA

2  School of Social and Community Medicine, University of Bristol, Bristol, UK

3 United BioSource Corporation, Lexington, MA, USA

4 Faculty of Medicine, McGill University, Montreal, QC, Canada

5  College of Medicine University of Cincinnati, and Cincinnati Veterans Affairs Medical Center, Cincinnati, OH, USA

6  Center for Health Policy/Center for Primary Care and Outcomes Research, Stanford, CA, USA; 7 Division of Clinical Decision Making, Informatics and Telemedicine, Tufts Medical Center, and Tufts University School of Medicine, Boston, MA, USA

 

Переводчик:

Курылев Алексей Александрович – ассистент, Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова, Санкт-Петербург, Российская Федерация

 

Рецензент:

Колбин Алексей Сергеевич – д.м.н., профессор, Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова, Санкт-Петербург, Российская Федерация

 

Резюме. Доверие и уверенность в результатах – необходимые условия для успешного применения моделей здравоохранения. Существует два основных способа для достижения этого: транспарентность (возможно проследить, как модель была построена) и валидация (насколько хорошо модель воспроизводит реальность). В настоящем отчёте даются рекомендации по достижению транспарентности и валидации, которые были разработаны Исследовательской Группой, созданной Международным обществом исследований в области фармакоэкономики и исходов (International Society for Pharmacoeconomics and Outcomes Research) и Обществом по принятию решений в медицине (Society for Medical Decision Making). Рекомендации неоднократно пересматривались авторами. Нетехническое описание– включая тип модели, предполагаемую сферу применения, источники финансирования, структуру, предполагаемые цели, входные и выходные данные, иные компоненты, определяющие функцию, и их взаимоотношения, источники данных, методы валидации, результаты и ограничения – должно быть доступно всем желающим. Техническую документацию, достаточно детальную, чтобы позволить читателю оценить модель и потенциально воспроизвести её, следует предоставлять в свободном доступе либо согласно договору, защищающему интеллектуальную собственность, на усмотрение авторов модели. Валидация включает лицевую валидность (включающую оценку экспертами структуры модели, источников данных, предположений и результатов), верификацию или внутреннюю валидность (проверка точности кодирования), перекрёстную валидность (сравнение с другими моделями, анализирующими ту же проблему), внешнюю валидность (сравнение результатов модели с реальными результатами) и предиктивную валидность (сравнение результатов модели с проспективно наблюдаемыми). Последние два вида валидности относятся к наиболее сильным формам валидации. Каждый раздел данной статьи содержит рекомендации, неоднократно высказывавшиеся авторами, а также всей Исследовательской Группой по моделированию, сформированной совместно Международным обществом исследований в области фармакоэкономики и исходов и Обществом по принятию медицинских решений.

Ключевые слова: принятие решений, наилучшая практика, моделирование, имитация, транспарентность, валидация

 

Model Transparency and Validation: A Report of the ISPOR-SMDM Modeling Good Research Practices Task Force-7

 

Abstract. Trust and confidence are critical to the success of health care models. There are two main methods for achieving this: transparency (people can see how the model is built) and validation (how well the model reproduces reality). This report describes recommendations for achieving transparency and validation developed by a taskforce appointed by the International Society for Pharmacoeconomics and Outcomes Research and the Society for Medical Decision Making. Recommendations were developed iteratively by the authors. A nontechnical description–including model type, intended applications, funding sources, structure, intended uses, inputs, outputs, other components that determine function, and their relationships, data sources, validation methods, results, and limitations–should be made available to anyone. Technical documentation, written in sufficient detail to enable a reader with necessary expertise to evaluate the model and potentially reproduce it, should be made available openly or under agreements that protect intellectual property, at the discretion of the modelers. Validation involves face validity (wherein experts evaluate model structure, data sources, assumptions, and results), verification or internal validity (check accuracy of coding), cross validity (comparison of results with other models analyzing the same problem), external validity (comparing model results with real-world results), and predictive validity (comparing model results with prospectively observed events). The last two are the strongest form of validation. Each section of this article contains a number of recommendations that were iterated among the authors, as well as among the wider modeling task force, jointly set up by the International Society for Pharmacoeconomics and Outcomes Research and the Society for Medical Decision Making.

Key words: decision making, best practices, modeling, simulation, transparency, validation

 

Об Исследовательской Группе

Новая Исследовательская Группа по моделированию Надлежащей Клинической Практики была создана Правлением ISPOR в 2010 году, и Общество по принятию решений в медицине было приглашено для совместной работы. Сопредседатели и члены исследовательской группы являются экспертами в области разработки и использования моделей из научной, производственной и управленческой среды разных стран. Несколько телеконференций и информационных совещаний в рамках научных собраний Обществ увенчались личной встречей Исследовательской Группы в полном составе, проведённой в Бостоне в марте 2011 года. Были обсуждены предварительные рекомендации, которые затем редактировались и распространялись среди членов группы в виде опроса, где участников просили согласиться или не согласиться с каждой из предложенных рекомендаций и, если был выбран второй вариант, объяснить почему. Все группы получили результаты опроса и попытались их проанализировать по всем пунктам. Окончательные заготовки семи статей были доступны для общих комментариев на сайтах ISPOR и Общества по принятию решений в медицине. Для формального разбора статей пригласили вторую группу экспертов. После рассмотрения комментариев была подготовлена окончательная версия каждой статьи. (Копия оригинальной заготовки статьи, а также комментарии рецензентов и ответы авторов, доступны на сайте ISPOR http://www.ispor.org/workpaper/Model-Transparency-and-Validation.asp.). Краткое изложение данных статей было представлено на пленарном заседании 16-ой Ежегодной Международной Конференции ISPOR, проходившей в Балтиморе в октябре 2011 года. Эти статьи были одновременно опубликованы в журналах Обществ, “Value in Health” и “Medical Decision Making” соответственно. В других статьях той же серии [1-6] описаны наиболее эффективные методы для создания концепций моделей, построения и применения разных их типов и преодоления неопределённости. Настоящая статья касается наилучших практик достижения транспарентности и валидации и может быть применена для всех типов моделей. Подбор примеров не подразумевал какого-либо одобрения или признания преимуществ цитируемых статей.

 

Введение

Целью создания моделей в здравоохранении является снабжение лиц, принимающих решения, количественной информацией о последствиях рассматриваемых опций. Чтобы модель могла достичь эту цель, лица, принимающие решения, должны быть уверены в её результатах. В частности, им необходимо знать, насколько точно модель предсказывает определённые исходы, чтобы определить область применения её результатов.

Разработчики моделей могут способствовать формированию такой уверенности и повышать достоверность моделями двумя путями: 1) с помощью транспарентности – чётко описывая структуру модели, уравнения, значения параметров и используемые допущения, что позволит заинтересованным сторонам понять модель, и 2) с помощью валидации – подвергая модель проверкам, например, сравнивая её результаты с событиями, наблюдаемыми в реальных условиях [7-14].

Некоторые модели в здравоохранении считаются «общими» или «многоцелевыми» в том смысле, что в соответствующих модификациях они затрагивают некий спектр проблем [15,        16]. Например, «модель ВИЧ-инфекции» может быть неоднократно использована для исследования различных вопросов, связанных с этим заболеванием [17-21]. Другие модели имеют одно конкретное применение и не предназначены для повторного использования [22]. К примеру, модель может быть разработана только лишь для экстраполирования результатов исследования, посвящённого имплантируемому кардиовертер-дефибриллятору, чтобы определить, является ли он эффективным с учётом затрат на протяжении жизни пациентов [23]. Некоторые модели, изначально созданные с одной единственной целью, могут впоследствии быть расширены для решения новых задач. Методы, описанные в этой статье, применимы для обоих типов моделей. Для многоцелевой модели изучение транспарентности, валидация и представление отчётов производятся непрерывно. Многоцелевую модель описывают (транспарентность) [24] и валидируют [25], и затем описания и валидации непрерывно дополняются по мере развития науки и самой модели [26]. Кроме того, все случаи реализации модели описываются, валидируются и публикуются после каждого применения [27]. Для моделей с одним назначением описание, валидация и формирование отчёта о применении обычно проводятся один раз, хотя возможны дополнительные валидации после первого использования, особенно в случае обнаружения проблем.

Нашей целью было описать практики, которые мы считаем «лучшими» в смысле предоставления потенциальным пользователям модели информации, необходимой для формирования у них уверенности в результатах и, следовательно, её востребованности. Каждая модель должна быть способна достигнуть лучших показателей, рекомендуемых для транспарентности. Мы признаём, тем не менее, что не все модели смогут соответствовать практикам, рекомендуемых для валидации. Мы скорее описали оптимальные процедуры, к которым все модели должны стремиться, нежели определили минимальные стандарты качества. Для всех моделей разработчикам следует описывать построение для проведения валидации и достигнутый уровень валидации. Данные рекомендации особенно важны с учётом нашумевших примеров научной недобросовестности и сфальсифицированных исследований, опубликованных в ведущих научных журналах, приведших к подчёркиванию роли транспарентности и «просвечивания чёрных ящиков» [28-34].

 

Транспарентность

Транспарентность отражает, насколько заинтересованные стороны могут получить представление о структуре модели, уравнениях, значениях параметров и допущениях. Это понятие не включает разработку, проведение или результаты самого анализа. Транспарентность служит двум целям: 1) для предоставления неколичественного описания модели читателям, желающим понять в общих чертах принцип работы модели и 2) для предоставления технической информации читателям, желающим оценить модель на более высоком уровне математики и программирования и, возможно, реплицировать её (термин «читатель» относится к любому лицу, которому требуется оценить модель, в том числе к обозревателям и читателям журналов и всем, кто использует результаты модели). В общем и целом, идея заключается в предоставлении достаточной информации для того, чтобы весь спектр читателей мог получить представление о точности модели, ограничениях и потенциальном применении на том уровне, который соответствует их компетентности и требованиям.

 

Нетехническая документация

Нетехническая документация должна быть доступна любому заинтересованному читателю [35-37]. Она должна включать описания по следующим пунктам:

  1. Модель и её цель
  2. Задачи, для решения которых она предназначена (например, прогнозирование краткосрочных затрат, анализ «затраты-эффективность»)
  3. Источники финансирования и их роль
  4. Структура (например, графическое представление переменных и их связей)
  5. Компоненты, определяющие модель и её работу
  6. Входные и выходные данные и другие параметры
  7. Уравнения и их источники
  8. Каким образом были обнаружены и отобраны источники информации
  9. Валидация модели и обобщение результатов
  10. Методы модификации для различных задач и условий
  11. Эффекты неопределённости
  12. Основные ограничения для предполагаемых задач
  13. Примеры используемых уравнений (опционально)
  14. Ссылка на техническую документацию модели

Нетехническая документация даёт общее представление о модели и том, как она работает, но может не содержать достаточно информации для её воспроизведения читателями.

 

Техническая информация

Полная техническая транспарентность достигается путём предоставления документов, подробно описывающих модель, в том числе её структуру, компоненты, уравнения и компьютерную программу. Документация должна быть в достаточной степени детальной, чтобы позволить при наличии соответствующего опыта и ресурсов воспроизвести модель. Предоставление технической документации подчиняется некоторым условиям и ограничениям:

  1. Доступ должен быть предоставлен таким образом, чтобы была обеспечена возможность защиты интеллектуальной собственности. Построение модели может потребовать значительных временных и финансовых вложений; если разработчики модели публикуют свои модели без наложения ограничений, теряются стимулы и ресурсы для создания и поддержания сложных моделей.
  2. Хотя это и необязательно, всё больше журналов просит авторов указать, доступна ли полная техническая документация читателям и если это так, то по каким условиям [28, 38]. Технические документы включают в приложения или помещают в открытый доступ иными способами [28, 29, 31, 39]. Предоставление подобной документации может быть чревато потерей контекста исходного анализа [40].
  3. Поскольку большинство многозадачных моделей со временем изменяются – расширяются и дополняются с учётом новой информации и достижений в сфере технологий здравоохранения – технические документы могут периодически обновляться.
  4. Уравнения и детализированная структура мало что дадут читателям без необходимого технического контекста. Даже при наличии такой информации рассмотрение модели может занять значительное время. Более того, очень сложно понять точность модели лишь простой проверкой уравнений, и даже если они выглядят корректными с точки зрения математики, а параметры оценивались с помощью корректных источников и методов, практически невозможно определить точность модели, «прокручивая» её в уме. Предоставление программного кода также не решает эту проблему, особенно если у читателя нет времени и возможностей для его реализации, что для сложных моделей или моделей, использующих усложнённые методы программирования (например, распределённые вычисления), может быть затруднительно. Обнародование кода в этом случае может также угрожать интеллектуальной собственности. Некоторые из этих ограничений преодолеваются путём предоставления доступа к модели или ее версии, приемлемой для частичного анализа. Даже позволяя читателям определять входные и получать выходные данные без доступа к полной версии можно предоставить полезную информацию о функционировании модели. Таким образом, если это выполнимо, создателям модели следует открывать читателям доступ к самой модели или её частям, пригодным для непосредственного анализа. Вместе с тем, важно отметить, что предоставлять эту информацию может быть очень дорого, учитывая затраты на создание копии и интерфейса и поддержку для обеспечения корректного использования, и интерпретации модели. Разработчики моделей, создающие доступные читателям рабочие копии, должны быть отмечены за достижение очень высокого уровня транспарентности, но невыполнение этого условия не должно ставиться в вину разработчику и влиять на оценку модели.

 

Публичная и конфиденциальная документация

Чтобы удовлетворять противоречащим друг другу требованиям транспарентности с одной стороны и осуществимости, и интеллектуальной собственности с другой, информация, находящаяся в общем пользовании без ограничений («публичная документация»), должна быть отделена от информации, доступной согласно соглашениям, защищающим интеллектуальную собственность («конфиденциальная документация»). В публичной документации нетехническое описание должно быть открыто для всех желающих. В случае конфиденциальной документации разработчики модели должны предоставлять полную техническую документацию (наряду с доступом к рабочей копии) читателям, уполномоченным редакцией журнала, обозревающего статью, либо организацией, для которой создаётся модель (независимым экспертам следует соблюдать конфиденциальность технической информации по принципиальным соображениям). Предоставление читателям технической информации с соблюдением условий конфиденциальности согласуется с опубликованными требованиями к обзору моделей [41]. С учётом размера и технических свойств документации, необходимости защиты интеллектуальной собственности, и поскольку журналы могут получить полный доступ ко всей документации в ходе рассмотрения, журналы не могут требовать, чтобы она включалась в опубликованный отчёт об исследовании.

 

Наилучшие практики

VII-1 Каждая модель должна иметь нетехническую документацию в свободном для любого заинтересованного лица доступа. Как минимум, она должна описывать в нетехнических терминах тип модели и её предполагаемое применение; источники финансирования; структуру модели; входные и выходные данные, иные компоненты, определяющие работу модели, и их связи; методы и результаты валидации; ограничения.

VII-2 Каждая модель должна иметь техническую документацию, достаточно детальную для того, чтобы позволить читателю, обладающему необходимым опытом, оценить модель и потенциально воспроизвести её. Техническая документация должна быть доступна либо всем желающим, либо по соглашению о защите интеллектуальной собственности на усмотрение разработчиков.

 

Ожидания

Даже с учётом данных наилучших практик, сделать модель полностью транспарентной для всех читателей удаётся редко (например, с учётом необходимости углублённых знаний в области математики или программирования). Отсутствие транспарентности для тех, кто не располагает соответствующими знаниями или временем для изучения модели, не означает, что модель обязательно некорректна. Также важно подчеркнуть, что транспарентность сама по себе не подразумевает корректности модели. Модель может быть транспарентной, но давать неправильный ответ (например, ошибочная формула Путь = Скорость/Время транспарентна, но неверна). С другой стороны, модель может обладать низкой транспарентностью, но быть правильной. В конце концов, имеет значение лишь то, насколько точно модель прогнозирует события, наблюдаемые в действительности. Таким образом, транспарентность и валидация неразрывно связаны и требуются читателям для того, чтобы быть уверенными в результатах модели. Например, уравнения, использующиеся для преобразования изображений компьютерной томографии (КТ), не транспарентны для большинства врачей, хотя последние постоянно пользуются сканами КТ потому, что, если на сканах КТ видна опухоль, она в большинстве случаев действительно обнаруживается. Ключом к формированию уверенности в модели является не просто изучение её структуры, допущений, уравнений и программного кода, но и оценка того, насколько точно она рассчитывает интересующие результаты. В этом заключается роль валидации.

 

Валидация

Значение валидации

Валидация – это набор методов для оценки того, насколько точно модель даёт значимые прогнозы. Эта информация используется лицами, принимающими решение, для определения применимости результатов для их решения. В то время как транспарентность может помочь читателям представить, что и как делает модель, валидация является единственным для читателей способом понять, насколько хорошо она это делает.

Валидация необходима и для много-, и для одноцелевых моделей. Для многоцелевых моделей необходимо разделять валидацию в общем смысле (например, «модель сахарного диабета» или «модель болезни сердца») и валидацию с определённой целью (например, влияние лекарственного средства на гликемию при сахарном диабете). Для одноцелевой модели валидация ограничивается имеющейся задачей.

Невозможно определить критерии, которые должна соблюсти модель, чтобы считаться валидной, как если бы валидность была свойством модели, всегда подходящей для всех задач и сфер применения. Во-первых, поскольку модель может иметь разные уровни валидности для разных задач, концепция валидации должна применяться к отдельным задачам, а не к самой модели. Во-вторых, необходимая степень точности зависит от вопроса. Например, для ответа на вопрос «Уменьшит или увеличит затраты данное вмешательство?» требуется меньшая точность, чем для вопроса «Сколько будет стоить данное вмешательство?». Третья причина касается многоцелевых моделей: они могут и должны меняться со временем, чтобы соответствовать новым научным достижениям, технологиям и фактам. Таким образом, все типы валидации должны проводиться в контексте конкретных задач, и во все отчёты следует включать предполагаемые области применения.

Вне зависимости от того, сколько было произведено валидаций, неизбежно будет возникать неопределённость, связанная с некоторыми аспектами модели. Чтобы изучить, насколько результаты модели меняются в зависимости от входных данных, можно применить анализ чувствительности [6], но сам по себе он не оценивает точность отображения моделью того, что имеет место в действительности. Анализ чувствительности является важным дополнением к валидации, но не её заменой.

 

Типы валидации

Известно пять основных типов валидации: лицевая валидность, верификация (внутренняя валидность), перекрестная валидность, внешняя валидность и прогностическая валидность. Лицевая валидность – это степень, с которой модель, её допущения и применение соответствуют современной науке и накопленным знаниям, по мнению лиц, компетентных в данном вопросе. Верификация показывает, укладывается ли поведение элементов модели в запланированные рамки и правильно ли она реализуется. Перекрестная валидация сравнивает данную модель с другими и определяет, насколько схожие они дают результаты. При внешней валидации с помощью модели имитируется реальный сценарий, например, клиническое исследование, а спрогнозированные таким образом исходы сравнивают с реально наблюдаемыми. Прогностическая валидность включает использование модели для предсказания событий и затем сравнение предсказанных исходов с реальными. Каждый тип валидации обладает своими методами, преимуществами, ограничениями и наилучшими практиками.

 

Лицевая валидность

Для лицевой валидности особое значение имеют четыре аспекта: структура модели, источники данных, формулировка проблемы и результаты. Лицевая валидность субъективна; лица, обладающие клиническим опытом, должны оценить, насколько хорошо каждый из компонентов модели отражает их понимание соответствующих областей медицины, доступную информацию и клинический или административный вопрос по данной теме [42]. Информацию о модели и подкрепляющие факты получают из документации, предоставленной разработчиками модели. Информацию о формулировке проблемы и результатах берут из отчёта о применении.

Конкретные вопросы зависят от оцениваемого компонента. При оценке структуры важно, включает ли модель все существенные с точки зрения экспертов аспекты действительности и соответствуют ли взаимосвязи между ними современной научной информации; при оценке доказательной базы – использовались ли лучшие из надёжных источников данных; при оценке формулировки проблемы – соответствуют ли задаче условия, популяция, вмешательства, исходы, допущения и временные горизонты; при оценке результатов – соответствуют ли они ожиданиям экспертов и, если нет, может ли модель правдоподобно их объяснить. Если выявленные недостатки затрагивают любой из вышеупомянутых аспектов, необходимо проверить, насколько полно авторы описали и объяснили данные несоответствия и их возможное влияние на результаты. Например, если модель игнорирует важный фактор риска, необходимо понять, описывают ли разработчики направленность и возможные масштабы ошибок при получении результатов?

Оценка лицевой валидности может осуществляться разными способами. Группа, разработавшая модель, может обратиться к членам группы моделирования, лицам из той же организации, не принимавшим участия в разработке, или к внешним консультантам. Любой читатель может провести свою собственную оценку. Рецензирование обычно включает оценку лицевой валидности. Поскольку лицевая валидность субъективна, обозреватели не должны быть заинтересованы в рассматриваемой проблеме. В идеале, структура, доказательная база и формулировка проблемы должны оцениваться без предоставления результатов. Как показывает практика, рецензирование модели недостаточно для надёжного определения лицевой валидности.

 

Преимущества и ограничения

Лицевая валидация даёт уверенность, что модель построена и использована в соответствии с самой свежей медицинской научной информацией и самыми надёжными доступными данными. Этот процесс делает модель более убедительной в глазах экспертов и повышает вероятность принятия результатов. Кроме того, оценка может поднять новые вопросы и наводит на размышления о том, что могло бы улучшить модель. Если результаты противоречат здравому смыслу, но обоснованы, определение причин поможет сформулировать новые гипотезы и стимулирует дополнительные исследования и сбор данных.

Тем не менее, лицевая валидация обладает несколькими ограничениями. Все модели упрощают действительность, причём многие из них делают это довольно сильно. Таким образом, структура может не полностью соответствовать современным медицинским знаниям или убеждениям и не обладать лицевой валидностью строго по своему применению. Например, врачам известно, что представление о сложном заболевании как о небольшом количестве дискретных состояний нереалистично с клинической точки зрения и что пациенты не переходят из одного состояния в другое за фиксированные временные интервалы, как это происходит в моделях переходов состояний. Несмотря на данные упрощения, для корректно подобранных проблем модели переходов состояний могут обладать достаточной точностью [3]. Для читателей может оказаться очень сложным прикинуть, была ли модель упрощена корректно, чрезмерно или недостаточно для данной проблемы.

Другое ограничение заключается в том, что современная медицинская наука не является точной, и медицинские знания и убеждения могут быть неправильными или изменчивыми. Обязательность экспертного мнения по всем аспектам структуры модели на любом этапе может привносить искажения в модель. Например, до недавнего времени практически все эксперты считали, что повышение уровня липопротеидов высокой плотности предупреждает сердечно-сосудистые заболевания. Модели, исключающие этот предполагаемый эффект, имели низкую лицевую валидность, и недавнее клиническое исследование оспорило это предположение [43].

Третье ограничение состоит в том, что не существует однозначных критериев оценки модели или её применения. Их отсутствие чревато появлением сомнений у заинтересованных лиц. Точнее сказать, практически все разработчики могли бы утверждать, что их модель обладает лицевой валидностью. Любое лицо, заинтересованное в результатах, может быть склонным к принятию модели в случае получения желаемых результатов или к её непринятию в обратном случае.

 

Наилучшие практики

VII-3 Валидация должна включать оценку лицевой валдиности структуры модели, доказательной базы, формулировки проблемы и результатов. Описание хода оценки должно предоставляться по требованию. По возможности оценку лицевой валидности должны производить лица, компетентные в данной области, но в то же время беспристрастные и и не имеющие доступа к результатам анализа.  Если лицевая валидация приводит к новым вопросам, они должны быть изложены в отчёте.

 

Верификация

Этот тип валидности (также называемый внутренней валидностью, внутренней непротиворечивостью или технической валидностью) [42, 44-46] определяет, насколько корректно и адекватно особенностям модели производились математические расчёты. Методы зависят от сложности модели. Выделяют два основных этапа: проверка отдельных уравнений и корректности их использования в коде. Уравнения и параметры должны валидироваться относительно их источников. Корректность программирования следует проверять с использованием новейших методов контроля качества и разработки программного обеспечения [45, 46]. К ним относится, например, поддержание полной и свежей документации по программному обеспечению; проведение структурированных сквозных просмотров, в ходе которых программист объясняет код экспертам, ищущим ошибки; верификация отдельных частей модели; двойное программирование, при котором элементы модели независимо программируются двумя специалистами; сравнение результатов модели с вычислениями вручную; анализ чувствительности; анализ крайних значений; анализ кривых, подразумевающий отслеживание отдельных событий и их распределения во времени; обнаружение лишних деталей, способных увеличить вероятность ошибки. Выбор методов должен быть адекватным сложности модели.

 

Преимущества и ограничения

Верификация помогает убедиться в отсутствии непредумышленных ошибок в программировании, но не оценивает правильность структуры или прогнозов модели. Параметры для уравнений могут хорошо подходить при наличии хороших источников данных и техники, а уравнений – правильно записаны в коде, но конечная модель по-прежнему может оказываться неверной при неудачном выборе структуры. Например, если задачу, включающую расстояние (D), скорость (R) и время (T), представить в виде D = α + β1R + β2R, а не как D = R * T, параметры α, β1 и β2 могут быть верно рассчитаны, а уравнение корректно закодировано, но результаты могут оказаться неправильными в зависимости от R и T. При этом верификация не может обнаружить такие несоответствия. Верификация должна также включать анализ чувствительности всех параметров с оценкой широкого диапазона входных значений, чтобы установить, соответствует ли направление и размах выходных данных модели ожидаемым.

Наилучшие практики

VII-4 Модели следует подвергать строгой верификации. Методы должны быть описаны в нетехнической документации. Релевантные результаты верификации предоставляются по запросу.

Перекрёстная валидация

Данный метод (также называемый внешней непротиворечивостью, сравнительным моделированием, внешней проверкой сходимости, конвергентной валидностью, подкреплением модели) подразумевает исследование различных моделей, решающих одну и ту же проблему, и сравнение их результатов [9, 47-50]. Затем исследуются различия между результатами и их причины.

 

Преимущества и ограничения

 Уверенность в результате возрастает, если схожие результаты дают модели, использующие различные методы [9,13]. Сравнение моделей может быть также полезно в методологических целях. Значимость данного типа валидации зависит от степени, в которой методы и источники данных независимы друг от друга. Высокий уровень зависимости между моделями (например, при использовании параметров из других, ранее опубликованных моделей) снижает ценность перекрёстной валидации. Альтернативные структуры и допущения, такие как семь независимых моделей рака молочной железы Сети Моделирования Вмешательств и Надзора при Раке (Cancer Intervention and Surveillance Modeling Network), повышает надёжность перекрёстной валидации [48].

 

Наилучшие практики

VII-5 Разработчикам моделей следует искать примеры моделирования той же или аналогичных проблем и обсуждать полученные при анализе сходства и различия в результатах.

 

Внешняя валидация

Внешняя валидация сравнивает результаты модели с реальными данными о событии. Она включает в себя имитацию произошедших событий, например, клинических испытаний, и проверку соответствия результатов. Для многоцелевых моделей внешняя валидация применяется к модели в общем и к каждой задаче по отдельности. Она также может быть применена ко всей модели целиком или к отдельным её компонентам. Важно проводить множество валидаций, чтобы увязать предполагаемые задачи в смысле вовлечения популяций, вмешательств, исходов и временных интервалов. Внешняя валидация также применима к отдельным компонентам модели, такимкак формирование популяции, заболеваемость (в том числе влияние особенностей пациента, факторов риска), развитие заболевания, процессы и поведение, связанные с уходом, встречаемость клинических исходов, а также вмешательства и их эффекты (кроме используемых ресурсов, исходов и финансовых затрат – см. ограничения). Примерами валидации компонентов могут послужить использование эпидемиологического исследования для валидации уравнений заболеваемости, задействованных в модели, и применение биомаркеров в динамике в контрольной группе для валидации физиологических уравнений. В то же время, имитация клинического исследования целиком подвергает проверке несколько частей или все его части одновременно, а имитация нескольких исследований испытывает точность модели в расчёте многих исходов во многих популяциях со многими вмешательствами.

Внешняя и прогностическая валидация необходимы, так как они напрямую соответствуют цели модели – помочь лицам, принимающим решения, предугадать, что произойдёт в результате тех или иных действий. Выделяют три основных этапа: определение источников данных для имитации, проведение имитации и сравнение результатов.

Определение источников данных. Источники данных должны удовлетворять двум требованиям: 1) содержать применимые данные и 2) быть надлежащим образом описаны, чтобы обеспечить возможность воспроизведения дизайна (информация об условиях, популяции, протоколы лечения, протоколы наблюдения больных и исходы) и развития (все изменения в дизайне или ходе исследования в течение периода наблюдения). Примерами источников данных являются популяционная статистика, эпидемиологические исследования, клинические исследования, данные о патентах и электронная медицинская документация.

Источники могут быть формальными или неформальными. Формальным называется тот источник данных, который служит задачам исследования и включает подробный план и описание дизайна исследования, критерии включения, методы сбора и записи данных, протоколы вмешательств, протоколы наблюдения, определения исходов, точное время наблюдения, методы, использовавшиеся для хранения данных и фиксирования исходов. Неформальный источник данных в первую очередь рассчитан на другие цели (например, медицинские записи, данные о патентах). Данное различие имеет значение, поскольку имитация данных затруднительна без подробного плана и описания, а формальные и неформальные источники могут быть очень разными по качеству.

Валидация называется зависимой, если для оценки параметров модели и её валидации использовали одинаковые источники. Валидация называется частично зависимой, если источник используют для построения или калибровки части модели, но часть эта сама по себе не определяет валидируемый исход целиком. Таким образом, источник может быть зависимым для одного компонента и в то же время «частично зависимым» для другого. Валидация независима, если для построения модели информация из данного источника использована не была. Независимая валидация является слепой, если лица, проводящие валидацию, не обладали информацией об исходах в источнике. Например, статьи о дизайне и исходных условиях исследования могут использоваться, чтобы попытаться прогнозировать его результаты. Даже когда источник данных не слепой, лица, проводящие независимую валидацию, не должны позволять информации об исходах влиять на результат валидации.

Калибровку модели описывают как обеспечение «совместимости входных и выходных данных с доступной информацией» [13], которая может быть зависимой, частично зависимой и независимой. В общем виде калибровка включает в себя ограничение возможных значений ненаблюдаемых параметров модели путём сравнения выходных данных модели с внешними, как, например, в случае моделирования рака [51]. Отчёт о калибровке должен включать в себя цель, показатели критерия согласия, алгоритм поиска, критерии принятия и правило остановки [51].  Таким образом, зависимые валидации тесно связаны с калибровкой, при которой данные используются для соответствующих параметров модели.

В идеале, план и источники валидации должны определяться до получения результатов модели. Источники идентифицируют путём формального поиска с помощью обычных методов [52-55], отдавая предпочтение тем, что включают условия, популяции, вмешательства и исходы, подобные используемым в модели, и характеризуются наилучшим дизайном (например, большой выборкой, репрезентативностью, формальным протоколом, детализированным отчётом, а также если исследование проводилось недавно). Выбор может быть сделан с привлечением независимой комиссии, он должен быть основан на использовании данной модели, а не на удобстве или вероятности успешного результата моделирования. Если для разработки модели используются вполне определенные данные, исследования, выбранные для валидации, должны быть независимыми. В то же время, модели, прошедшие частично зависимую или даже зависимую валидацию, остаются пригодными к использованию. Многоцелевые модели должны валидироваться против как можно большего числа «эпохальных» исследований (то есть использующихся экспертами в качестве основы для понимания заболевания).

Во-первых, внешняя валидация обычно требует множество источников данных, поскольку модель касается разных популяций, вмешательств и исходов. Во-вторых, популяции и методы оказания помощи различаются в зависимости от условий, и потому важно проследить, насколько правильно модель их имитирует. В-третьих, важно валидировать отдельные части модели. Например, модель может переоценивать заболеваемость, недооценивать эффект от лечения и при этом корректно оценивать смертность, что приводит к ложному выводу о том, что она целиком валидна.

 

Имитация источников

 Имитация должна использовать такие данные из источника, как характеристики популяции, протоколы лечения и определения исходов. Информация о промежуточных результатах может использоваться в случае, если реальная практика отличается от предполагаемого дизайна. Например, если дизайн исследования предполагает снижение холестерина липопротеидов низкой плотности до 100 мг/дл, а на самом деле отмечается его повышение до 145 мг/дл, было бы полезным использовать эту информацию. Схема имитации не должна иметь доступа к информации об исходах в источнике данных.

Имитация должна быть построена таким образом, чтобы максимально сочетаться с данными источника, в том числе с условиями, целевыми популяциями, протоколами лечения и наблюдения и определения исходов. Несоответствие в любом из аспектов может повлиять на интерпретацию валидации. Например, если источник данных упоминает «инфаркты миокарда», то важно понять, включаются ли сюда лишь случаи госпитализации или также внезапные смерти и бессимптомные инфаркты. Если источник включает их всех, но модель оценивает только госпитализации, частоты событий вряд ли совпадут. На практике, если исследователи, несущие ответственность за источник данных, считают необходимым включить в него тот или иной элемент, разработчикам модели следует попытаться обеспечить тот же уровень детализации в имитации. По возможности переменные, использующиеся в модели и определяющие ее поведение, должны задаваться в соответствии с источником (например, смена лечения). Разработчики модели должны находить несовместимые аспекты и анализировать их влияние на валидацию.

Параметры, определяющие заболеваемость и естественное течение болезни, эффект от факторов риска, физиологию, встречаемость исходов и эффекты от лечения, не должны меняться и «подгоняться» для каждого источника данных ради достижения соответствия. Структура модели может модифицироваться в процессе разработки, но как только модель оказывается готовой для внешней валидации, она не может больше модифицироваться, чтобы подходить конкретному источнику данных. Подгонка является указанием на то, что другая структура модели могла бы оказаться более подходящей.

 

Сравнение результатов

 Сравнение результатов имитации с реальными событиями из источника должно включать те же статистические методы, что были использованы исследователями источника. Например, если результаты источника представлены в виде кривых Каплана-Мейера, результаты имитации должны быть показаны таким же образом. Если источник измеряет исходы в различные моменты наблюдения за пациентами, валидация должна включать в себя те же моменты.

Отчёт должен включать описание источника, план имитации (сравнение характеристик и периода наблюдения с любыми расхождениями), неопределённость модели и исследования и показатели, использованные для оценки непротиворечивости результатов модели и исследования [56]. Любые факторы, способные повлиять на результаты, но не описанные в источнике, или не доступные для корректной имитации, должны быть указаны в отчёте, наряду с тем, как те или иные расхождения могли бы повлиять на результаты валидации.

Следующая задача состоит в том, чтобы исследовать количественно, как неопределённость и расхождения между реальным и имитированным дизайном влияют на результаты и насколько уменьшаются различия при принятии разумных допущений. Если использование разумных допущений приводит к совпадению, результаты модели называют «совместимыми» с реальными результатами. Результаты данных анализов чувствительности следует включить в отчёт наряду с анализом исходных данных.  Количественное сравнение результатов модели с реальными будет зависеть от типа результатов. Поскольку достичь полной совместимости с источником удаётся редко, даже высокоточные модели могут отклоняться от действительности и их результаты должны интерпретироваться с осторожностью. В качестве сводного показателя можно рассчитывать долю результатов, лежащих в любых указанных пределах. Информация об объёмах выборки источника и имитации может использоваться для определения статистической значимости этого показателя.

Для многоцелевых моделей, модифицируемых постоянно или с появлением новой информации, внешние валидации должна производиться постоянно.

 

Преимущества и ограничения

 Внешняя валидация проверяет способность модели к расчёту реальных результатов. Данный тип валидации широко используется в медицине (например, уверенность в сканах КТ основывается на сравнении результатов сканирования с реальными физикальными данными) и, более того, практически во всех областях науки.

Внешняя валидация применима только для компонентов, связанных с источниками данных. Даже если модель точно прогнозирует множество клинических исследований, нет гарантии, что она окажется точной и в следующий раз. Напрямую внешнюю валидацию можно провести только при наличии источника данных, непосредственно пригодного для анализа. Такая ситуация наблюдается очень редко; если бы подобный источник существовал, необходимость в моделировании бы отпала. Другое ограничение заключается в недостатке полезных для валидации данных, поскольку их число может быть ограничено. Источники данных могут не включать или содержать в нечётком виде информацию, необходимую для корректного проведения внешней валидации. Даже когда имеется информация о дизайне источника, она может не вполне точно отображать ситуацию из-за изменений по ходу исследования. Даже если протоколы описаны идеально и выполняются неукоснительно, факторы, изменчивые под воздействием внешних условий и влияющие на результаты, могут не войти в отчёт или вовсе оставаться неизвестными. Данные, касающиеся участников, могут быть недоступными, вынуждая использовать обобщённую информацию или предполагаемые распределения значений. Точное сопоставление накопленных результатов необязательно позволяет провести валидацию результатов для субпопуляций.

Несмотря на кажущуюся привлекательность неформальных источников из-за их связи с «реальной практикой», их использование особенно проблематично, поскольку без формального дизайна крайне трудно определить, что именно произошло, с учётом оборота популяции, вариаций в паттерне клинической практики, систематической ошибки отбора, искажений, неполного следования протоколам и приверженности лечению, а также сомнений, связанных с введением в практику новых вмешательств. Многие из этих факторов не могут быть измерены и, даже если их измерение возможно, они очень трудно поддаются моделированию.

Другое ограничение заключается в том, что модель может не включать все элементы, необходимые для точной имитации источника. Она может не включать все факторы риска или коморбидности, все процессы или типы поведения пациента, врача, стационара и системы здравоохранения или все характеристики, необходимые для расчёта результатов точно согласно протоколу источника.

Внешняя валидация ещё более проблематична с точки зрения использования ресурсов и затрат. Из-за вариаций в паттерне клинической практики использование ресурсов, обусловливаемое клиническими событиями, различается в зависимости от внешних условий, даже когда частоты событий одинаковы. Поскольку удельные издержки могут значительно варьироваться в зависимости от внешних факторов, аналогичные проблемы наблюдаются и с затратами.

Наилучшие практики

VII-6 Для проведения внешней валидации должен существовать формальный процесс, включающий в себя:

  • Систематическое выявление подходящих источников данных; обоснование выбора; определение, является ли источник данных зависимым, частично зависимым или независимым; определение того, какие части модели оцениваются с помощью того или иного источника.
  • Имитацию каждого из источников.
  • Сравнение результатов, в том числе описание:
    • Источника данных
    • Плана имитации
    • Расхождений между источником и имитацией, а также выводы на их основе
    • Расхождений между имитацией и наблюдавшимися результатами
    • Анализа чувствительности
  • Количественные показатели того, насколько полно результаты моделирования сопоставимы с результатами источника

VII-7 Разработчики модели должны: предоставлять по запросу доступ к описанию хода и результатов внешней валидации; выявлять компоненты модели, непригодные к валидации с учётом отсутствия подходящих источников; описывать, каким образом устранялась неопределённость, связанная с этими компонентами.

VII-8 Для многоцелевых моделей разработчики должны описывать критерии для определения, когда валидацию следует повторить и/или расширить.

Прогностическая валидация

Прогностическая валидация представляет собой определение того, насколько дизайн модели может быть уточнён путём его имитации, записи спрогнозированных результатов, ожидания событий и сравнения их с прогнозами [13,57]. Этот процесс легче всего наблюдать в клинических исследованиях с известным дизайном и до публикации результатов, хотя данный тип валидации также применим и для неоконченных когортных исследований.

 

Преимущества и ограничения

Прогностическая валидация является наиболее привлекательной, так как она ближе всего соответствует цели моделирования: прогнозированию будущего. Она также обеспечивает полностью независимую валидацию, не оставляя возможности для изменения модели ради соответствия с наблюдаемыми результатами. Ограничение состоит в том, что результаты необходимы для непосредственных решений в первую очередь в будущем и требуют наличия исследования, спланированного или применимого по ходу для конкретного решения. Многие модели создаются для синтеза важнейших доступных фактов и подкрепления решений, для которых исследования всё ещё проводятся, планируются или только лишь возможны. Данный метод валидации лучше всего подходит лишь для краткосрочных результатов исследований.

Прогностическая валидация подвержена всем ограничениям внешней валидации, в частности, изменениям или нестыковкам в дизайне, а также факторам, не контролируемым оригинальным дизайном исследования, таким как появление новых технологий или изменения в клинической практике. Таким образом, лучшее применение прогностической валидации заключается в имитации клинического исследования или иного подходящего источника данных, появившегося в прошлом, но чьи результаты пока не известны и будут обнародованы в ближайшем будущем. Этот тип валидации очень полезен для многоцелевых моделей, которые, как предполагается, будут пригодны к использованию после публикации результатов источника.

 

Наилучшие практики

VII-9 Если модель осуществима с учётом релевантного решения и будущей доступности источника, она должна быть подвергнута проверке с точки зрения её способности прогнозировать будущие события. Разработчики многоцелевых моделей должны искать возможности для проведения прогностической валидации.

 

Интерпретация результатов валидации

В конечном итоге, то, является ли модель достаточно валидной или точной для данной задачи, должно определяться теми, кто будет использовать её результаты. Описанные здесь наилучшие практики направлены на предоставление пользователям информации, необходимой для определения того, насколько полезна для их целей модель и её результаты. Мы рекомендуем пользователям проверять результаты валидации по четырём критериям:

  • Точность выполнения;
  • Количество и качество используемых источников;
  • Способность модели к имитации с необходимым уровнем детализации; и
  • Насколько близко результаты соответствуют наблюдаемым результатам, первоначально и после принятия разумных допущений касательно неопределённостей.

 

Выводы

Мы описали методы и рекомендовали наилучшие практики для придания моделям транспарентности и их валидации. Данные принципы необходимы для того, чтобы позволить читателям и потенциальным пользователям понять, как работает модель, и составить мнение о её ожидаемой точности при использовании для конкретных задач. Не все модели смогут соответствовать всем наилучшим практикам, и эта неспособность не обязательно означает, что модель бесполезна. Тем не менее, разработчики должны стараться соответствовать наилучшим практикам. Помимо ограничений транспарентности и валидации, описанных выше, важно понимать, что модели – это только модели, они не являются реальностью. Модели разрабатывают, чтобы помочь лицам, принимающим решения, в тех случаях, когда вопросы слишком трудны для человеческого ума. Хорошо описанные и валидированные модели могут привести к бесценным открытиям, к которым невозможно прийти иным путём.

Источник финансовой поддержки: данная Исследовательская Группа поддерживается ISPOR.

Литература

  1. Caro J.J., Briggs A.H., Siebert U., et al. Modeling good research practices - overview: A report of the ISPOR-SMDM modeling good research practices task force-1. Value Health 2012;15:796–803.
  2. Roberts M., Russell L.B., Paltiel A.D., et al. Conceptualizing a model: A report of the ISPOR-SMDM modeling good research practices task force-2. Value Health 2012;15:804–811.
  3. Siebert U., Alagoz O., Bayoumi A.M., et al. State-transition modeling: A report of the ISPOR-SMDM modeling good research practices task force-3. Value Health 2012;15:812–820.
  4. Karnon J., Stahl J.E., Brennan A., et al. Modeling using discrete event simulation: A report of the ISPOR-SMDM modeling good research practices task force-4. Value Health 2012;15:821–827.
  5. Pitman R.J., Fisman D., Zaric G.S., et al. Dynamic transmission modeling: A report of the ISPOR-SMDM modeling good research practices task force-5. Value Health 2012;15:828–834.
  6. Briggs A.H., Weinstein M.C., Fenwick E., et al. Model parameter estimation and uncertainty: A report of the ISPOR-SMDM modeling good research practices task force-6. Value Health 2012;15:835–842.
  7. Goeree R., O’Brien B.J., Blackhouse G. Principles of good modeling practice in health care cost-effectiveness studies. Expert Rev Pharmacoecon Outcomes Res 2004;4:189–98.
  8. Karnon J., Goyder E., Tappenden P., et al. A review and critique of modelling in prioritising and designing screening programmes. Health Technol Assess 2007;11:iii–iv, ix–xi,1–145.
  9. Kopec J.A., Fines P., Manuel D.G., et al. Validation of population-based disease simulation models: a review of concepts and methods. BMC Public Health 2010;10:710.
  10. Philips Z., Bojke L., Sculpher M., et al. Good practice guidelines for decision-analytic modelling in health technology assessment: a review and consolidation of quality assessment. Pharmacoeconomics 2006;24:355–71.
  11. Philips Z., Ginnelly L., Sculpher M., et al. Review of guidelines for good practice in decision-analytic modelling in health technology assessment. Health Technol Assess (Winchester, England) 2004;8:iii–iv.
  12. Sculpher M., Fenwick E., Claxton K. Assessing quality in decision analytic cost-effectiveness models: a suggested framework and example of application. Pharmacoeconomics 2000;17:461–77.
  13. Weinstein M.C., O’Brien B., Hornberger J., et al. Principles of good practice for decision analytic modeling in health-care evaluation:report of the ISPOR Task Force on Good Research Practices—Modeling Studies. Value Health 2003;6:9–17.
  14. Weinstein M.C., Toy E.L., Sandberg E.A., et al. Modeling for health care and other policy decisions: uses, roles, and validity. Value Health 2001;4:348–61.
  15. Weinstein M.C., Coxson P.G., Williams L.W., et al. Forecasting coronary heart disease incidence, mortality, and cost: the coronary heart disease policy model. Am J Pub Health 1987;77:1417–26.
  16. Owens D.K. Analytic tools for public health decision making. Med Decis Making 2002;22(Suppl):S3–10.
  17. Freedberg K.A., Losina E., Weinstein M.C., et al. The cost effectiveness of combination antiretroviral therapy for HIV disease. N Engl J Med 2001;344:824–31.
  18. Goldie S.J., Yazdanpanah Y., Losina E., et al. Cost-effectiveness of HIV treatment in resource-poor settings--the case of Cote d’Ivoire. N Engl J Med 2006;355:1141–53.
  19. Paltiel A.D., Weinstein M.C., Kimmel A.D., et al. Expanded screening for HIV in the United States–an analysis of cost-effectiveness. N Engl J Med 2005;352:586–95.
  20. Walensky R.P., Wolf L.L., Wood R., et al. When to start antiretroviral therapy in resource-limited settings. Ann Int Med 2009;151:157–66.
  21. Weinstein M.C., Goldie S.J., Losina E., et al. Use of genotypic resistance testing to guide HIV therapy: clinical impact and cost-effectiveness.Ann Int Med 2001;134:440–50.
  22. Owens D.K., Harris R.A., Scott P.M, et al. Screening surgeons for HIV infection: a cost-effectiveness analysis. Ann Int Med 1995;122:641–52.
  23. Sanders G.D., Hlatky M.A., Owens D.K. Cost-effectiveness of implantable cardioverter-defibrillators. N Engl J Med 2005;353:1471–80.
  24. Schlessinger L., Eddy D.M. Archimedes: a new model for simulating health care systems–the mathematical formulation. J Biomed Inform 2002;35:37–50.
  25. Eddy D.M., Schlessinger L. Validation of the Archimedes diabetes model. Diabetes Care 2003;26:3102–10.
  26. Stern M., Williams K., Eddy D.M., et al. Validation of prediction of diabetes by the Archimedes model and comparison with other predicting models. Diab Care 2008;31:1670–1.
  27. Kahn R., Alperin P., Eddy D.M., et al. Age at initiation and frequency of screening to detect type 2 diabetes: a cost-effectiveness analysis.[Erratum appears in Lancet 2010;375:1346]. Lancet 2010;375:1365–74.
  28. Laine C., Goodman S.N., Griswold M.E., Sox H.C. Reproducible research:moving toward research the public can really trust. Ann Intern Med 2007;146:450–3.
  29. Morin A., Urban J., Adams P.D., et al. Research priorities: shining light into black boxes. Science 2012;336:159–60.
  30. Peng R.D. Reproducible research and biostatistics. Biostatistics 2009;10:405–8.
  31. Peng R.D. Reproducible research in computational science. Science 2011;334:1226–7.
  32. Peng R.D., Dominici F., Zeger S.L. Reproducible epidemiologic research.Am J Epidemiol 2006;163:783–9.
  33. Institute of Medicine. Evolution of Translational Omics: Lessons Learned and the Path Forward. Washington, DC: The National Academy Press, 2012.
  34. De Angelis C.D., Fontanarosa P.B. The importance of independent academic statistical analysis. Biostatistics 2010;11:383-4.20. JAMA Instructions for Authors. [Online].;2011 [cited 2011 12 21. Availablefrom: http://jama.ama-assn.org/site/misc/ifora.xhtml. [Accessed June24, 2012].
  35. International Society for Pharmacoeconomics and Outcomes Research. Value in Health guide for authors. 2012. Available from:http://www.ispor.org/publications/value/submit.asp. [Accessed May 27, 2012].
  36. Drummond M., Brandt A., Luce B., Rovira J. Standardizing methodologiesfor economic evaluation in health care: practice, problems, and potential.Int J Technol Assess Health Care 1993;9:26–36.
  37. BMJ. Health economics. 2012. Available from: http://www.bmj.com/about-bmj/resources-authors/article-types/research/healtheconomics.[Accessed May 27, 2012].
  38. Groves T. The wider concept of data sharing: view from the BMJ.Biostatistics 2010;11:391–2.
  39. Baggerly K. Disclose all data in publications. Nature 2010;467:401.
  40. Keiding N. Reproducible research and the substantive context.Biostatistics 2010;11:376–8.
  41. JAMA Instructions for authors. 2011. Available from: http://jama.amaassn.org/site/misc/ifora.xhtml. [Accessed December 21, 2011].
  42. McHaney R. Computer Simulation: A Practical Perspective. San Diego:Academic Press, 1991.
  43. Barter P.J., Caulfield M., Eriksson M., et al. Effects of torcetrapib in patients at high risk for coronary events. N Eng J Med 2007;357:2109 –22.
  44. Bratley P., Fox B.L., Schrage L.E. A Guide to Simulation 2nd ed.). New York: Springer-Verlag, 1987.
  45. Law A.M., Kelton W.D. Simulation Modeling and Analysis 4th ed.). New York: McGraw-Hill, 2007.
  46. Thesen A., Travis L.E. Simulation for Decision Making. St. Paul: West Publishing, 1992.
  47. Drummond M.F., Barbieri M., Wong J.B. Analytic choices in economic models of treatments for rheumatoid arthritis: what makes a difference? Med Decis Making 2005;25:520–33.
  48. Berry D.A., Cronin K.A., Plevritis S.K., et al. Effect of screening and adjuvant therapy on mortality from breast cancer. N Engl J Med 2005;353:1784–92.
  49. Mount Hood 4 Modeling G. Computer modeling of diabetes and its complications: a report on the Fourth Mount Hood Challenge Meeting. Diabetes Care 2007;30:1638–46.
  50. Zauber A.G., Lansdorp-Vogelaar I., Knudsen A.B., et al. Evaluating test strategies for colorectal cancer screening: a decision analysis for the U.S. Preventive Services Task Force. Ann Int Med 2008;149:659– 69.
  51. Stout N.K., Knudsen A.B., Kong C.Y., et al. Calibration methods used in cancer simulation models and suggested reporting guidelines.Pharmacoeconomics 2009;27:533–45.
  52. Royle P., Waugh N. Literature searching for clinical and cost-effectiveness studies used in health technology assessment reports carried out for the National Institute for Clinical Excellence appraisal system. Health Technol Assess 2003;7:1–51.
  53. Haynes R.B., McKibbon K.A., Wilczynski N.L. Optimal search strategies for retrieving scientifically strong studies of treatment from Medline: analytical survey. BMJ 2005;330:1179.
  54. Haynes R.B., Wilczynski N.L. Optimal search strategies for retrieving scientifically strong studies of diagnosis from Medline: analytical survey. BMJ 2004;328:1040.
  55. Montori V.M., Wilczynski N.L., Morgan D., et al. Optimal search strategies for retrieving systematic reviews from Medline: analytical survey. BMJ 2005;330:68.
  56. Goldhaber-Fiebert J.D., Stout N.K., Goldie S.J. Empirically evaluating decision-analytic models. Value Health 2010;13:667–74.
  57. Eddy D.M. The frequency of cervical cancer screening: comparison of a mathematical model with empirical data. Cancer 1987;60:1117–22.

 

Похожие статьи