Медицины и обучение ее основам

и риску

СЛУЧАЙНАЯ ОШИБКА

На каждый клинический вопрос есть правильный ответ, который со-

ответствует истине. Например, применение [3-блокаторов определенным

образом влияет на уровень смертности при сердечной недостаточности,

ингаляции кортикостероидных препаратов —на частоту обострений

бронхиальной астмы, а каротидная эндартерэктомия —на риск разви-

тия инсульта у больных с преходящими нарушениями мозгового крово-

обращения. К сожалению, нам никогда не известно, насколько выраже-

ны эти влияния. Почему?

Представьте, что подбрасываете идеально сбалансированную моне-

ту. Каждый раз вероятность выпадения орла или решки составляет 50%.

Допустим, что вы исследователь и не знаете о том, что монета идеально

сбалансирована, а точнее не имеете представления о том, насколько хо-

рошо она сбалансирована и хотели бы это выяснить. Сформулировав

вопрос —какова истинная вероятность выпадения орла или решки — вы подбрасываете монету 10 раз подряд. Допустим, что орел выпал 8 раз,

а решка два. Какой вывод можно сделать? Если подойти к результатам

эксперимента формально, может сложиться впечатление, что монета

сбалансирована плохо (так как орел выпадает намного чаще, чем реш-

ка), и что вероятность выпадения орла при каждом подбрасывании со-

ставляет 80%.

Подобное заключение удовлетворит немногих, так как мы знаем, что

на самом деле даже у идеально сбалансированной монеты орел и решка

не всегда выпадают одинаково часто, т.е. результат зависит от случая.

Иными словами, в любом эксперименте возможна случайная ошибка. При

подбрасывании хорошо сбалансированной монеты орел иногда выпа-

дает 8, реже —9 и совсем редко —10 из 10 раз.

А что, если орел и решка выпадали одинаково часто (т.е. по 5 из 10

Раз)? Поскольку при проведении данного теста большую роль играет

случай, мы усомнимся в том, что полученные результаты достоверны.

Нам известно, что, во-первых, орел может выпасть 8, а решка 2 раза в

тех случаях, когда истинная вероятность выпадения орла составляет 0,5,

а, во-вторых, обе стороны даже плохо сбалансированной монеты могут

вьтасть одинаково часто (например, когда истинная вероятность выпа-

Дения орла составляет 0,8).

Допустим, что наш маленький эксперимент заинтересовал СПОНСО-

РОВ, которые выделили средства для проведения более крупного иссле-

Вания. Это позволило значительно увеличить размеры выборки (мо-

етУ подбрасывали 1000 раз). После того как орел и решка выпали по

500 раз, можно ли будет утверждать, что полученные данные отражают

истину? Нет. Мы знаем, что даже в тех случаях, когда истинная вероят-

ность выпадения орла составляет 51%, подбросив монету 1000 раз, мож-

но получить результаты, аналогичные описанным.

Влияние случайных факторов в медицинских исследованиях. Логические

рассуждения, изложенные выше, можно применять при оценке резуль-

татов медицинских исследований. Так, данные, полученные в рандоми-

зированном контролируемом испытании (РКИ), свидетельствуют о том,

что в группе лечения умирают 10 из 100, а в группе контроля —20 из 100

больных. Значит ли это, что проводимая терапия действительно снижа-

ет уровень смертности на 50%? Возможно, но нельзя быть в этом уве-

ренным, так как достоверно неизвестно, насколько эффективно лече-

ние (если оно вообще эффективно). Приведем реальный пример: в 1

плацебо-контролируемом исследовании эффективности бисопролола

при умеренно тяжелой и тяжелой сердечной недостаточности в группе

контроля умерли 228 (17%) из 1320 больных, в группе лечения —156

(12%) из 1327 больных [1]. Несмотря на то что истинное снижение отно-

сительного риска (ОР) смерти, скорее всего, близко к величине, получен-

ной в исследовании (34%), полученные данные могут оказаться и ошибоч-

ными. В начале главы мы задали вопрос "Почему никогда нельзя быть аб-

солютно уверенными в размере эффекта лечения, независимо от статисти-

ческой мощности исследования и того, насколько хорошо оно было спла-

нировано?" Потому что всегда возможна случайная ошибка.

СИСТЕМАТИЧЕСКАЯ ОШИБКА

Что имеют в виду, когда говорят о достоверности или обоснованно-

сти результатов исследования? Под достоверностью подразумевается

степень, в которой результат исследования позволяет правильно отве-

тить на поставленный вопрос или измерить тот или иной показатель. В

данной книге достоверность используется в качестве технического тер-

мина, с помощью которого описывают вероятность возникновения сис-

тематической ошибки. В отличие от случайной систематическая ошиб-

ка приводит к появлению систематического отклонения от истинного

значения в определенную сторону. В исследованиях, посвященных оцен-

ке эффективности и безопасности лечения, наличие систематической

ошибки сопровождается недооценкой или переоценкой его преимуществ

или недостатков.

Систематическая ошибка может быть обусловлена тем, что группы

лечения и контроля изначально различались по влиянию факторов, не

имеющих отношения к изучаемому вмешательству. В то же время она

может стать следствием различий, возникших в ходе исследования. Кли-

нические исходы у больных, не получающих терапию, могут быть бла-

гоприятными или неблагоприятными. Под неблагоприятными клини-

ческими исходами подразумевают осложнения, которые развиваются в

процессе исследования (например, инсульт). Именно они часто явля-

ются объектами изучения или оцениваемыми клиническими исходами.

Вероятность развития оцениваемого (неблагоприятного) клиническо-

го исхода зависит от множества факторов. Например, риск развития

инсульта будет выше у больных пожилого возраста, мужчин, при нали-

чии выраженных патологических изменений сосудов (атеросклероз) и

артериальной гипертонии [2]. Каждая из перечисленных характеристик

участников исследования называется прогностическим фактором, или

фактором, определяющим клинический исход. Именно эти факторы опре-

деляют вероятность развития у конкретного больного оцениваемого кли-

нического исхода.

В отличие от перечисленных другие характеристики участников, та-

кие как цвет глаз или размер обуви, едва ли способны повлиять на риск

развития инсульта. У голубоглазых людей или лиц, носящих 12-й раз-

мер обуви, риск развития данного осложнения не выше и не ниже, чем у

кареглазых или тех, кто носит 8-й размер.

Различия между группами лечения и контроля, влияющие на прогноз.

Систематическая ошибка появляется в том случае, если группы лече-

ния и контроля изначально различаются по какому-либо фактору, спо-

собному предопределить развитие оцениваемого клинического исхода.

В отличие от различий по цвету глаз и размеру обуви такие факторы

риска могут привести к появлению систематической ошибки. Напри-

мер, если в группе лечения атеросклероз более выраженный, или воз-

раст участников старше, в ней будет выше частота развития неблаго-

приятных клинических исходов, чем в группе контроля. В данном слу-

чае возникнет систематическая ошибка, приводящая к занижению эф-

фективность лечения, а полученные результаты будут неистинными

(недостоверными).

Если в контрольную группу будет включено больше мужчин или боль-

ных с более высокими средними показателями артериального давле-

Ния, чем в группу вмешательства, возникнет систематическая ошиб-

ка, ведущая к переоценке эффективности лечения. Таким образом,

одна из причин появления систематической ошибки заключается в

Исходных различиях между группами лечения и контроля, влияющих

На прогноз.

Эффект плацебо. Даже в том случае, когда факторы риска в основной

и контрольной группах не различаются, эффективность вмешательства

может быть оценена неверно. Так, больные, уверенные в получении ак-

тивного лечения, могут ожидать наступления улучшения, и само это

ожидание приведет к положительным переменам в их самочувствии и

даже функциональном статусе. Таким образом, эффект плацебо может

приводить к завышению реальной эффективности лечения.

Дифференцированный подход к проведению вмешательств. Другой

причиной появления систематической ошибки может стать дифферен-

цированный подход к проведению дополнительных вмешательств, от-

личных от тех, которые изучаются в данном исследовании, в группах

лечения и контроля. Например, если при проведении испытания ново-

го препарата, снижающего риск развития инсульта, в основную группу

будет включено больше больных, которые получают аспирин или кло-

пидогрел, чем в группу контроля, оценка эффективности изучаемого

лечения будет завышена. Однако, если в основной группе большая доля

больных будет также применять изотонический раствор натрия хлорида

в виде глазных капель или антацидные препараты, то это никак не отра-

зится на вероятности появления систематической ошибки, поскольку

прием аспирина и клопидогрела снижает риск развития инсульта, а при-

менение таких глазных капель или антацидных препаратов —нет. Со-

путствующее вмешательство используется в данной книге в качестве тех-

нического термина, описывающего применение в одной из групп срав-

нения дополнительных методов лечения, влияющих на частоту разви-

тия оцениваемого клинического исхода.

Следует отметить, что нас не волнуют исходные различия между уча-

стниками по цвету глаз или размеру обуви {исходные характеристики),

так же как и различия по применению глазных капель или антацидных

препаратов в течение периода наблюдения. Однако мы обратим самое

пристальное внимание на несоответствие по тяжести заболевания и час-

тоте приема аспирина в сравниваемых группах, поскольку эти факторы

влияют на риск развития инсульта. Таким образом, результаты исследо-

вания могут быть смещены под влиянием систематической ошибки, если

в группах сравнения различаются исходные характеристики больных или

сопутствующие вмешательства, влияющие на прогноз. Термином иска-

жающий фактор обозначают любое влияние, имеющее прогностическое

значение (включая характеристики больных и вмешательства), которое

в группах лечения и контроля различается. Во избежание систематиче";

ской ошибки группы должны быть сходными (сравнимыми) до начала

исследования и оставаться таковыми на всем его протяжении.

Дифференцированный подход к оценке изучаемого клинического исхо-

да- Причиной систематической ошибки также может стать дифферен-

цированный подход к определению изучаемого клинического исхода.

Например, решение о том, перенес ли больной преходящее нарушение

мозгового кровообращения или микроинсульт, может быть принято в

результате совместного обсуждения. Если же в группе контроля данный

клинический исход расценивается как инсульт, а в группе лечения —как

преходящее нарушение мозгового кровообращения, эффективность те-

рапии будет переоценена.

Выбывание участников из исследования. Систематическая ошибка

может появляться в тех случаях, когда из исследования выбывает боль-

шое число больных. Если частота оцениваемого неблагоприятного кли-

нического исхода у выбывших больных и остальных участников неоди-

накова, полученные результаты могут оказаться ошибочными.

ОЦЕНКА ВЛИЯНИЯ СИСТЕМАТИЧЕСКОЙ И СЛУЧАЙНОЙ ОШИБКИ

При изучении принципов доказательной медицины можно столк-

нуться с непониманием концепций и путаницей в терминологии. На

вопрос, что делает результаты исследования достоверными, студенты

часто отвечают: "Большие размеры выборки". Однако маленькая вы-

борка не способствует появлению систематической ошибки (и потому

не снижает достоверность полученных данных), но повышает риск воз-

никновения случайной ошибки. Следующее упражнение поможет вам

лучше уяснить смысл данных терминов.

Представьте группу исследований со сходной структурой и одинако-

вым числом участников, набранных в одной и той же популяции. Как и

в случае с подбрасыванием монеты, когда частота выпадения орла и реш-

ки не всегда одинакова, результаты исследований будут различаться в

связи с влиянием случайных факторов.

Теперь представьте 4 такие группы, в две из которых были включены

исследования с малой выборкой, в остальные две —с большой.

В две группы были включены РКИ с применением слепого метода

0 отношению к больным, медицинскому персоналу и исследователям,

ченивающим клинические исходы (одна группа исследований с малы-

и одна —с большими выборками), в остальные две —обсервацион-

е исследования, в которых больных включали в ту или иную группу с

том их пожеланий, мнения лечащего врача или без определенной

емы. Риск появления систематических ошибок в обсервационных

еДованиях гораздо выше, чем в РКИ. В рассматриваемом примере

нам будет предоставлена уникальная возможность, которой лишены

врачи в реальных условиях —знать об истинном эффекте вмешательст-

ва. На рисунке он обозначен черным кружком, а мелкие точки пред-

ставляют не отдельных больных, а результаты одного исследования. Чем

больше расстояние между точкой и кружком, тем менее достоверны ре-

зультаты конкретного лечения.

Прежде чем продолжить чтение, внимательно изучите рисунок и по-

пробуйте сделать собственные выводы о влиянии структуры исследова-

ний и их выборки на полученные данные.

Фрагмент А отображает результаты серии крупных РКИ. В связи с

высокой статистической мощностью РКИ полученные данные досто-

верны, поэтому точки (результаты отдельных РКИ) сгруппированы во-

круг кружка. Точки выходят за его пределы из-за возникновения слу-

чайной ошибки, однако при больших выборках снижается риск ее по-

явления, поэтому результаты отдельных РКИ приближаются к истин-

ному размеру эффекта вмешательства.

В фрагменте В структура РКИ также является залогом того, что ре-

зультаты отдельных исследований (точки) будут располагаться вокруг

истинного значения (кружка). Однако при малых выборках РКИ повы-

шается риск появления случайных ошибок, поэтому некоторые точки

отстоят от черного кружка довольно далеко.

Эксперимент с подбрасыванием монеты поможет понять природу

различий между результатами исследований, отображенных на фрагмен-

тах А и В. Представьте, что в каждом из РКИ идеально сбалансирован-

ную монету подбросили 10 раз; при этом результаты отдельных испыта-

ний могут достаточно сильно отличаться от истинных (т.е. в 70 или даже

80% случаев может выпасть орел или решка). Описанная ситуация соот-

ретствует фрагменту В. Если в каждом РКИ монету подбросили 1000 раз,

картина будет соответствовать фрагменту А. При этом вероятность вы-

падения орла или решки более чем, например, 540 раз (в 54% случаев),

достаточно мала. Таким образом, в исследованиях с малой выборкой

полученные результаты могут сильно отличаться от истинного значе-

ния, а в крупных РКИ, как правило, приближаются к нему.

Фрагменты А и В позволяют понять целесообразность обобщения ре-

зультатов отдельных исследований. Этот процесс называют мета-анализом.

Допустим, что информация об эффективности того или иного метода лече-

ния получена в нескольких небольших РКИ. При этом результаты иссле-

дований значительно различаются (вследствие влияния случайных факто-

ров). Статистическая мощность РКИ высока, поэтому точки (результаты

отдельных РКИ) располагаются вокруг кружка (истинного размера эффек-

та лечения). В свою очередь мы можем снизить влияние случайной ошиб-

ки и повысить достоверность результатов отдельных РКИ, обобщив их (т.е.

приблизив ситуацию фрагмента В к ситуации фрагмента А).

На фрагменте С центр скопления точек (отдельные исследования)

далеко отстоит от кружка (истинное значение), поскольку при проведе-

нии обсервационных исследований даже с большой выборкой повыша-

ется риск появления систематической ошибки. Вследствие одинаковой

структуры ее величина и направленность в отдельных исследованиях

одинакова. При большой выборке снижается вероятность появления

случайной ошибки, поэтому результаты отдельных исследований раз-

личаются мало. Тем не менее они будут недостоверными.

Приведем пример из реальной жизни. В 1 крупном обсервационном

исследовании было показано, что применение препаратов, содержащих

витамин Е, снижает смертность от ишемической болезни сердца (ИБС)

[5]. Однако полученные результаты не удалось подтвердить в ходе круп-

ного хорошо спланированного РКИ [6].

А вот другой пример. В серии обсервационных исследований с боль-

шой выборкой было выявлено, что проведение заместительной гормональ-

ной терапии (ЗГТ) в постменопаузе снижает риск смерти от ИБС на 35%

[']•Вместе с тем в первом же РКИ, в котором участвовали женщины с вы-

соким риском развития сердечно-сосудистых осложнений, не было обна-

ружено различий по эффективности препаратов для ЗГТ и плацебо [8].

"Ьяснением в обоих случаях может служить тот факт, что препараты вита-

^ н а Е и ЗГТ чаще принимают лица с более низким риском развития ИБС,

3 X 0 приводит к неправильной оценке эффективности лечения.

Ситуация, представленная на фрагменте С, особенно коварна, так

к большие выборки исследований внушают врачам уверенность в дос-

товерности полученных результатов. Например, многие врачи до сих пор

верят в то, что ЗГТ снижает риск смерти от ИБС.

На фрагменте D, как и на фрагменте С, представлены результаты об-

сервационных исследований, которые значительно отличаются от ис-

тинных (вследствие систематической ошибки). Кроме того, малые вы-

борки стали причиной выраженных различий между данными, получен-

ными в отдельных исследованиях. Возможно, некоторые захотят про-

вести мета-анализ результатов обсервационных исследований. Однако

это весьма опасно, так как на основании данных, неточных вследствие

выраженного влияния случайной ошибки, будет получен точный, но по-

прежнему недостоверный результат.

МЕТОДЫ СНИЖЕНИЯ ВЕРОЯТНОСТИ ВОЗНИКНОВЕНИЯ

СИСТЕМАТИЧЕСКОЙ ОШИБКИ В ИССЛЕДОВАНИЯХ, ПОСВЯЩЕННЫХ

ЭФФЕКТИВНОСТИ ЛЕЧЕНИЯ И РИСКУ

Как уже отмечалось, систематические ошибки возникают вследст-

вие того, что группы лечения и контроля исходно различаются по тем

или иным прогностическим факторам либо данные различия появля-

ются в ходе исследования. Каким образом можно уменьшить вероят-

ность возникновения систематической ошибки? Возможные способы

представлены в таблице.

В исследованиях эффективности новых методов лечения часто уда-

ется с успехом применять перечисленные методы. При этом можно сни-

зить вероятность включения в группы вмешательства и плацебо боль-

ных с различным влиянием прогностических факторов с помощью ран-

домизации. Эффект плацебо уменьшается, если внешний вид активно-

го препарата и плацебо будет одинаковым. Использование слепого ме-

тода по отношению к врачам, назначающим активное лечение или его

имитацию, способно устранить возможность избирательного примене-

ния сопутствующих вмешательств, а по отношению к исследователям,

оценивающим клинические исходы —значительно уменьшить вероят-

ность возникновения систематической ошибки вследствие дифферен-

цированного подхода к оценке клинических исходов.

Как правило, в исследованиях, посвященных вредным воздействиям

или осложнениям лечения, методы для снижения вероятности возник-

новения систематической ошибки реже достигают своей цели, чем при

оценке эффективности вмешательств. Исследователям приходится сраВ'

нивать данные о больных, подвергнутых изучаемому воздействию или

Таблица. Методы снижения вероятности возникновения систематической

ошибки в исследованиях, посвященных оценке эффективности лечения и риска

Причина

систематической

ошибки

Методы снижения

вероятности возникновения

систематической ошибки

в исследованиях,

посвященных

эффективности лечения

Методы снижения

вероятности

возникновения

систематической ошибки

в исследованиях,

посвященных вредным

воздействиям или

побочным эффектам

Исходные различия

Различие Рандомизация

прогностических

факторов в основной и

контрольной группах

Различия, возникающие в процессе исследования

Эффект плацебо

Сопутствующее

вмешательство

Применение слепого метода

в отношении больных

Применение слепого метода

в отношении врачей

Систематическая Применение слепого метода

ошибка вследствие в отношении

Дифференцированного исследователей,

подхода к оценке оценивающих клинические

клинических исходов исходы

Выбывание больных

из исследования

Наблюдение всех больных до

конца исследования

Коррекция с учетом

различий по

прогностическим факторам

при статистической

обработке данных

Выбор оцениваемых

клинических исходов, в

меньшей степени

подверженных влиянию

эффекта плацебо

(например, смерть)

Регистрация различий в

проводимой терапии и

внесение соответствующих

поправок при проведении

статистического анализа

Выбор оцениваемых

клинических исходов, в

меньшей степени

зависящих от мнения

исследователей (например,

смерть)

Наблюдение всех больных

до конца исследования

вмешательству по их собственному выбору либо под действием обстоя-

тельств. При этом повлиять на возможные различия по клиническим

Исходам можно только путем внесения при статистическом анализе со-

ответствующих поправок на разное влияние прогностических факторов,

^пользование слепого метода невозможно, и чтобы снизить влияние

Ффекта плацебо и вероятность появления систематической ошибки,

связанной с различным определением клинических исходов, необходи-

мо выбирать те из них (например, смерть), которые менее подвержены

влиянию указанных факторов. Кроме того, риск появления системати-

ческих ошибок можно снизить, сведя к минимуму частоту выбывания

участников из исследования (см. таблицу).

Описанные выше правила применимы не всегда. В некоторых случа-

ях исследователи находят затруднительным, а то и невозможным, ран-

домизированно включать больных в группы лечения и контроля, пред-

почитая проводить обсервационные исследования. При оценке методо-

логического качества исследований с такой структурой приходится ис-

пользовать критерии достоверности, разработанные для оценки вред-

ных воздействий или осложнений лечения.

Аналогично, если применение эффективного препарата чревато раз-

витием побочных реакций, исследователи могут рандомизированно

включать больных в группы лечения и контроля. При оценке методоло-

гического качества РКИ эффективности лечения, можно использовать

критерии достоверности, разработанные для соответствующих исследо-

ваний. Независимо от того, рассматриваются вопросы эффективности

или безопасности вмешательств, достоверность результатов РКИ почти

всегда выше достоверности обсервационных исследований.

Литература

1. CIBIS-II Investigators and Committees. The Cardiac Insufficiency Bisoprolol Study II (CIBIS- II): a

randomised trial. Lancet 1999;353:9—3

2. Goldstein L.B., Adams R., Becker K., FurbergC.D., Gorelick P.B., Hademenos G., era/. Primary prevention

of ischaemic stroke: a statement for healthcare professionals from the Stroke Council of the American

Heart Association. Stroke 2001;32(l):280—99

3. Gubitz G., Sandercock P., Counsel! C. Antiplatelet therapy for acute ischaemic stroke (Cochrane Review).

In. The Cochrane Library; 1, 2001. Oxford. Update Software.

4. CAPRIE Steering Committee. A randomized, blinded, trial of clopidogrel versus aspirin in patients at

risk of ischaemic events (CAPRIE). Lancet 1996,348(9038)1329-1339.

5. Knekt P., Reunanen A., Jarvinen R., Seppanen R., Heliovaara M., Aromaa A. Antioxidant vitamin intake

and coronary mortality in a longitudinal population study. Am J Epidemiol 1994;139.1180—189.

6. YusufS., Dagenais G., PogueJ., Bosch J., Sleight P. Vitamin E supplementation and cardiovascular events

in high-risk patients. The Heart Outcomes Prevention Evaluation Study Investigators. N Engl J Med

2000;342:154-160.

7. Stampfer M.J., Colditi G.A. Estrogen replacement therapy and coronary heart disease: a quantitative

assessment of the epidemiologic evidence. Prev Med 1991;20:47—3.

8. Hulley S., Grady D., Bush Т., et al. Randomized trial of estrogen plus progestin for secondary prevention

of coronary heart disease in postmenopausal women. Heart and Estrogen/progestin Replacement Stu<fi

(HERS) Research Group. JAMA 1998;280:605—13.

ЛЕЧЕНИЕ И ПОНИМАНИЕ

РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ

ПРОВЕРКА ГИПОТЕЗ

Г. Гайятт, Р. Йешке, Д. Кук, С. Уолтер

В подготовке данной главы принимали также участие

члены рабочей группы по разработке и внедрению

принципов доказательной медицины Р. Хатала