Оригинал здесь

Абстракт

Несколько ранних обзоров показали положительный эффект гомеопатии, но в 2005 г. "Ланцет" опубликовал обзор, в котором утверждалось, что эффективность гомеопатии достигается за счет эффекта плацебо. Этот обзор критиковали за то, что в нем не раскрывалась важная информация. Реконструкция полученных после публикации данных ставит под сомнение отрицательный вывод. Единственный вывод, в который методологией обзора 2005 г. было внесено исправление, заключался в том, что качество исследований гомеопатии лучше, чем качество исследований конвенциональной медицины. Сравнение результатов 110 гомеопатических исследований со 110 им соответствующими конвенциональными исследованиями было ущербным из-за погрешностей отбора, различных погрешностей публикации, разного качества и разной безопасности методов. Тем не менее значительной разницы в результатах по двум методам не обнаружилось. Дискуссии на тему доказательства гомеопатии — это, в сущности, дискуссии о науке вообще. Предварительное допущение, что гомеопатия не работает, пронизывает все аспекты этой дискуссии и не оценивается должным образом во введении к большинству анализов.

Ключевые слова: гомеопатия, обзор, "Ланцет" 2005 г.

ВВЕДЕНИЕ

В 1991 г. Клейнен и др. опубликовали мета-анализ 105 исследований гомеопатии со следующим выводом:

Количество положительных свидетельств даже среди лучших исследований стало сюрпризом для нас. На основании этих свидетельств мы легко бы признали, что гомеопатия может быть эффективной, если бы механизм действия был правдоподобнее… свидетельства, представленные в данном обзоре, вероятно, были бы достаточны, чтобы определить гомеопатию как стандартное лечение для некоторых видов заболеваний¹.

В 1997 г. вывод Линде и др., который основывался на 89 испытаниях, был таков:

Результаты не подтверждают гипотезу, что эффект гомеопатии является лишь эффектом плацебо².

В 1998 г. Линде признал, что исследования с лучшим качеством имели тенденцию давать менее положительные результаты³. Тем не менее Ванденбруке заявил в 2001 г.:

Анализ научного поведения приверженцев традиционной медицины по отношению к одной из форм альтернативной медицины, гомеопатии, учит нас, что врачи отвергают казалось бы твердые доказательства, если они не совпадают с теорией⁴.

Похоже, мета-анализами дискуссия об эффективности гомеопатии не исчерпывается, поскольку существуют другие факторы. После анализа большого количества обзоров из Кокрейновской базы данных, Эццо сделал следующий вывод:

Количество обзоров, показывающих, что современные биомедицинские вмешательства не имеют никакого эффекта или недоказанный эффект, удивительно высоко. Разногласия между оценками предполагают удивительно высокую степень субъективной интерпретации в систематических обзорах⁵.

В 2005 г. анализ гомеопатии, проведенный Шан и др. под руководством Эггера, заключил, что эффективность гомеопатии определяется эффектом плацебо⁶. Однако этот вывод базировался на серии из восьми опытов, не упомянутых в описании, несмотря на запросы из руководящего комитета по этому анализу, поступившие за четыре месяца до публикации. Поступившие позже данные обнаружили, что вывод в высокой степени зависел от субъективного выбора, а исследование по одному показанию (болезненность мышц) вообще могло быть ложноотрицательным результатом⁷. Методология этого исследования далеко ушла от изначальной гипотезы качества, и эффективность методов сравнивалась на на несравнимых подгруппах⁸.

Изначальные гипотезы во вступлении к исследованию Шан были следующими:

Положительные результаты плацебо-контролируемых исследований как гомеопатии, так и аллопатии (традиционной медицины), возможно, объясняются ошибками дизайна и отчета

и

Эти ошибки будут сильнее влиять на мелкомасштабные исследования, нежели на крупномасштабные; чем меньше исследование, тем больший эффект лечения необходим, чтобы быть статистически значимым, в то время как исследования, значительные по масштабам, вероятно, будут иметь высокое методологическое качество и будут опубликованы, даже если их результат отрицательный.

Эти две гипотезы не были полностью подтверждены данными. Общее качество гомеопатии в этом сравнительном анализе было лучше: в гомеопатии было 21 (19%) исследование с хорошим качеством, а в традиционной медицине — 9 (8%). Качество исследований небольших масштабов не упоминалось.

Похоже, дискуссия о гомеопатии сводится к погрешности по качеству исследований. Эггер предположил, что ошибка качества требует регрессивного анализа с оценкой асимметрии воронкообразного графика вместо анализа случайных результатов, который применялся в предыдущих исследованиях гомеопатии⁹. В данной работе исследуется функция регрессивного анализа и качество гомеопатии в небольших исследованиях. Какие выводы могут быть сделаны из сравнения качества исследований, сравнивающих эффективность гомеопатии и традиционной медицины? И в какой форме данная дискуссия должна продолжаться?

ОШИБКА КАЧЕСТВА И РЕГРЕССИВНЫЙ АНАЛИЗ

В 1997 г. Эггер предложил оценить асимметрию воронкообразного графика, чтобы обнаружить ошибку¹⁰. Эта идея отражена на рис. 1 в упрощенном виде. Предположение Эггера заключается в том, что исследования меньших масштабов обладают большей погрешностью, например из-за недостаточного сокрытия распределения плацебо. Если врачи могут идентифицировать пациентов, получающих плацебо, это знание влияет на их оценку, и результатом является преувеличенный эффект. Нижняя точка на рис. 1 представляет собой среднее исследование меньших масштабов. Если исследования крупных масштабов обладают меньшей погрешностью, результат будет скромнее, верхняя точка на рис. 1 представляет среднее исследование бóльших масштабов. Если провести линию регрессии через точки исследований меньших и больших масштабов, наверху эта линия приведет к точному результату, представляющему самое обширное исследование, какое только возможно.

Рис. 1. Влияние ошибки качества на результат. Верхняя точка представляет собой среднее крупномасштабное исследование, нижняя точка — среднее мелкомасштабное исследование. Результат малого исследования преувеличен ошибкой качества. Реальный результат получен экстраполяцией к максимально крупному исследованию.

Предположение, что исследования меньших масштабов содержат бóльшую погрешность, критикуется Ванденбруке:

А что, если исследования бóльших масштабов были намеренно прерваны в нужный момент или подверглись некоторому информационно-аналитическому манипулированию?¹¹

Сам Эггер добавил еще одно возражение по использованию регрессии в этом отношении⁹. Исследования на небольших количествах испытуемых могут показать более сильный эффект по веской причине, а именно если пациенты отобраны более тщательно. Такой отбор мог бы касаться пациентов с более серьезными болезнями или восприимчивых к лекарству по генетическим тестам. В гомеопатии очень важен более тщательный отбор пациентов для получения более значимых результатов. Этот отбор базируется не на генетических тестах, а на байесовском применении имеющегося опыта¹². Если, например, пациенты, которые хорошо реагируют на гомеопатическое лекарство Lachesis, чаще бывают более словоохотливы, чем остальная часть испытуемых, тот факт, что новый пациент словоохотлив, увеличит шансы, что Lachesis подействует.

Выбор восприимчивых пациентов приведет к тому, что количество исследуемых будет меньше. Этот аспект показан на рис. 2: более сильный эффект у меньшего количества исследуемых реален и не является следствием ошибки. Если нет ошибки, нет и нужды использовать экстраполяцию по направлению к самым большим по масштабу исследованиям. Поэтому важно делать различие между исследованиями меньших масштабов с ошибкой качества и без нее.

Рис. 2. Влияние лучшего отбора пациентов на реальный эффект. Верхняя точка представляет собой результат по неотобранной (и поэтому большей) группе пациентов. После выбора чувствительных пациентов, результатом которого будет меньшая группа, эффект увеличивается. В данном случае оптимальный эффект — это реальный эффект, а не преувеличенный за счет погрешности.

СРАВНЕНИЕ КАЧЕСТВА В ИССЛЕДОВАНИЯХ МЕНЬШЕГО МАСШТАБА

Сравнение гомеопатии и традиционной медицины с помощью регрессивного мета-анализа возможно только тогда, когда качество исследований, особенно в случае меньших масштабов, будет одинаковым для обоих методов. Проблема заключается в том, что исследования должны быть сравнимыми по показаниям. Анализ Шан был начат как сравнение 110 исследований гомеопатии со 110 исследованиями конвенциональной медицины, подобранными по соответствию показаний. Это соответствие показаний теряется, когда подгруппы выбираются по другим критериям, таким как качество и размер выборки. Точки разделения для "опытов небольшого масштаба" достаточно произвольны, можно выбирать такие параметры как средний размер выборки или n < 100. Степени соответствия для параметров точки разделения были нижеследующими:

Похоже, что наиболее достоверный параметр разделения "опытов небольшого масштаба" — n < 100. Из 83 исследований гомеопатии с n < 100 14 оказались высокого качества (16,9%). Из 78 исследований конвенциональных методов лечения с n < 100 2 оказались высокого качества (2,6%). Гипотеза о том, что положительные результаты исследований гомеопатии получаются главным образом за счет мелкомасштабных исследований низкого качества, таким образом, опровергается (p = 0,003, точный вероятностный тест Фишера). Имеется статистически значимая разница в качестве исследований небольшого масштаба в пользу гомеопатии.

МЕТА-РЕГРЕССИВНЫЙ АНАЛИЗ В ГОМЕОПАТИИ

Если оценивать эффект 21 исследования с выбранным Шан хорошим качеством мета-анализа случайных эффектов, гомеопатия эффективна, ОШ = 0,76 (95% ДИ: 0,59–0,99). Мета-регрессивный анализ того же подмножества не дает значимого результата, однако это не позволяет делать выводы. Во-первых, мета-регрессивный анализ не предназначен для исследований хорошего качества. Во-вторых, мета-регрессия на небольших подборках не является точной. Можно сказать, что мета-регрессия в исследованиях хорошего качества стремится к нулевому результату, но мы также не можем сделать вывод, что результат подтверждает эффективность гомеопатии. Как уже говорилось, количество исследований хорошего качества слишком мало для того чтобы выдать надежные результаты, к тому же присутствует много неоднородности. 21 исследование хорошего качества рассматривает 16 различных симптомов. Один из симптомов, боль в мышцах, представлен несоразмерно часто в четырех исследованиях. Вероятно, гомеопатия неэффективна при боли в мышцах после марафона¹³. Это и неудивительно, так как марафонцы — здоровые люди. Четыре сравнимых конвенциональных опыта по этому симптому также не показали результатов, однако ни один из них не был хорошего качества.

Рис. 3. Сравнение 110 исследований гомеопатии (вверху) и 110 контрольных исследований коненциональной медицины (внизу). Источник: Шан, Эггер и др.; "Ланцет", 2005; 366:726–732, с разрешения "Элсивера". 4 точки по Шан, отсутствующие в испытаниях гомеопатии, например, Визенауэр, ревматоидный артрит, n = 176 (нет контрольных исследований) Гомеопатия: 16 (15%) неопубликованных исследований Конвенциональные: 0 неопубликованных исследований Гомеопатия: 21 (19%) исследований хорошего качества Конвенциональные: 9 (8%) исследований хорошего качества Наиболее ярко выраженная корреляция: 1. Вакцина от гриппа — грипп, n = 1358 2. Пироксикам — мышечные боли, n = 1282 Противопоказано (Европейское агенство по лекарственным средствам, 2006 г.) 3. Деладумон — подавление лактации, n = 450 Противопоказано (Управление контроля пищевых продуктов и лекарств, 1989 г.) 4. Дексфенфлурамин — ожирение, n = 133 Противопоказано (Управление контроля пищевых продуктов и лекарств, 1997 г.)

Мета-регрессивный анализ мог бы быть выполнен на всех имеющихся исследованиях. Сравнительный мета-регрессивный анализ возможен, если сопоставимо качество. Статья в "Ланцете" показала результирующую диаграмму, сравнивавшую мета-регрессивные линии исследований гомеопатии и конвенциональных исследований. Регрессивная линия по гомеопатии немного больше склонялась к нулевому результату. По мнению авторов, это поддерживало гипотезу, что эффект гомеопатии достигается за счет эффекта плацебо, см. рис. 3. Но почему имеет место разница в асимметрии и что она значит?

Сравнение линий регрессии между гомеопатией и конвенциональной медициной (нижняя часть рис. 3) бессмысленно, потому что качество (особенно в исследованиях малого масштаба) несравнимо, однако дело не только в этом.

Есть несколько возражений против вывода, что это подтверждает гипотезу плацебо. Прежде всего, присутствует ошибка выборки. Четыре исследования в левом верхнем секторе исследований гомеопатии (верхняя часть рис. 3) отсутствовали, потому что "не нашлось соответствующих исследований". Для одного из исследований это было неожиданно, поскольку исследовалось лечение ревматоидного артрита.

Полученные результаты для двух методов несравнимы из-за разных погрешностей в публикации и качестве. Гомеопатия имеет 16 (15%) неопубликованных исследований, а конвенциональная медицина ни одного, и таким образом эффект конвенциональной медицины преувеличен. Низкое качество также ведет к преувеличению результатов: недостаточная скрытность распределения действующих лекарств — это самый важный фактор качества, ассоциируемый с 41% (доверительный интервал 95%: 27 к 52%) преувеличением результата¹⁴. Разница в 12 исследований хорошего качества в пользу гомеопатии, вместе с разницей в погрешности публикации в 16 исследованиях, ведет к преувеличению результатов конвенциональной медицины (в сравнении с гомеопатией) на одну четверть²⁸ по всем исследованиям.

И наконец, последняя из проблем, возникающих при сравнении, это безопасность. Ценность гомеопатии в значительной мере определяется ее безопасностью; тем не менее Шан и соавторы не обратили внимания на этот вопрос. Исследование конвенциональных методов снижения веса показало значительный положительный эффект дексфенфлюраминa¹⁵, но применение дексфенфлюрамина для похудения было прекращено американским Управлением контроля пищевых продуктов и лекарств (FDA) в 1997 г. из-за серьезных осложнений на сердце¹⁶. Два других больших по масштабу исследования — деладумон (андроген-эстроген) для подавления лактации и пироксикам при повреждениях мягких тканей — имели такую же проблему^17-18. Применение этих двух препаратов было также прекращено из-за неблагоприятных побочных эффектов^19-20.

ОБСУЖДЕНИЕ

Отрицательный вывод анализа гомеопатии, опубликованного в "Ланцете" в 2005 г., не был опровергнут, и долгое время этому препятствовало отсутствие необходимой информации. Обоснованные выводы об эффекте гомеопатии в сравнении с конвенциональной медициной невозможны ввиду ряда несравнимых факторов. Единственным обоснованным выводом является тот, что качество исследований, особенно опытов меньшего масштаба, было лучшим в гомеопатии.

С 1991 г. обсуждение валидности гомеопатии как метода постепенно меняет фокус. Исходный вопрос был таков: является ли результат гомеопатического лечения эффектом плацебо? Результат анализа примерно ста исследований по более чем 30 показаниям несовместим с гипотезой плацебо. Сначала раздавались требования опровергнуть неправдоподобность метода рандомизированными клиническими исследованиями, но сейчас ситуация с неправдоподобностью еще сложнее. Требования становятся более специфичными: гомеопатия по конкретным показаниям, исследования гомеопатии с хорошим качеством. В итоге нам надо предоставить результаты по исследованиям хорошего качества для каждого лекарства и для каждого симптома. Усилия для достижения этой цели растут экспоненциально, a при существующем финансировании и инфраструктуре это абсолютно невозможно. Дискуссия давно ушла от вопросов об эффекте плацебо и статистической неопределенности, речь идет о парадигмах и достоверности.

Философ Миранда Фрикер называет "герменевтической несправедливостью" требование рассматривать гомеопатию так, как будто между ней и конвенциональной медициной не существует разницы²¹. Гомеопатия не может работать и не работает подобно конвенциональным лекарствам. Эффект каждого лекарства не является специфичным для одного показания, и не существует конкретного гомеопатического лекарства для каждого показания. Непризнание этого различия является "герменевтической несправедливостью". Сравните это с предменструальным синдромом (ПМС): если данный диагноз не признан, нельзя разработать лечение.

Статья в "Ланцете" в 2005 г. выходит за пределы признания конвенциональных методов: имеется статистически значимый результат, даже если рассматриваются только исследования хорошего качества, и качество лучше, чем в соответствующих конвенциональных исследованиях. Однако существуют несколько видов погрешностей, которые необходимо учитывать, такие как неполные данные²², мошенничество²³ и нефактическое авторство²⁴.

В 1846 г. способ, по которому изготавливалось гомеопатическое лекарство, был объявлен "надругательством над человеческим разумом"²⁵. С тех пор введения к большинству анализов гомеопатии начинаются с таких заявлений: "Многие предполагают, что любые результаты в гомеопатии должны быть неспецифическими эффектами плацебо", без обсуждения обоснованности данного предположения в свете новых научных открытий, таких как квантовая механика, электромагнетизм и т. д.²⁶ Многие из этих открытий были бы названы "надругательством над человеческим разумом" в 1846 г. Авторы эпидемиологических анализов не являются экспертами в области возможных механизмов действия и не знакомы с литературой по данному вопросу.

Парадигма, что гомеопатия работать не может, и соответствующие убеждения не могут быть опровергнуты результатами одного исследования, пусть и совершенного. Байесовская философия должна объяснить упорное неприятие гомеопатии²⁷. Но байесовская философия заключается в том, чтобы обновлять убеждения после каждого нового наблюдения, и после 5-10 опытов даже весьма маловероятные гипотезы приобретают статус от вероятного до возможного²⁸. Если бы убеждения росли по мере возрастания количества опытов, сопротивление должно было бы убывать, а финансирование и инфраструктура для исследований расти. Байесовская философия может также применяться иначе, для дифференциального диагноза: подтверждают ли положительные результаты анализа гомеопатии ее реальный эффект или они результат плохо организованных исследований гомеопатии? Этот процесс начинается с изначального предположения: является ли способ, по которому изготавливается гомеопатическое лекарство, "надругательством над человеческим разумом"? Другими словами: действительно ли невозможны никакие другие механизмы, кроме химических взаимодействий? Например, является ли невозможным феномен резонанса, запущенный электромагнитными сигналами?²⁹ После того, как установлена первоначальная вероятность иного, чем конвенциональные лекарства, механизма, при анализе этой вероятности можно использовать все имеющиеся данные. Эти данные должны также охватывать квалифицированное мнение пациентов и врачей-гомеопатов, фундаментальные исследования и т. д.

Ключевая проблема "является ли гомеопатия надругательством над человеческим разумом?" определенно должна быть решена, а научное сообщество должно действительно быть заинтересованным в том, чтобы знать правду, в противном случае дальнейшие исследования гомеопатии будут бесполезны. Доказательство будет рассматриваться как доказательство для научных исследований низкого качества из-за ограниченных возможностей науки, и все другие виды доказательств, которые допустимы для конвенциональной медицины, не будут разрешены для гомеопатии³⁰.

Должно ли научное сообщество быть по-настоящему заинтересовано в том, чтобы знать правду о гомеопатии? Эпидемологический анализ показывает, что антибиотики не уменьшают риск серьезных осложнений при инфекции верхних дыхательных путей (ИВДП)^31-32. Одним из выводов анализа в "Ланцете" в 2005 г. был такой:

При восьми исследованиях гомеопатических лекарств при острых инфекциях верхних дыхательных путей, которые были включены в нашу выборку, суммарный результат показал значительный целебный эффект (отношение шансов 0,36 [95% ДИ 0,26–0,50]), при этом не обнаружилось ни убедительных признаков асимметрии воронкообразного графика, ни различий между исследованием с высоким заявленным качеством и остальными исследованиями.

Типичный Кокрейновский обзор включает шесть исследований³³. Таким образом, гомеопатия может быть реальным решением серьезной проблемы наиболее часто встречающегося острого заболевания в работе врача общей практики.

Заинтересуется ли научное сообщество? Кун заявляет в "Структуре научных революций":

...Ученые оказываются не в состоянии отвергать парадигмы, встречаясь с аномалиями или свидетельствами обратного (стр. 78)³⁴.

Пример: в мета-анализе лечения статинами и случаев геморрагического инсульта Вергувен и др. обнаружили результат ОШ = 0,88 (95% ДИ 0,78–0,99). В случае статинов 95%-й доверительный интервал ниже 1,0, потому что суммарный размер выборки большой, n = 8832. Результат анализа Шан был ОШ = 0,88 (95% ДИ 0,66–1,18). Эффект получился такой же, как в случае со статинами, но 95%-й доверительный интервал включает единицу, так как размер выборки гораздо меньший, n = 1923. В гомеопатии также было больше неоднородности, потому что итоговое подмножество касалось восьми исследований по восьми различным показателям, включая боль в мышцах, но исключая ИВДП. Если мы увеличим размер выборки в гомеопатии, включив все исследования хорошего качества (по Шан), мы придем к значимому результату ОШ = 0,76 (95% ДИ 0,59–0,99), n = 2651. Значимый результат уже достигнут, если мы включим 14 исследований хорошего качества с объемом выборки выше среднего. Тем не менее Шан сделала ложный отрицательный вывод, основываясь на недостаточном размере выборки. Основываясь на этом ложном отрицательном выводе, Шан заявила, что результатам гомеопатии по ИВДП нельзя доверять.

В этой дискуссии путаются понятия "незначительности" и "неэффективности", и терапия объявляется неэффективной, в то время как сами научные исследования недостаточны, и отсюда недостаточен размер выборки. Другим примером является уменьшение размера выборки путем создания подмножества. Подмножества с недостаточным размером выборки могут быть созданы путем отбора одиночных показаний³⁵. Если гомеопатия эффективна для какого-либо показания, как при ИВДП, можно выделить подмножество из подмножества. Алтунк и др. заявили, что при ИВДП, если выбрана подгруппа "детство и юность", эффекта гомеопатии нет³⁶.

Гомеопатическое сообщество должно выработать стратегию взаимодействия с наукой. Если наука привыкла исследовать гомеопатию, надо понимать, что проверка путем рандомизированного клинического исследования (РКИ) никогда не может быть неоспоримой из-за несовершенства РКИ и мета-анализа. Для новых РКИ надо бы делать стратегический выбор по оцениваемым показаниям. Главной проблемой останется необоснованная и, вероятно, устаревшая оценка предварительной вероятности механизма действия.

Мы пренебрегаем наукой как средством улучшить гомеопатию. Фрей показал, что результаты РКИ могут быть улучшены совершенствованием метода гомеопатии³⁷. Множество рубрик гомеопатических реперториев может вводить в заблуждение, и этому можно помочь путем научных исследований³⁸.

ЗАКЛЮЧЕНИЕ

Результаты гомеопатических РКИ не отличаются по эффективности от результатов сопоставимых конвенциональных РКИ, с лучшим качеством исследований гомеопатии. Дискуссии по поводу доказательств эффективности гомеопатии — это, в сущности, дискуссии о науке. Предварительное предположение, что гомеопатия не работает, пронизывает все аспекты этой дискуссии, и не оценивается должным образом во введении к большинству анализов.

ПРИМЕЧАНИЯ

¹ Kleijnen J, Knipschild P, ter Riet G. Clinical trials of homeopathy. British Medical Journal 1991; 302:316–323.
² Linde K, Clausius N, Ramirez G, Melchart D, Eitel F, Hedges L, Jonas W. Are the clinical effects of homoeopathy Placebo effects? — A meta-analysis of Placebo-controlled trials. Lancet 1997; 350:834–843.
³ Linde K, Scholz M, Ramirez G, Clausius N, Melchart D, Jonas Impact of study quality on outcome in placebo-controlled trials of homeopathy. J Clin Epidemiol. 1999; 52: 631–636.
⁴ Vandenbroucke JP, Crean JM de. Alternative medicine: a “mirror image” for scientific reasoning in conventional medicine. Ann Intern Med. 2001; 135: 507–513.
⁵ Ezzo J, Bausell B, Moerman DE, Berman B, Hadhazy V. Reviewing the reviews. How strong is the evidence? How clear are the conclusions? Int J Technol Assess Health Care. 2001 Fall; 17(4):457–466.
⁶ Shang A, Huwiler-Müntener K, Nartey L, Jüni P, Dörig S, Sterne JAC, Egger M. Are the clinical effects of homeopathy placebo effects? Comparative study of placebo-controlled trials of homeopathy and allopathy. Lancet. 2005; 366:726–732.
⁷ Lüdtke R, Rutten AL. The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials. J Clin Epidemiol. 2008; 61: 1197–1204. [Doi: 10.1016/j.jclinepi.2008.06.015].
⁸ Rutten ALB, Stolper CF. The 2005 meta-analysis of homeopathy: the importance of post-publication data. Homeopathy. 2008; 97:169–177.
⁹ Sterne JAC, Egger M, Davey Smith G. Investigating and dealing with publication and other biases in meta-analysis. BMJ 2001; 323:101–105.
¹⁰ Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315:629–634.
¹¹ Vandenbroucke JP. Letter to editor: Experts' views are still needed. BMJ. 1998; 316:469–470.
¹² Rutten ALB, Stolper CF. Diagnostic test evaluation by patient-outcome study in homeopathy: balancing of feasibility and validity. J Eval Clin Practice. 2009 In Press.
¹³ Ernst E, Barnes J. Are homoeopathic remedies effective for delayed-onset muscle soreness? - A systematic review of Placebo-controlled trials. Perfusion. 1998; 11(1):4–8. Int J High Dilution Res 2009; 8(28):110–118.
¹⁴ Schulz KF, Chalmers I, Hayes RJ, Altman D. Emperical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA. 1995; 273:408–412.
¹⁵ Enzi G, Crepaldi G, Inelmen EM, Bruni R, Baggio B. Efficacy and safety of dexfenfluramine in obese patients: amulticenter study. Clin Neuropharmacology. 1995; 12:S173–178.
¹⁶ FDA Announces Withdrawal Fenfluramine and Dexfenfluramine (Fen-Phen). Silver Spring: U S Food and Drug Administration 2009-[updated in 2009 Aug 08; cited in 2009 Sep 21]. Available from: http://www.fda.gov/Drugs/DrugSafety/PostmarketDrugSafetyInformationforPatientsandProviders/ucm179871.htm
¹⁷ Louviere RL, Upton RT, Evaluation of Deladumone OB in the suppression of postpartum lactation. Am J Obstet Gynecol. 1975; 121:641–642.
¹⁸ Lacey PH, Dodd GD, Shannon DJ. A double blind, placebo controlled study of piroxicam in the management of acute muscoloskeletal disorders. Eur J Rheum Inflam. 1984; 7:95–104.
¹⁹ Eli Lilly & Co. and Bristol-Myers Squibb Co.; Withdrawal of Approval of Three New Drug Applications for Estrogen-Androgen Combination Drugs. Federal Register / Vol. 63, No. 209 / Thursday, October 29, 1998 / Notices Cited 2009 Sep 22. Available from http://www.fda.gov/ohrms/dockets/98fr/102998b.pdf
²⁰ EMEA. Press release. European Medicines Agency recommends restricted use for piroxicam. London:EMEA; 2007- [updated in 2007 Jun 25; cited 2009 Sep 21]. Available from: http://www.emea.europa.eu/pdfs/human/press/pr/26514407en.pdf
²¹ Fricker M. Epistemic injustice: power and ethics of knowledge. Oxford: Oxford University Press; 2007. ISBN 978-0-19-823790-7.
²² Chan AW, Hrobjartsson A, Haarh MT, Gotzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published trials. JAMA. 2004; 291:2457–2465.
²³ Healy D. Did regulators fail over selective serotonin reuptake inhibitors? BMJ. 2006; 333:92–95.
²⁴ Gotzsche PC, Hrobjartsson A, Johansen HK, Haarh MT, Altman DG, Chan AW. Ghost authorship in industry-initiated randomised trials. PloS Med. 4(1): e19. [Doi:10.1371/journal.pmed.0040019].
²⁵ Vandenbroucke JP. Homeopathy and the growth of truth. Lancet. 2005; 366:691–692.
²⁶ Chaplin MF. The memory of water: an overview. Homeopathy. 2007; 96:143–150.
²⁷ Goodman SN. Toward evidence-based medical statistics. 2: The Bayes factor. Ann Intern Med. 1999; 130:1005-1013. [PMID:0010383350].
²⁸ Rutten ALB. How can we change beliefs? A Bayesian perspective. Homeopathy. 2008; 97:214–219.
²⁹ Montagnier L, Aissa J, Ferris S, Montagnier J-L, Lavallee C, Electromagnetic Signals Are Produced by Aqueous Nanostructures Derived from Bacterial DNA Sequences. Interdiscip Sci Comput Life Sci. 2009; 1:81–90.
³⁰ Rapid responses to: MacPherson H, Peters H, Zollman C. Closing the evidence gap in integrative medicine. BMJ. 2009; 339:63335.
³¹ Petersen I, Johnson AM, Islam A, Duckworth G, Livermore DM, Hayward AC. Protective effect of antibiotics against serious complications of common respiratory tract infections: retrospective cohort study with the UK General Practice Research Database. BMJ. 2007; 335:982.
³² Arroll B, Kenealy T, Falloon K. Are antibiotics indicated as an initial treatment for patients with acute upper respiratory tract infections? A review. NZ Med J. 2008; 121:64–70.
³³ Bezákova N, Damoiseaux R, Hoes A, Schilder A, Rovers M. Recurrence up to 3,5 years after antibiotic treatment of acute otitis media in very young Dutch children: survey of trial participants. BMJ. 2009; 339:b2525.
³⁴ Kuhn TS: The Structure of Scientific Revolutions. 2nd. Chicago. University of Chicago Press; 1970.
³⁵ Ernst E. A systematic review of systematic reviiews of homeopathy. J Clin Pharmacol. 2002; 54:577–582.
³⁶ Altunc U, Pittler MH, Ernst E. Homeopathy for childhood and adolescence ailments: systematic review of randomised clinical trials. Mayo Clin Proc. 2007; 82(1):69–75.
³⁷ Frei H, Ammon K von, Thurneysen A. Treatment of hyperactive children: Increased efficiency through modifications of homeopathic diagnostic procedure. Homeopathy. 2006; 95:163–170.
³⁸ Rutten ALB, Stolper CF, Lugten RF, Barthels RJ. Statistical analysis of six repertory-rubrics after prospective assessment applying Bayes' theorem. Homeopathy. 2009; 98:26–34.