Forschungmethoden bei Evaluationsstudien

Bei der Effektivitätsprüfung und beim Ergebnisbericht einer Evaluationsstudie, sollte nach wissenschaftliche Standards vorgegangen werden. Entsprechende Leitlinien werden von Cochrane Deutschland gesammelt und dargestellt.

Die Evidenz von medizinischen Maßnahmen soll durch randomisierte kontrollierte Studien nachgewiesen werden. Dies ist ein entscheidender Qualitätsanspruchs medizinisch-wissenschaftlicher Forschung.

Um die Berichterstattung über randomisierte kontrollierte Studien („Randomized Controlled Trials” – RCT) zu verbessern, wurde Mitte der 1990er Jahre das CONSORT-Statement (Consolidated Standard of Reporting Trials) entwickelt. Inzwischen wird es von vielen medizinischen Fachzeitschriften bei der Begutachtung eines Manuskripts verwendet.

Consort-Flussidagramm

Das CONSORT-Statement liefert schon für die Studienplanung wertvolle Hinweise zu Design, Durchführung und Dokumentation klinischer Studien. Links zum CONSORT-Statement:

Beschreibung von Interventionen

Eine zweite Leitlinie befasst sich mit der systematischen Beschreibung von Interventionen, wie Schulungen und Gruppenprogramme, die in Berichten häufig sehr verknappt dargestellt sind. Damit gut evaluierte Interventionen auch genutzt und Studienergebnisse repliziert werden können, fordert die TIDieR-Leitlinie eine bessere Nachvollziehbarkeit (Better reporting of interventions: template for intervention description and replication, TIDieR). Demnach sollen Interventionsbeschreibungen folgende Aspekte enthalten: Bezeichnung, Warum, Was (Materialien), Was (Verfahren), Wer intervenierte, Wie, Wo, Wann und Wieviel, Anpassungen, Modifikationen, Wie gut (geplante Durchführungskontrolle), Wie gut (tatsächliche Durchführung).

Bearbeitete Übersetzung des Beitrags aus dem Englischen:

Voigt-Radloff, S., Blümle, A. & Meerpohl, J. (2016). Die TIDieR Checkliste und Anleitung – ein Instrument für eine verbesserte Interventionsbeschreibung und Replikation. Gesundheitswesen. 2016 Online Publikation. http://dx.doi.org/10.1055/s-0041-111066

Originalversion:

Hoffmann, T. C., Glasziou, P. P., Boutron, I., Milne, R., Perera, R., Moher, D., et al. Better reporting of interventions: template for intervention description and replication (TIDieR) checklist and guide (DOI 10.1136/bmj.g1687);

Deutsche TIDieR-Checkliste und Anleitung (Thieme Verlag)

Komplexe Intervention

Komplexe Interventionen bestehen aus verschiedenen Komponenten, die miteinander interagieren. Auch das Ergebnis eines Programms kann von verschiedenen Aspekten beeinflusst werden: Vom Programm selbst, von Persönlichkeit und Erfahrung der Teilnehmenden, vom Umfeld der Behandlung und der Zusammensetzung der Interventionsgruppe. Komplex ist ein Gruppenprogramm auch, weil sie von den Dozierenden unterschiedliche Kompetenzen abverlangt. Nicht zuletzt werden auch mehr als nur eine Ergebnisgröße formuliert.

Die Entwicklung – und noch viel mehr die Evaluation – einer komplexen Intervention muss daher hohen Ansprüchen genügen:

  • Es bedarf einer guten theoretischen Grundlage, die ein kausales Verständnis davon vermittelt, wie die Intervention Veränderung bewirken will.
  • Ein ausbleibender Effekt muss nicht zwangsläufig eine ineffektive Intervention bedeuten, er kann auch Folge einer misslungenen Implementierung sein. Komplexe Interventionen sollten daher in allen Stadien ihrer Entwicklung von einer Prozessevaluation begleitet werden.
  • Die individuelle Variabilität in den Ergebnissen kann eine Folge tieferliegender Prozesse sein. Um diese zu entdecken, kann es nötig sein, die Anzahl der untersuchten Personen zu erhöhen. Eine solche Erhöhung ist auch notwendig, wenn man Teilnehmer clusterrandomisiert.
  • Die Reduktion auf eine primäre Zielgröße wird komplexen Interventionen häufig nicht gerecht. Es bedarf einer größeren Bandbreite von Messgrößen, um unerwartete Zusammenhänge entdecken zu können.
  • Die Forderung einer strikten Umsetzung von Interventionsprotokollen kann im Zusammenspiel mit den konkreten Umständen in einer Einrichtung zu einem Misslingen der Umsetzung führen. Ein bestimmtes Ausmaß an „Anpassungsfähigkeit” einer Intervention sind daher wünschenswert.

Das Medical Research Council hat hilfreiche Hinweise erarbeitet, um komplexe Interventionen entwickeln und evaluieren zu können:

  • Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I., & Petticrew, M. (2008). Developing and evaluating complex interventions: the new Medical Research Council guidance. BMJ, 337. DOI: 10.1136/bmj.a1655
  • Moore, G. F., Audrey, S., Barker, M., Bond, L., Bonell, C., Hardeman, W., . . . Baird, J. (2015). Process evaluation of complex interventions: Medical Research Council guidance. BMJ, 350, h1258. DOI: 10.1136/bmj.h1258

Strukturierungshilfe für Studienprotokolle

Im Jahr 2001 verfassten Andrea Reusch und Prof. Hermann Faller einen Leitfaden zur Erstellung eines Studienprotokolls. Dieses Dokument liefert wertvolle Hinweise zum Aufbau einer wissenschaftlichen Studie bspw. zur Überprüfung der Wirksamkeit einer Patientenschulung.