Introduction Los proveedores y financiadores de servicios sanitarios, en la búsqueda de mayor efectivi-dad y eficiencia de dichos servicios, están cada vez más interesados en disponer de evi-dencias explícitas sobre la efectividad y coste-efectividad de las tecnologías y procedimientos que proveen o financian. Por otra parte, los ciudadanos de los países desarrollados se ven sometidos en la actualidad a dos elementos en conflicto: la oferta de un número creciente de nuevos procedimientos médicos cada vez más sofisticados y prometedores, y el aviso continuado de las autoridades económicas acerca del crecimiento del gasto sanitario y las dificultades para afrontarlo. Esta situación ha sido analizada por profesionales sanitarios y políticos, llegando a constatar tres fenómenos que configuran un panorama de incertidumbres, que en última instancia pueden ser considerados generadores de la ETS o del movimiento llamado"Medicina Basada en la Evidencia''1. El primero de estos fenómenos es la ausencia de una buena correlación entre el nivel de gasto sanitario de un país y la salud colectiua de sus ciudadanos. Así, por ejemplo, Grecia, con el gasto sanitario per capita más bajo de la Unión Europea, logra una mayor esperanza de vida en hombres que Alemania o Francia2. Los resultados agregados de salud y bienestar de una población son poco sensibles a los cambios en el gasto sanitario a partir de unos niveles mínimos de cobertura de riesgos, alcanzados por la mayoría de los países desarrollados. El sistema sanitario y la inversión en tecnología sanitaria constituyen sólo uno de los determinantes de la salud y el bienestar Uunto a factores de la biología humana, medio ambientales, protección social o educación, entre otros). El segundo es la variabilidad observada en la práctica clínica. Fenómeno descrito en los años treinta3, y estudiado con detalle a partir de la década de los setenta4. Se han realizado multitud de estudios. Unos han descrito diferencias importantes en las tasas de intervenciones realizadas a pacientes según el lugar de residencia. Por ejemplo, Mark Chassin describió variaciones en las tasas de implantación de prótesis de cadera de hasta 6 veces entre 13 Estados de los EE.UU. La diferencia aumentaba a 26 veces para el caso de las esclerosis hemorroidales5. Otros han descrito diferencias en las tasas de intervención entre hospitales de la misma zona geográfica. Por ejemplo, en 1984 se realizó un estudio que medía la probabilidad de que a un niño residente en Vermont (EE.UU.) le fuera practicada una amigdalectomía durante su infancia, y observó que ésta difería hasta en 9 veces en dependencia del hospital en el que le correspondiera la atención sanitaria, siempre dentro del mismo Estado6. A pesar de los estudios realizados, los determinantes analizados (razones médicas, sociales, de necesidad) no llegan a explicar toda la variabilidad observada en la práctica clínica. Otra de las posibles explicaciones es el uso inadecuado de recursos. Se han detectado diferencias entre países atribuidas no tanto a los criterios de indicación de la técnica, sino a la conducta del profesional en caso de incertidumbre, al estilo de práctica clínica y a cuestiones organizativas7 8. En numerosas áreas asistenciales se detecta una infrautilización de procedimientos altamente eficaces y apropiados y distintos tipos de barreras que limitan el acceso a dichos procedimientos. Por otra parte, los cambios en la práctica clínica no obedecen simplemente a la disponibilidad de información válida sobre efectividad y eficiencia de las técnicas utilizadas. Las fuentes de variación en la práctica clínica superan en mucho a la mera incertidumbre profesional sobre la efectividad de la práctica médica, si bien el juicio de los médicos puede ser el principal factor de variabilidad. Sin embargo, es probable que las recomendaciones basadas en evidencias de alta calidad puedan modificar dicha práctica más que las recomendaciones basadas en otros procedimientos. Todo ello hace necesarios los estudios evaluativos que, basados en la mejor evidencia disponible, contribuyan a disminuir la variabilidad inexplicable e inaceptable en la práctica clínica9. El tercer y último fenómeno es la incertidumbre acerca del impacto real que sobre la salud de los ciadadanos tiene el uso de muchas prácticas médicas. Algunas estimaciones sitúan el gasto sanitario dedicado a procedimientos ineficaces o perjudiciales en un 20% del gasto total. También se ha señalado que un 20-25% de los procedimientos médicos realizados en los EE.UU. están basados en indicaciones inapropiadas o dudosas10. La constatación de la falta de eficacia y efectividad de muchas intervenciones médicas consideradas clásicas y ampliamente extendidas en la mayoría de los países desarrollados ha generado un importante debate, que, para algunos autores, ha producido una auténtica revolución en la investigación biomédica. En conclusión, el rápido incremento del gasto sanitario no acompañado de mejoras proporcionales en el nivel de salud, el alto grado de variabilidad no explicable en la práctica médica y la incertidumbre acerca del impacto real de muchos procedimientos médicos sobre la salud, conducen a admitir la existencia de importantes lagunas en el conocimiento que dificultan la adopción de decisiones juiciosas sobre asignación de recursos y uso y aceptación de prácticas médicas. Esta realidad es la que ha llevado al nacimiento y desarrollo del concepto de ETS. Concepto de Tecnología Sanitaria El término Tecnología Sanitaria (TS) se identifica en muchos casos con equipamientos o técnicas complejas, pesadas y sofisticadas. Sin embargo, el Diccionario de la Real Academia Española define tecnología como el "conjunto de conocimientos propios de un oficio mecánico o industrial". Definición que, si se hace extensiva a la práctica de la medicina, lleva a considerar las TS como algo mucho más amplio que los equipamientos pesados. En general, hoy se acepta la definición que en su día propuso el Institute of Medicine de los EE.UU.: "conjunto de medicamentos, dispositivos y procedimientos médicos o quirúrgicos usados en la atención sanitaria, así como los sistemas organizativos y de soporte dentro de los cuales se proporciona dicha atención''12. Concepto de Evaluación de Tecnologías Sanitarias E1 concepto de ETS fue definido inicialmente por la Of fice of Technology Assessment de los EEUU (OTA) como aquella"forma de investi gación que examina las consecuencias clínicas, económicas y sociales derivadas del uso de la tecnología, incluyendo el corto y medio plazo, así como los efectos directos e indirectos, deseados e indeseados''12. Esta definición utiliza el término investigación como cuasi sinónimo de eualuación, lo cual ha sido revisado por algunos autores que consideran más conveniente utilizar términos amplios como "estrategia o proceso de análisis''13. Por otro lado, según la Real Academia Española, evaluar es "estimar, apreciar, calcular el valor de una cosa". Así, se propone la siguiente definición de ETS: proceso de análisis e inuestigación, dirigido a estimar el ualor y contribución relatiuos de cada tecnología sanitaria a la mejora de la salud indiuidual y colectiua, teniendo además en cuenta su impacto económico y social. Requisitos y atributos de los informes de ETS La propia naturaleza y funciones de los organismos dedicados a la Evaluación de Tecnologías Sanitarias obliga a que sus productos reúnan ciertas características que los hagan acordes y coherentes con su misión. Los atributos básicos deben ser la fundamentación en la evidencia científica, la utilidad para la toma de decisiones, la claridad en la redacción, la facilidad de comprensión de los documentos, y la oportunidad y adaptación al tiempo y ámbito de decisión. 1. Fundamentación en la evidencia científica. Las afirmaciones y contenidos de un informe de ETS han de apoyarse siempre y esencialmente en la evidencia científica, incorporando, en determinados casos, la aportación del juicio de expertos. Sólo la revisión exhaustiva y el análisis crítico de la evidencia disponible proporcionan la base sobre la que se pueden sustentar las conclusiones y recomendaciones de un informe de ETS. Dicho de otro modo, un informe de ETS ha de ser incuestionable en su rigor científico. Se podrán compartir o no sus conclusiones pero no rechazar las bases en que se apoya14. 2. Utilidad para la toma de decisiones. Tal vez sea éste el atributo principal y más claramente diferenciado de las publicaciones de ETS frente a otro tipo de textos científicos. En el caso de la comunicación científica, los autores están obligados a exponer la metodología utilizada y los resultados alcanzados en determinado experimento u observación clínica, transmitiendo un conocimiento que puede o nó, servir para la toma de decisiones. Sin embargo, los informes de ETS siempre se realizan con la intención de que el resultado sirva a alguien (político, gestor, administrador, clínico, usuario) para tomar decisiones. No se pretende sustituir a quien tiene la responsabilidad de la decisión, sino facilitar el proceso proporcionando elementos de información relevantesl4 l5 3. Redacción clara yfácil de comprender. Este requisito, importante en cualquier texto escrito, adquiere una particular relevancia en este ámbito si se tiene en cuenta el variado perfil de los posibles destinatarios al que se dirigen los informes. Los destinatarios de un informe sobre una TS no son única ni fundamentalmente los especialistas médicos que la utilizan. Otros profesionales sanitarios o no sanitarios pueden ser lectores de un informe de ETS y, por tanto, el lenguaje que se utilice debe adaptarse a las características de los usuarios, que en muchos casos van a ser múltiples y muy variados, lo cual obliga a un esfuerzo de redacción importante. La adecuada definición y precisión en los términos, el orden y la estructuración, la claridad expositiva, el rechazo de lo accesorio y la huida de los sobreentendidos, deben caracterizar el estilo de redacción de cualquier documento de ETS. 4. Oportunidad y adaptación al tiempo y ámbito de decisión. La capacidad de influencia e impacto de la información presentada en un informe de evaluación de TS dependerá del grado en que esta información se adapte al contexto en el que se generó la demanda. E1 modo y grado de profundización en la respuesta deben estar también adaptados al marco temporal del proceso de toma de decisiones. Este marco debe estar siempre presente, de forma que exista cierta flexibilidad en la elaboración y formato de la respuesta, con el objetivo de maximizar el grado de oportunidad. E1 sacrificio de la exhaustividad puede venir justificado por un marco temporal limitado. La búsqueda rápida de información válida y relevante para una toma de decisión inmediata puede constituir el objetivo de un informe de ETS y, por tanto, esto tiene que quedar claro en los primeros momentos tras la solicitud. Fases de introducción de una TS E1 principal de los atributos mencionados anteriormente, utilidad para la toma de decisiones, tiene un componente importante que se relaciona con la evolución en el tiempo del uso de una tecnología. E1 proceso de ETS debe considerar el momento y la oportunidad de elaborar un informe, valorando la utilización y el grado de implantación de esa TS. En ese sentido es importante conocer las fases de la introducción de las tecnologías sanitarias en los servicios sanitarios, que se pueden conceptualizar a partir de un esquema aceptado de forma bastante generalizada. Las fases de introducción de una TS suelen ser cinco: • Experimental. Es la fase en la que se suele realizar la innovación, investigación inicial y conceptualización de la TS. • Introducción. Se inicia la implantación y uso de la TS. • Expansión. Coincide con la parte más ascendente de la curva. • Utilización generalizada. La curva comienza a aplanarse y si la TS es aceptada pasa a ser una meseta • Declive o sustitución. Las primeras fases (experimental e introducción) son las más oportunas para la evaluación de la viabilidad técnica, eficacia y seguridad. En estas fases no suelen intervenir los organismos o azencias dedicados a la ETS. Generalmente, corresponde al investigador o a la industria proporcionar los primeros datos sobre la TS. Sin embargo, durante las fases de introducción y expansión cuando ya es posible conocer la efectividad utilidad clínica o impacto económico de una TS, un informe de ETS puede producir un impacto muy importante que logre modificar la curva de introducción de la tecnología. Éste es, por tanto, el momento más eficiente para realizar un trabajo de evaluación. Por último, durante la fase de utilización generalizada es todavía más útil el estudio de los efectos, al poder medir los resultados e impacto de la tecnología a medio y largo plazo. Las evaluaciones realizadas en esta fase proporcionan datos muy fidedignos y consistentes sobre los efectos reales de la técnica o intervención. Proceso de elaboración de informes de ETS A continuación se estructuran y describen los elementos a considerar en un informe de ETS, estableciendo la secuencia temporal de elaboración, los tipos de informes y los aspectos metodológicos más destacados, a la vez que se of recen recursos y bibliografía relacionada. No se pretende realizar una descripción pormenorizada de las técnicas utilizadas en ETS, sino ofrecer una guía de apoyo para la elaboración de informes; por ello, algunos temas sólo son mencionados, aunque se presentan fuentes bibliográficas y otros recursos que permiten profundizar en ellos. Algunas de las cuestiones planteadas se encuentran actualmente sometidas a debate. En primer lugar, la necesidad de nuevas publicaciones que atiendan a sintetizar la gran cantidad de información disponible, o la influencia creciente del movimiento de Medicina Basada en la Evidencia, línea de colaboración internacional que promueve la mejor utilización de los conocimientos médicos. Existen diversos tipos de trabajos que se pueden situar en ese marco común: los informes de ETS, las revisiones sistemáticas o los meta-análisis, entre otros. La descripción somera de las diferencias entre ellos puede servir para caracterizar los informes de ETS y comprender su papel particular. Las reuisiones sistemáticas son trabajos que pretenden resumir toda la evidencia que existe sobre un tema concreto, generalmente sobre los efectos de una intervención sanitaria. Deben realizarse con una metodología explícita, ordenada y reproducible, permitiendo establecer las bases científicas sobre las que se sustenta el uso de determinadas técnicas o procedimientos. La utilización de métodos explícitos y sistemáticos limita los sesgos o errores sistemáticos y reduce los errores aleatorios o simples19. E1 meta-análisis es una técnica de síntesis cuantitativa de resultados de investigaciones primarias, cuyo objetivo es proporcionar estimaciones más precisas sobre los efectos de la atención sanitaria que las derivadas de estudios aislados incluidos en una revisión20. Las revisiones sistemáticas pueden incorporar un meta-análisis o no hacerlo. Los informes de ETS, sin embargo, son publicaciones que utilizan habitualmente revisiones sistemáticas (con o sin meta-análisis), entre otros recursos, para determinar la posible contribución de una TS a la mejora de la salud en una población concreta. Su objetivo es responder a solicitudes de terceros (Administración, proveedores de servicios, aseguradores) que precisan información fiable sobre los resultados o impacto de una TS y su posible aplicación en un contexto determinado. En consecuencia, su metodología debe ajustarse al tipo de pregunta planteada y al tiempo requerido para su respuesta. La formulación de conclusiones y recomendaciones aplicables a un ámbito local determinado es otro de los aspectos que diferencia los informes de ETS de las revisiones sistemáticas o los meta-análisis. En los informes de ETS casi siempre es necesario realizar un estudio del contexto local que permita que el solicitante del informe pueda tomar una decisión sobre la incorporación o no de esa TS. Los responsables de tomar decisiones en los sistemas sanitarios (autoridades, administradores, profesionales) están interesados en disponer de información válida, relevante, a veces en un corto espacio de tiempo y aplicable al contexto en el que actúa. La ETS pretende cubrir esas necesidades, por lo que los informes de evaluación pueden ir consolidándose como publicaciones de gran impacto y utilidad. Esta guía, que describe la metodología, proceso de elaboración y tipos de informes, pretende difundir la práctica de la ETS, así como provocar debate e investigación para el establecimiento de los beneficios y limitaciones de la metodología evaluativa en ciencias de la salud. El informe de Evaluación de Tecnologías Sanitarias se puede definir como un documento estructurado, comprensible, basado en la mejor euidencia disponible, elaborado con metodología explícita y reproducible y que responda a cuestiones relatiuas a la seguridad, eficacia, efectiuidad, utilidad, eficiencia o impacto de una tecnología en un contexto preuiamente definido. Su misiónfinalista es la ayuda en la toma de decisiones. Su elaboración requiere una metodología acorde con el carácter de la pregunta y el tiempo en el que ésta debe ser contestada. 1. Tipos de documentos de ETS 1.1. Informes de ETS • Informes a demanda o intenaos. Se realizan en respuesta a solicitudes de parte interesada. Su objeto, extensión, metodología y circulación se ajustan a los términos que previamente se convengan entre las dos partes. La agencia actúa de segunda parte, es decir, elabora el informe para asesorar al solicitante en sus decisiones unilaterales. El producto de esa colaboración, el "informe a demanda", se orienta a satisfacer las cuestiones planteadas, por lo que suele ser un informe interno o de circulación supeditada al solicitante. En general, y debido a la necesidad urgente del solicitante, son informes de ejecución rápida y contenido breve, aunque no se debe asimilar los informes a demanda o internos con documentos breves, ya que en muchos casos no es asi. Algunas organizaciones como la Agencia para la ETS de Alberta, en Canadá, denominan a este tipo de productos consultas técnicas, Health tech notes, y las definen como respuestas breves a peticiones de asesoría urgentes que, por su limitación de tiempo, presentan un análisis más limitado y no están necesariamente sujetas a un proceso de revisión extema. Esta organización ha evaluado la calidad de la información que proporcionan y su impacto en la toma de decisiones a través de entrevistas con solicitantes y lectores de los infommes. Seis de los once informes considerados tuvieron un impacto elevado en la toma de decisiones, cuatro un impacto moderado pero fueron considerados útiles para la gestión, y únicamente un informe fue valorado como de bajo impacto. La calidad se consideró aceptable en todos ellos. El mismo estudio previene de las limitaciones de este tipo de infommes, en el sentido de que la urgencia impuesta por los solicitantes puede perturbar el proceso de búsqueda de información y el análisis ulterior22. • Informes públicos. Son los productos más conocidos de las agencias de ETS. En este caso, la agencia actúa de tercera parte, ofreciendo una valoración técnica útil para cualquiera de las partes presentes en el sistema sanitario. Dado que deben ser útiles a cualquiera de los operadores que interactúan en un Servicio de Salud, son públicos y de libre acceso a todo aquel que lo solicite. Su origen y motivación pueden ser diversos, pero en todo caso la trascendencia de la cuestión que tratan ha aconsejado su difusión pública. Estos informes van a formar parte de la base de datos de informes de ETS de la red intemacional INAHTA y generalmente se elaboran por iniciativa de la Autoridad Sanitaria o de la propia agencia. 1.2. Guías de Práctica Clínica Pretenden ayudar a profesionales sanitarios y usuarios a decidir sobre la atención sanitaria más apropiada en circunstancias clínicas específicas, mediante la formulación de unas recomendaciones desarrolladas sistemáticamente y presentadas de manera estructurada, frecuentemente con algoritmos o árboles de decisión23. Constituyen un instrumento para la difusión de los resultados de la evaluación de tecnologías sanitarias. La elaboración de una Guía de Práctica Clínica debe perseguir la obtención de un texto basado en la evidencia científica y consensuado. Sus características básicas deben ser: validez, fiabilidad, aplicabilidad clínica, flexibilidad clínica, multidisciplinariedad, previsión de revisión y documentación adecuada. La calidad de una Guía de Práctica Clínica se basa en la exhaustividad y valoración crítica de la literatura científica y en la adecuada valoración de la evidencia, que debe acompañar a cada recomendación incluida. Su descripción, proceso de elaboración, implantación y evaluación no han sido abordados en esta guía y merecen un tratamiento específico, 'aunque se pueden recomendar una serie de referencias que permiten conocer sus fundamentos 23,24.2s,26,27 1.3. Dictámenes técnicos Otra parte de la actividad de las agencias de ETS es la asesoría acerca de lo apropiado de la adopción de una tecnología en un contexto determinado (peritaje, audit). La respuesta a este tipo de consulta se materializa en informes breves o dictámenes sobre aspectos concretos de determinadas técnicas o procedimientos 2. Solicitud del informe El origen del proceso de elaboración de un in forme de ETS suele ser la solicitud de evalua ción por parte de la administración sanitaria, instituciones u organismos usualmente proveedores o financiadores de TS. Algunos centros han elaborado hojas de solicitud de informe en las que se pide la identificación del solicitante, la formulación de preguntas concretas, información sobre el contexto local de aplicación de la TS, y además se establece el marco temporal y el formato de la respuesta. Este procedimiento puede facilitar y clarificar inicialmente el tipo de trabajo requerido y la previsión de recursos necesarios para su desarrollo. 2.1. Priorización en la elaboración de informes de ETS Con independencia de la respuesta a demandas concretas, es importante que la realización de informes de ETS y su consiguiente planificación de recursos se haga a través de un proceso explícito y meditado. La ETS puede abordar una enorme cantidad de temas, siendo su prioridad, relevancia y oportunidad variables. Establecer prioridades, o sea, escoger los temas o aspectos específicos a estudiar, puede ser el primer paso en el ciclo de la ETS, que se continúa con la realización de la evaluación, la difusión y aplicación de los resultados y la medición de su impacto. Una metodología ideal para este paso de establecimiento de prioridades debería definir el alcance de los temas a priorizar desarrollando una lista de posibles temas a evaluar, los criterios explícitos para establecer prioridades, los métodos de aplicación de esos criterios y la inclusión de un amplio rango de perspectivas en el proceso, desde gestores, financiadores, investigadores, profesionales o pacientes. Algunas agencias han desarrollado métodos de priorización, que facilitan la planificación de su trabajo y a la vez posibilitan el análisis global de la situación de las TS en su contexto local. Las agencias de ETS españolas han realizado un estudio de priorización de las tecnologías susceptibles de evaluación o de investigación para el Consejo Interterritorial del Sistema Nacional de Salud español. E1 propósito del estudio era ordenar un amplio grupo de TS en función de la necesidad de elaboración de un infomme de ETS o de realización de investigación dirigida a cubrir las lagunas de conocimiento detectadas sobre los efectos de esa técnica o procedimiento. E1 listado inicial incluía seiscientos tipos de técnicas o intervenciones sanitarias seleccio nadas en función de su relevancia, nivel de concreción y razonable disponibilidad de evidencias acerca de su efectividad y utilidad. Las fuentes de obtención de las TS iniciales fueron la red INAHTA (Intemational Network of Agencies of Health Technology Assessment), las cuatro agencias de evaluación españolas, las propuestas presentadas por Consejerías de Sanidad de las Comunidades Autónomas españolas, el Instituto Nacional de la Salud y el Ministerio de Sanidad y Consumo españoles, y un estudio sobre priorización en TS realizado recientemente en el Reino Unido30. Los criterios que se utilizaron para la priorización realizada por las agencias de ETS españolas fueron29: • Prevalencia de la condición o situación clínica a la que se dirige la tecnología. • Carga de la enfermedad. Grado de deterioro de la salud que ocasiona la condición clínica implicada. Los datos que pueden definir este concepto son los referentes a mortalidad, discapacidad, años de vida perdidos, jornadas laborales perdidas o calidad de vida, entre otros. • Grado de incertidumbre. Se refiere a la existencia de infommación contradictoria, escasa y/o de baja calidad. • Posible impacto sobre la salud. Efectos de la TS sobre el manejo y resultados clínicos para los pacientes, teniendo en cuenta las alternativas concurrentes. • Posible impacto económico. Se valora si el uso de la tecnología eleva o reduce el coste agregado. • Posible impacto organizativo. Se valora si el uso de la TS provoca cambios en las condiciones y organización del trabajo. • Posible impacto ético, social y/o legal. 3. Diseño de la evaluación 3.1. Definición de las preguntas de evaluación La elaboración de un informe de ETS requiere determinar desde el inicio el enfoque de la evaluación, estableciendo las preguntas con concreción. En muchas ocasiones, la formulación adecuada de la pregunta no resulta una tarea simple. La peticion inicial o solicitud de evaluación no suele estar planteada en términos suficientemente precisos y especificos; por ello se debe abrir un proceso de discusión con la institución o persona solicitante para delimitar preguntas, objetivos o hipótesis claramente definidos y operativos, que puedan ser objeto de investigación. En esta fase inicial, es útil la realización de una primera reunión con los solicitantes que clarifique los objetivos del informe. La pregunta de evaluación se compone de un objetivo general o pregunta política y de objetivos específicos o preguntas científicas. E1 objetivo general o pregunta política constituye el motivo inicial que fundamenta la solicitud de un informe de ETS. Su naturaleza puede ir desde un problema o preocupación poco definidos de una autoridad o gestor sanitarios, hasta una pregunta muy concreta sobre su ámbito de gestión. Rara vez se formula inicialmente una cuestión que pueda responderse científicamentel5. Objetivos específicos, preguntas científicas o preguntas de evaluación. E1 objetivo general o pregunta política debe descomponerse en cuestiones más delimitadas y que puedan responderse con metodología científica. La formulación de los objetivos específicos va a determinar todo el proceso de evaluación, desde el diseño hasta su posible impacto en la práctica clínica. Durante el proceso de construcción de las preguntas es necesario plantearse cuál es la forma de presentar los resultados más útil y comprensible para los potenciales receptores del informe. Éste es el momento de realizar una búsqueda y recuperación bibliográfica inicial sobre el tema a evaluar (el anexo II ofrece un listado de fuentes de información para la búsqueda preliminar), con el objeto de identificar los datos o elementos de información más relevantes en relación con las preguntas de inves tigación. Una posible caracterización y clasificación de los tipos de elementos a considerar en la formulación de la pregunta es31: a) datos referidos a las caracteffsticas de los participantes; b) a la tecnología; c) a la metodología, y d) a los resultados. a) Datos sobre las características de los participantes. Las características que tengan influencia sobre el efecto o resultado clínico, o sobre su interpretación, son las que más interesan, y van a determinar en gran parte la validez de las inferencias. Por ejemplo, una característica de los participantes con gran influencia en la efectividad de las intervenciones es el grupo socioeconómico al aue Dertenecen. Sería el caso de un informe que evaluara la efectividad de determinadas intervenciones contra la obesidad en Atención Primaria en España. Si estas intervenciones incluyen modificaciones de hábitos alimenticios que conlleven un incremento del gasto habitual en alimentación, los estudios que incorporen una proporción de personas de bajo nivel económico, más numerosa que la media española, obtendrán menor efectividad que aquellos en los que el nivel socioeconómico sea semejante a la media. En ese caso, la evaluación de esas intervenciones sobre hábitos alimenticios precisa que se recojan datos sobre el grupo socioeconómico al que pertenecen los participantes. Otras características de los participantes con influencia en el efecto o resultado clínico son la naturaleza o determinados aspectos de la enfermedad implicada (por ejemplo, si el informe evalúa un tratamiento antihipertensivo, los niveles iniciales de presión arterial de los participantes antes de la intervención determinarán los resultados del estudio), el ámbito en el que se realiza el estudio (por ejemplo, un hospital de crónicos o un servicio de urgencias), la región geográfica, la edad, el sexo, el nivel de educación ..... b) Los datos acerca de las características de la TS o intervención a evaluar también condicionan la validez de los resultados. Por ejemplo, en los ensayos con tratamientos farmacológicos debe considerarse la vía de administración, las dosis y la duración del tratamiento. En los estudios que no comparan con placebo es importante, por ejemplo, registrar la información referente al tratamiento que recibió el grupo control, ya que si los tratamientos de los diferentes estudios son excesivamente heterogéneos no será razonable combinar sus resultados en un meta-análisis. Son múltiples las características de la TS o intervención que podrían enumerarse. Cada técnica tiene aspectos diferenciales que pueden influir en las variables a considerar cuando se redacta una pregunta de investigación. Un estudio exhaustivo de las características de la TS permitirá conocer todos los factores que pueden influir y modificar los resultados, costes y beneficios de la intervención sanitaria que se evalua c) Los datos sobre la metodología de los estudios que se suelen incluir en las preguntas de evaluación son: -Las características de las medidas de resultado que han utilizado los estudios revisados. -La precisión de los resultados de los estudios. -La tecnlca de aslgnaclon de paclentes a los grupos. -La duración del estudio. -El tipo de diseño, por ejemplo, ensayo aleatorio controlado o estudio observacional de cohortes. -La existencia de enmascaramiento y en qué grado, ciego simple, doble o triple ciego. -Las pérdidas de pacientes durante la realización del estudio -Las cointervenciones. D) Las medidas de resultado requeridas por la pregunta de investigación van a determinar totalmente la posibilidad de encontrar una respuesta válida. La elección del tipo de medida más idónea para responder a la pregunta científica es una tarea a la que hay que dedi car mucho tiempo y estudio cuando se diseña la evaluación. En la actualidad, el estudio de Ias medidas de resultado en medicina es una lmportante lmea de investlgaclon conoclda también como investigación sobre la efectivi dad y la utilidad (outcomes research)32 33 34. Un informe de ETS basado en medidas de resultado que describan efectos sobre la salud o utilidades permitirá establecer conclusiones sólidas, cuya validez difícilmente pueda ser cuestionada. Sin embargo, si se utilizan medidas que describan los resultados clínicos de forma indirecta o intermedia, tales como los cambios producidos en un parámetro bioquímico, pueden surgir dudas sobre la efectividad real de la tecnología evaluada35 36. Es importante llamar la atención acerca de la frecuente utilización de evidencias indirectas o surrogate endpoints, que son, generalmente, parámetros fisiológicos o bioquímicos que forman parte de una cadena causal o de asociación con resultados o efectos clínicos (ver ejemplo en tabla 1). Tabla 1 Ejemplo de utilización de una evidencia indirecta o surrogate endpoint Las conclusiones del ensayo clínico llevado a cabo para evaluar la influencia que la reducción de las arritmias tiene sobre la mortalidad postinfarto (CAST, Cardiac Arrhythmia Suppression Trial)3s son útiles para explicar el concepto de evidencia indirecta o surrogate endpoint. La relación encontrada previamente entre las arritmias postinfarto y la muerte súbita37 y los efectos de la encainida, flecainida y moricizina disminuyendo las arritmias cardíacas durante el año siguiente a un infarto agudo de miocardio conforman una línea tratamiento - resultado intermedio - resultado final, que se inicia con el uso de antiarrítmicos, continúa con la reducción de las arritmias y debería finalizar en la disminución de la mortalidad postinfarto. En este caso, los efectos positivos observados en el paso intermedio o evidencia indirecta, la arritmia cardíaca, estaban justificando la utilización generalizada de antiarrítmicos en los pacientes con infarto de miocardio por una supuesta disminución de la mortalidad postinfarto no demostrada. El citado ensayo clínico pretendía obtener evidencias que demostraran ese efecto sobre la mortalidad. Sin embargo, diez meses después de iniciarlo, el análisis de los resultados preliminares conllevó su interrupción inmediata. E1 motivo fue que se observó mayor mortalidad en los grupos que tomaban encainida y flecainida que en los grupos que tomaban placebo. Las curvas de supervivencia que compararon el grupo con tratamiento y el grupo placebo mostraron una mortalidad y una incidencia de infarto mucho mayor en el grupo que tomaba antiarrítmicos, tanto debido a arritmia (p=0,0004) como a cualquier causa (p=0,001). El ensayo CAST demostró los resultados negativos de una práctica profiláctica extendida, al medir sus efectos con una medida de resultado final (la mortalidad) y no una medida de resultado indirecta. como la disminución de arritmias. _______________________ La asunción de que las medidas intermedias predicen el resultado final es aventurada, por dos razones fundamentales. En primer lugar, porque la biología es extremadamente sensible a multitud de factores que difícilmente se pueden conocer en su totalidad y, por tanto las asociaciones biológicas demostradas en casos concretos no pueden ser utilizadas de manera general para predecir comportamientos clínicos complejos. Las teorías actuales sobre causalidad la definen, en la mayoría de, los casos, como multifactorial. Se han descrito muchos factores causales necesarios, pero no muchos factores causales suficientes. Además, muchas veces se ha observado que la existencia de asociación, entre un resultado A, resultado intermedio, y uno B, resultado final, en condiciones de laboratorio o ideales, se diluye o desaparece completamente en las condiciones de la práctica habitual39. 3.2. Estudio de la factibilidad Antes de iniciar el trabajo de evaluación es necesario valorar la viabilidad del proyecto y la posibilidad de responder a la solicitud. Es posible que la evaluación esté ya total o parcialmente realizada, que exista información suficiente de fácil acceso para cubrir los objetivos propuestos, o, por el contrario, que los recursos de personal o de tiempo necesarios para la elaboración del informe sean muy superiores a los inicialmente previstos. A continuación se presenta una propuesta de los aspectos que pueden determinar la factibilidad y oportunidad de realizar un informe de ETS. La Agencia de ETS de Alberta, en Canadá, tiene en cuenta varios criterios para decidir el tipo y grado de la respuesta a las solicitudes de evaluación. Aspectos que determinan la factibilidad de realizar un informe de ETS (modificado de Alberta Heritage Foundation) ___________________ El propósito de la solicitud. El impacto de la tecnología. Prevalencia de la condición clínica implicada, gravedad de ésta e impacto económico, social y organizativo. La pertinencia de realizar la evaluación. Considerando el momento en el que se presentará el informe. Este criterio depende de aspectos como la sobre o infrautilización percibida o la fase de introducción en que se encuentra la TS. La variabilidad en el uso de esa tecnología o en el manejo de la enfermedad entre diferentes zonas geo-Rráficas o medios clínicos. La disponibilidad de la información necesaria para realizar la evaluación. Calidad y grado de homogeneidad de la información que se utilizará para la evaluación. Los recursos necesarios para realizar la evaluación y la capacidad para obtenerlos. Tiempo, recursos humanos urzencia u osortunidad política de la solicitud. La idoneidad de que se responda aportando informes ya elaborados o fuentes de información rela-cionadas, o la posibilidad de que otros organismos lleven a cabo el proyecto. ______________________ En algunas ocasiones el estudio de factibilidad puede concluir con la conveniencia de elaborar un informe preliminar de forma rápida o un informe completo de ETS. Un informe preliminar puede constituir una aproximación inicial al conocimiento científico disponible sobre esa TS, siendo útil para la estimación de los recursos necesarios para culminar el proceso de ETS, o para realizar posteriormente, si así se decide, un informe de evaluación completo. 3.3. La elaboración del proyecto de evaluación En los pasos anteriores se han definido las preguntas de evaluación, se ha estudiado la factibilidad de realizar el informe y se ha realizado una búsqueda de información preliminar. En este momento ya se tiene información suficiente como para conocer el volumen de literatura que se va a manejar, diseñar la estrategia de revisión de la literatura y considerar la utilización de otros métodos. Se está en disposición de planificar la evaluación presentando un proyecto para la discusión con los solicitantes, ya que son los estadios iniciales del proyecto y no se dispone de información suficiente. Por otra parte, existen otras posibles propuestas de esquema para el proyecto de evaluación. Por ejemplo, el Fondo de Investigación Sanitaria de la Seguridad Social en España exige una serie de requisitos para la financiación de proyectos de investigación que conforman toda una propuesta de protocolo40; además, se han publicado muchos trabajos con esquemas sobre cómo planear y conducir una investigación científica que son aplicables a la ETS Estructura de un proyecto de evaluación + Definición precisa de las preguntas u objetivos generales y específicos de la evaluación. + Metodología que se utilizará para elaborar el informe: revisión sistemática, evaluación económica, métodos de consenso, encuesta sobre el uso actual de una TS, investigación con datos primarios u otros métodos. + Euentes y estrategia de la búsqueda de información. + Criterios de inclusión y exclusión de los estudios, y criterios que se van a utilizar para la lectura crítica de los estudios. + Datos a extraer de los estudios y métodos que se emplearán para ello. + Estudio de los sesgos y limitaciones del proyecto. + Equipo de trabajo y, en su caso, métodos de selección de los expertos que van a participar. + Necesidades de personal, de tiempo y de presupuesto, para llevar a cabo la evaluación. + Lstrategia de difusión del informe una vez elaborado. + Recopilación bibliorráfica preliminar. ___________________ La elección de la metodología a emplear Éste es el aspecto del proyecto de evaluación que más va a condicionar el resultado final y las posibles limitaciones del informe. Un informe de ETS puede utilizar un amplio rango de técnicas y métodos de análisis, algunos de los cuales se describen posteriormente en esta guía. Cada uno de esos métodos ha sido ampliamente estudiado y analizado, con sus fortalezas y debilidades. Algunos están en continuo debate y son muy controvertidos. En muchos casos, los informes de ETS incluirán la utilización de varios métodos complementarios para la obtención de información que permita responder a las preguntas de evaluación. Por ejemplo, si el objetivo es comparar la eficiencia en un Servicio de Salud de una técnica diagnóstica nueva, A, con respecto a la antigua, o B, se puede realizar una revisión sistemática acerca de su eficacia que incluya meta-análisis. Las medidas resumen obtenidas se pueden incluir en un análisis de decisión que cuantifique el valor de las dos estrategias diagnósticas. Además, con los datos sobre los costes que ocasionan las dos técnicas se puede realizar un estudio de coste-efectividad que permita comparar su eficiencia. Todo ello puede ser completado con un estudio del contexto local en el que se van a aplicar esas tecnologias mediante una encuesta que valore la práctica habitual y disposición al cambio por parte de los profesionales. El estudio y consideración de la metodología más adecuada para responder a la pregunta y elaborar unas conclusiones basadas en información de alta calidad requieren, generalmente, la mayor parte del esfuerzo que se emplea en elaborar el proyecto de evaluación. Por otra parte, uno de los aspectos clave de la planificación de los recursos necesarios para elaborar el informe es el grado de exhaustividad de la búsqueda bibliográfica. Ésta es una tarea que siempre parece inacabada y, además, tiene rendimientos decrecientes. A partir de una determinada cantidad de trabajo, cada nueva unidad de resultado obtenida requiere recursos crecientes. La decisión sobre el tiempo y recursos a emplear en la elaboración del informe debe ser valorada en función del tipo de pregunta, los objetivos del trabajo, la exhaustividad necesaria para responder a la pregunta o los recursos disponibles. Tras la presentación del proyecto de evaluación se debe convocar una reunión entre los solicitantes v los evaluadores vara discutir y aprobar el proyecto. En cualquier caso, la realización del proyecto debe ser proceso flexible y abierto a la modificación y valoración continuas 4. Búsqueda de la informacion La búsqueda exhaustiva y sistemática de la información requerida por las preguntas de evaluación constituye la base de todo informe de ETS. En los últimos tiempos, a la vez que han progresado los sistemas de identificación bibliográfica, acercándose a la exhaustividad a través de las búsquedas sistemáticas, ha aumentado exponencialmente la cantidad de información médica, de tal manera que estar actualizado cada vez cuesta más esfuerzo; es lo que se ha denominado sobrecarga de información, information ouerload46. Hace trece años ya se estimaba que la cantidad de artículos médicos que se publicaban al año rondaba los 2 millones en unas 2.000 revistas médicas. La búsqueda a través de bases de datos bibliográficas es actualmente imprescindible para realizar una buena revisión de la literatura médica. Las bases de datos electrónicas de amplia cobertura más utilizadas son MEDLINE y EMBASE, si bien el uso exclusivo de estas bases presenta limitaciones. Se ha estimado que MEDLINE sólo identifica el 30% de los ensayos clínicos randomizados y controlados en algunos temas científicos48. Otra limitación de las bases de datos proviene, paradójicamente, de su principal ventaja, ya que el sistema de palabras clave posibilita la identificación rápida de algunos artículos de un tema determinado pero no ofrece precisión. Existen múltiples interpretaciones sobre qué palabras clave definen mejor un tema de investigación y puede haber errores o inexactitudes en el proceso de elección de las palabras clave de un artículo por parte de los editores o autores. Además, hay que considerar la posibilidad de que la búsqueda esté afectada por el sesgo de publicación o por el sesgo debido al idioma del artículo. La búsqueda a través de bases de datos bibliográficas es el mejor sistema para encontrar rápidamente unos pocos trabajos sobre un tema determinado, pero no permite realizar una búsqueda exhaustiva si es utilizado en solitario. Algunos estudios han estimado la capacidad de las bases de datos MEDLINE y EMBASE, concluyendo que su utilización conjunta mejora mucho la capacidad de identificación de literatura y la.precisión de la búsqueda. La base de datos americana, MEDLINE es más accesible y menos costosa, pero se ha estimado que el solapamiento, o sea, los resultados comunes entre los dos sistemas de búsqueda, es de un 34%, con lo que la mayoría de los artículos sólo están en una de las dos bases de datos49. La estrategia de búsqueda es un paso clave, y a la vez complejo, que merece un tiempo importante que asegure que la revisión bibliográfica realizada para el informe sea sistemática, exhaustiva y precisa. La utilización de bases de datos electrónicas permite diseñar una estrategia de búsqueda sistemática y fácilmente reproducible, disminuyendo los sesgos. La exhaustividad y la precisión dependen en gran parte de la selección de las palabras clave. Estas dos cualidades, asimilables a la sensibilidad y especificidad, generalmente son inversamente proporcionales; es decir, a medida que aumentamos la exhaustividad de una búsqueda, reducimos su precisión. E1 intento de obtener un número elevado de trabajos sobre un tema puede producir el denominado ruido de información, o aumento del volumen de publicaciones no relevantes para el usuario. Por el contrario, una búsqueda que tienda a la precisión producirá el efecto contrario, silencio de información, los resultados de la búsqueda pueden omitir documentos relevantes que no se ajustan a la estrategia de búsqueda, que resulta excesivamente selectiva50. Por tanto, una buena búsqueda bibliográfica debe combinar estrategias que consigan un resultado equilibrado en exhaustividad y precisión. Asimismo, el período de tiempo cubierto por la búsqueda y la fecha en que se realiza influyen considerablemente en el resultado final y, por tanto, deben describirse en la metodología del informe. Un sesgo habitual es el de selección de referencias o reference bias, que consiste en que habitualmente se presta mayor atención a las referencias recuperadas que apoyan las tesis de la persona que realiza la búsqueda. Para evitarlo se debe utilizar una estrategia de selección y análisis de los artículos lo más explícita posible51. En el anexo II se presenta una relación de las principales fuentes de información útiles en ETS con su dirección o modo de acceso. Por otra parte, a continuación se clasifican las formas de búsqueda de información que deben considerarse en el proceso de elaboración de lln informe de ET.S31 52 • Bases de datos electrónicas. Existen multitud de bases de datos de investigaciones originales, además de MEDLINE y EMBASE, que facilitan la identificación de trabajos sobre tecnologías sanitarias. Por otra parte, en los últimos años han proliferado las publicaciones secundarias o las bases de datos sobre revisiones, entre las que destacan las que ofrece la Cochrane Library, que en el proceso de elaboración de informes de ETS son de consulta obligada, y a veces previa, a las bases de datos de investigaciones originales • Informes de otras agencias de ETS. Muchas agencias se encuentran agrupadas en la red INAHTA, que promueve una base de datos con los informes de ETS realizados por sus miembros • Fuentes de información estadística y/o administratiua. La aplicabilidad de los resultados del proceso de ETS va a depender en gran parte de los contenidos del estudio del contexto local que todo informe debe incluir. Este estudio se nutre de este tipo de fuentes de información. La disponibilidad de registros con los que poder realizar un ajuste al medio local, permitirá dotar de mayor validez a las conclusiones del informe • Consulta de libros o revisiones sobre el tema. En muchas ocasiones, la mejor manera de iniciar un trabajo de investigación y localizar la información más relevante y aceptada es la lectura de uno o varios libros de texto generales, continuando por un buen artículo de revlslon. • Consulta en reuistas especializadas. Cuando sea posible, la revisión manual de los índices de revistas relacionadas con el tema estudiado durante un período de tiempo determinado, suele contribuir a la localización de originales. Este método permite la recuperación de artículos no identificados a través de una búsqueda con palabras clave. La inevitable subjetividad o posibles errores durante el proceso de asignación de palabras clave a los artículos hacen que las búsquedas manuales sean una valiosa herramienta. Este método, además, permite localizar las publicaciones más recientes que aún no hayan sido incluidas en las bases de datos. • Búsqueda a traués de las reterencias de los artículos encontrados. Es un método que suele resultar fructífero, aunque también laborioso. Una buena fuente para realizar este trabajo son las revisiones, ya que suelen presentar un gran número de citas. • Búsqueda de artículos publicados por un autor releuante. Se puede realizar fácilmente mediante el empleo de bases de datos electrónicas. Es útil cuando se trata de autores muy significativos en determinadas áreas o disciplinas, o también cuando se estudian técnicas muy novedosas que aún no se han difundido ampliamente entre la comunidad científica • Búsqueda en actas de congresos. Pueden ser una fuente de información muy temprana y útil sobre investigaciones recién terminadas o aún en progreso, cuya localización se ve facilitada por el desarrollo actual de bases de datos electrónicas que las incluyen. Si bien los resúmenes de las actas de congresos generalmente son una fuente poco fiable de información, al carecer casi siempre de datos importantes, son una buena fuente de localización de autores y trabajos. • Búsqueda de literatura gris. E1 concepto de literatura gris es aún algo impreciso, a pesar de que su uso está cada vez más extendido. En general, se entiende por tal un conjunto de documentos de tirada limitada y circulación restringida, que no pueden obtenerse por los canales habituales de distribución. Son materiales que pueden aportar resultados de un considerable valor, tales como libros, folletos, informes técnicos de administraciones y empresas publicas o privadas, actas de congresos, tesis doctorales y otros53 54. Aunque su localización exhaustiva es difícil, actualmente existen bases de datos que facilitan su localización. Las sociedades profesionales y los organismos de investigación pueden ser otra interesante fuente de "información gris". • Consulta a personas clave. La consulta a investigadores o profesionales destacados es un método de obtención de información muy útil para conseguir estudios recientes que todavía no han sido publicados o estudios antiguos que nunca llegaron a publicarse. Además, los documentos de literatura gris son conocidos por muchos profesionales que trabajan en ese campo, pero son muy difíciles de identificar mediante los sistemas de búsqueda clásicos. La consulta a personas clave es una manera muy eficaz de disminuir el sesgo de publicación. Dirigiéndose por carta a los autores de algunos de los estudios relevantes recuperados o a un grupo de expertos, enviándoles una lista de los estudios identificados y preguntándoles si conocen otros artículos o trabajos diferentes a ésos. • Solicitud de información a las casas comerciales relacionadas con la tecnología. Generalmente, los primeros datos y estudios sobre una TS los realiza y conoce la industria o empresa interesada en su utilización. Las casas comerciales disponen de infommación que, en muchos casos, no se hará pública o es de difícil acceso y que determina la fomma en la que la tecnolozia se introduce en el sistema. • Internet. Recientemente, el espectacular desarrollo de Internet ha posibilitado un cómodo y rápido acceso a muchas de las fuentes de información citadas. Los buscadores de Internet facilitan la posibilidad de encontrar rápidamente información de cualquier tema, aunque en ocasiones los resultados de la búsqueda no ofrecen la calidad suficiente. E1 proceso de búsqueda de información en general se compone de tres elementos o fases sucesivas, útiles para su análisis. Son la necesidad de información, la petición de información y la estrategia de búsqueda que finalmente se diseña. Muy a menudo, la información que en verdad se necesita no coincide exactamente con la que se pide en una biblioteca o a través de otro medio. Ello se debe a que el solicitante no conoce con precisión sus necesidades, o tiene dificultades para expresarlas de una manera eficaz. La ayuda de un especialista en documentación puede ser muy útil, tanto en la definición de la pregunta como en la selección de las palabras clave y de las bases de datos o fuentes de información que se deben consultar. Existen abundantes experiencias que demuestran las diferencias, a veces muy acusadas, entre una solicitud de información según se presenta originariamente y tal como queda después de una discusión a fondo con un especialista en documentación. Para la selección de las palabras clave es útil la consulta de artículos relevantes sobre el tema56 o la utilización de estrategias prediseñadas, filtros, para la búsqueda bibliográfica (ver anexo II). Se han publicado numerosos trabajos sobre cómo manejar MEDLINE y otras fuentes bibliográficas en la búsqueda de evidencias médicas57,58,59,60,61,62,63,64 Existen programas informáticos que facilitan esta tarea, como REFERENCE MANAGER, PROCITE ENDNOTE SHAPIRE 5. Evaluacion crítica y selección de los estudios identificados 5.1. La evaluación crítica de los estudios identificados Es un paso fundamental en la elaboración de un informe de ETS, que contribuye a la identificación de sesgos y sirve de guía en la interpretación de los hallazgos. Los criterios que requieren evaluación crítica se pueden dividir en aquellos relacionados con: la ualidez, la precisión y las medidas de resultado de los estudios. • La validez Un estudio es válido cuando su diseño y realización garantizan la detección y eliminación de errores sistemáticos y sesgos. Existen dos tipos de validez, interna y externa. La validez interna está relacionada con el diseño y los procedimientos de medición de variables y los métodos de análisis. Un estudio tiene validez intema cuando representa o mide aquello para lo que ha sido diseñado. En ese caso, los resultados serán atribuibles a los factores que el estudio ha tenido en cuenta, además de al error aleatorio69. E1 significado del término validez intema se relaciona con los conceptos de exactitud, fiabilidad y reproducibilidad. La validez externa de un estudio es la potencialidad de generalización de sus resultados a personas o poblaciones distintas a los suJetos del estudio. Depende de aspectos relacionados con el diseño del estudio, como el muestreo o las características de la población estudiada, los cuales presentan mayor dificultad de control que los condicionantes de la validez interna69 Los puntos a considerar en el análisis de la validez de un estudio son diversos. Por ejemplo, puede analizarse la asignación aleatoria, por si se detecta el empleo de métodos de seudoaleatorización. Ésta se da cuando el investigador conoce previamente la probabilidad de asignación de un tratamiento u otro, y disminuye de forma considerable la calidad del estudio. Entre estos métodos se encuentran, por ejemplo, la asignación alterna, la asignación según el día de nacimiento o según el orden numérico que supone cada paciente. También pueden analizarse las características de los grupos de comparación. La comparación entre grupos separados en el tiempo, por ejemplo con controles históricos, tiene menor validez que la comparación entre grupos simultáneos. También, los estudios retrospectivos y los no controlados, en general, tienen menos validez que los prospectivos y los controlados. En resumen, son variados los aspectos relacionados con la validez que deben analizarse, y se pueden clasificar en aquellos relativos a la metodología del estudio, a los participantes y a la tecnologia45. E1 análisis de la validez es el aspecto que mejor valora la calidad de los estudios y, por tanto, de las evidencias científicas. Éstas deben fundamentar las recomendaciones de todo inforrne de ETS, relacionando la fuerza de la recomendación con el grado de calidad de la evidencia científica. No es posible establecer una recomendación muy relevante y/o trascendente a partir de evidencias de baja calidad. Por ello, es importante que después de la valoración crítica de los estudios se clasifiquen las evidencias proporcionadas por éstos según el grado de su calidad científica (ver anexo IV). • La precisión Un concepto importante que no debe ser confundido con la validez es la precisión. Ésta es una medida del error aleatorio que puede afectar al resultado de un estudio, y que generalmente se representa a través del intervalo de confianza de la estimación del efecto. En algunos casos se incluye entre los criterios que ponderan los estudios sintetizados en un meta-análisis, dando más peso a los estudios más precisos70. • Las medidas de resultado E1 último de los tres criterios, aunque no el menos importante, abordado anteriormente en la sección "Definición de las preguntas de evaluación", se convierte, muchas veces, en el criterio más determinante para la selección de los artículos identificados. • Los cuestionarios o esquemas de análisis crítico Estos esquemas, o checklists, son útiles para ordenar los aspectos a incluir en la evaluación crítica de los estudios identificados. Proporcionan un método más objetivo de análisis que la simple lectura crítica, aunque nunca evitan ésta. Presentan los problemas típi cos de cualquier cuestionario, la variabilidad inter e intraobservador y otras limitaciones que pueden disminuir su fiabilidad y reproducibilidad, aspectos que deben ser evaluados si se utilizan71 72. En ese caso, es importante que se describan claramente en el informe final; esto mejora la fiabilidad y reproducibilidad de las conclusiones. Existen multitud de cuestionarios o tablas de análisis para la evaluación crítica de estudios, algunos de los cuales se han recopilado y resumido en el anexo III. • Limitaciones Una de las limitaciones más relevantes y de difícil manejo en todo proceso de revisión de la literatura científica es el sesgo de publicación. Consiste en la tendencia a publicar más los estudios con datos positivos, estudios considerados relevantes por el autor o por el editor de la revista. En este último caso el sesgo se denomina sesgo del archivador. En otros casos, se observa que el tipo de revista determina la publicación o no de determinados artículos con datos negativos, o sea, datos que demuestran la ausencia de efectividad de una tecnología. Este tipo de artículos son excluidos de algunas revistas muy especializadas que prefieren divulgar sobre todo investigaciones sobre los avances en determinadas técnicas. Se han realizado varios trabajos que exploran la repercusión potencial de los diferentes sesgos de publicación que existen, y concluyen que este sesgo puede limitar gravemente la validez de las revisiones bibliográficas. E1 registro prospectivo de ensayos clínicos es, por el momento, la única estrategia difundida que puede ser considerada Otra de las dificultades que surgen en la evaluación crítica de los estudios es la presentación inadecuada de los métodos y resultados. A veces, se observa la ausencia de datos imprescindibles para la lectura crítica del artículo; por ejemplo, cuando sólo se describe el número de pacientes intervenidos pero no el número de intervenciones totales que se han realizado. Se podría suponer que si no se ofrecen datos adicionales es porque los datos del número de pacientes coinciden con los del número de intervenciones, pero no siempre es asi Existen métodos para estimar esos datos inexistentes, aunque es necesario realizar algunas asunciones cuyo impacto en los resultados debería ser estudiado mediante un análi-sis de sensibilidad. En resumen, no existe ninguna solución sencilla para el problema de los datos ausentes, pero se aconseja adoptar una serie de precauciones: siempre se deben describir las asunciones que se realicen, debe realizarse un análisis de sensibilidad que valore los cambios que distintas asunciones producen en los resultados, y, siempre que sea posible, se debe intentar obtener datos adicionales a los ofrecidos en los artículos, contactando directamente con el autor del trabajo82 83 84. 5.2. Selección de los estudios Las decisiones sobre cuáles son los estudios que se incluirán en el informe de ETS son difíciles y muy relevantes. No es fácil discriminar todos los artículos con la misma objetividad además, la exigencia de una descripción clara en el informe de los criterios utilizados para esa selección, aunque mejora la reproducibilidad y rigor de las conclusiones, en algunos casos produce una valoración demasiado rígida e incluso ilógica. Se han propuesto diversas formas para llevar a cabo el proceso de selección de estudios3l: • Estableciendo unos criterios umbrales para la inclusión o exclusión de estudios, que puede seguirse de un análisis de sensibilidad de los criterios considerados. • Asignando pesos a cada estudio en función de criterios explícitos, para posteriormente incluir esos pesos en el análisis cuantitativo de agregación de estudios. • Analizando y valorando los estudios de manera cualitativa, considerando la calidad el principal criterio de evaluación. A1 igual que para los parámetros de evaluación crítica de los estudios, los criterios de inclusión y exclusión pueden atender a: valoración de la validez (metodología, características de los participantes y de la tecnología), la precisión y las medidas de resultado8s. Es conveniente que los criterios de selección de los estudios estén especificados ya en el proyecto inicial. De esta manera se evitarán sesgos de selección como el de "selección de referencias". Es aconsejable que la selección de estudios, al igual que la utilización de cuestionarios de valoración crítica, se haga por varias personas y que los desacuerdos sean discutidos y resueltos. E1 grado de concordancia entre los revisores puede ser valorado mediante el índice Kappa u otros índices de concordancia 72,86,87 Si son varias las personas que realizan el estudio o selección de la información, es útil que alguno de ellos sea experto en el tema o tecnología evaluada. La presencia de especialistas en la materia aporta conocimiento y criterios valiosos y consistentes, pero puede introducir a su vez sesgos, dado que los expertos generalmente tienen una opinión preestablecida . Otro aspecto a decidir es si el proceso de selección de artículos se realiza con un método ciego para los revisores; este enmascaramiento puede ser para los nombres de los autores, instituciones y publicaciones, y para los resultados de los estudios. Algunos estudios empíricos indican que la evaluación a ciegas puede producir puntuaciones inferiores y más uniformes que las evaluaciones abiertas. No obstante, tales evaluaciones requieren un tiempo considerable, por lo que se deben sopesar los beneficios potenciales de las evaluaciones con enmascaramiento frente a los costes ocasionados. E1 proceso de decisión acerca del punto de corte entre la inclusión y exclusión de estudios puede representarse como una línea continua que va desde"libre de sesgo" a"sin duda sesgado". Existen diversos mecanismos para incluir los resultados de la evaluación crítica en esa decisión89. Se pueden utilizar gráficos visuales de los resultados ordenados según su grado de validez. Una segunda aproxlmación es el análisis de subgrupos, que consiste en realizar un análisis de sensibilidad en el que se observa si cambian los resultados al incluir determinados grupos de estudios en un lado u otro del punto de corte90 9l. Un tercer enfoque consiste en ordenar los estudios según su calidad y combinar secuencialmente los resultados de cada estudio, es un tipo de meta-análisis "acumulativo", mediante el cual es posible examinar el impacto en los resultados globales a medida que se van incluyendo ensayos de menor calidad. Un cuarto enfoque consiste en utilizar métodos estadísticos para ponderar los estudios según su calidad o utilizar una metaregresión para explorar la relación entre calidad y magnitud del efecto entre estudios. E1 manejo de los criterios de calidad en la selección de estudios presenta otras dificultades, ya que se sabe la elevada influencia de los criterios de calidad en los resultados de los estudios, pero no se ha medido ni se han establecido relaciones que permitan ponderar y ajustar con seguridad esos criterios. Aunque hay estudios que han demostrado que, en general, tanto la ocultación inadecuada de las asignaciones como la ausencia de doble ciego producen sobreestimaciones de los efectos del tratamiento, en general, no es recomendable el uso amplio de las "puntuaciones de calidad" y la excesiva confianza en las evaluaciones detalladas de calidad de los estudios. Su uso no está sustentado por la evidencia empírica, puede ser lento y es potencialmente engañoso31. Un problema frecuente que se plantea a la hora de seleccionar los estudios es la duplicación total o parcial de trabajos. Para evitarlo es necesario ser cuidadoso en la revisión de los artículos, ya que es frecuente que algunos trabajos se publiquen de nuevo un tiempo después con pequeños cambios o un incremento en el número de pacientes incluidos, y que el autor no indique qué parte de ese trabajo ya ha sido publicada previamente. Por último, es recomendable que el informe final presente tablas con los estudios seleccionados y otras con los excluidos, con el objeto de que los lectores conozcan con claridad cuáles son los estudios que se han quedado fuera del análisis y por qué45. 5.3. Extracción de datos de los estudios seleccionados La ayuda de un formulario de recogida de datos, que contenga los criterios utilizados en la evaluación crítica de los estudios y los datos o resultados seleccionados cuando se definió la pregunta, suele ser beneficiosa. Los datos a extraer de los estudios se clasifican en: relativos a los resultados, a su metodología, a los participantes y a la tecnología. La definición de las unidades y medidas de resultado para el formulario de recogida de datos es una de las tareas más claves. No sólo es importante la decisión de incluir una variable de resultado, sino su tipo, y cómo se mide y trata estadísticamente. E1 tipo de variable va a condicionar la técnica de síntesis de resultados a utilizar. En el caso de variables dicotómicas, los datos que se deben incluir en el formulario serán los números de personas que experimentaron el suceso en cada grupo de comparación y los números totales de personas en cada grupo. En el caso de variables continuas, los datos que deben incluirse son el número de personas en cada grupo y la media y desviación estándar de la medida de resultado en cada grupo. A veces, los resultados de una variable continua en alRunos estudios se presentan como cambios (media de las diferencias entre mediciones pre y postintervención), y en otros estudios como resultados postintervención. En ocasiones, los datos de una misma medida de resultado se presentan en forma dicotómica en algunos estudios y continua en otros. Por ejemplo, los resultados en las escalas de depresión pueden presentarse como una media o como el porcentaje de pacientes que estaban deprimidos en cierto período después de una intervención (una puntuación superior a un punto de corte determinado). A menudo, la información de este tipo es más fácil de comprender, y más útil para los que toman decisiones, si se expresa en forma dicotómica. Sin embargo, la decisión de establecer un punto de corte es arbitraria y siempre se pierde información cuando las variables continuas se transforman en dicotómicas. Hay varias opciones para tratar de combinar datos dicotómicos y continuos. En general, es útil resumir los resultados de todos los estudios válidos y relevantes de manera similar, pero esto no siempre es posible. En ese caso es recomendable resumir los datos en tres grupos: continuos, dicotómicos y otros datos. Otra opción es presentar para todos los datos la media de las diferencias entre los grupos que se comparan o el log-odds-ratio. Además, es aconsejable que las unidades se estandaricen para que la comparación entre los estudios sea fácil y que se presenten en unidades naturales que son de comprensión más intuitiva Un formulario de recogida de datos debe ser completo pero manejable. Es fácil caer en un exceso por asegurar que la información que se recoge es suficiente. La elaboración de unas instrucciones para la utilización del cuestionario, el entrenamiento de los recopiladores de información y la realización de una prueba piloto que aseguren la validez y precisión de los datos obtenidos son convenientes. La prueba piloto se realizará en una muestra representativa de los estudios identificados y sus resultados pueden aconsejar la modificación de alguna parte del cuestionano. En todo proceso de obtención de datos se deben tomar una serie de medidas encaminadas a asegurar la fiabilidad y precisión, así como estudiar la concordancia entre las interpretaciones de los diversos recopiladores de datos, asegurar una codificación discriminante pero a la vez manejable o realizar un control de calidad de los posibles errores en cualquiera de las fases del proceso de extracción de datos. La extracción de datos puede ser aconsejable que se realice por vanas personas, estableciendo previamente el sistema de consenso que se utilizará y analizando posteriormente la concordancia entre observadores. E1 grado en que diferentes personas coinciden en los datos extraídos de un estudio se corresponde con la fiabilidad del cuestionario. No hay un estándar fijo sobre el nivel de fiabilidad adecuado o sobre cómo evaluar la fiabilidad. Sin embargo, es importante que se analice en todo el proceso de recogida de datos. Por ejemplo, si después de alcanzar el consenso en los primeros estudios los observadores detectan o muestran frecuentes discrepancias en datos específicos, probablemente sea necesario modificar las instrucciones de codificación. Si aparecen cambios frecuentes en la fomma de codificar por parte del mismo observador, denominado coder drift o cambio temporal en la forma de codificar la infommación, posiblemente sea necesario volver a codificar o incrementar el entrenamiento 6. Estudio del contexto local Entre la infommación fundamental que debe incluir un infomme de evaluación está la referi-da a la situación del medio en el que se aplica o se va a aplicar la tecnología. La utilidad de un informe de ETS se maximiza si se ofrece una valoración adaptada a las condiciones lo-cales en las que se encuentra el usuario de la tecnología o receptor del infomme. Si los datos y conclusiones ofrecidos por el informe son aplicables al medio del que forma parte el lec-tor, el infomme ofrecerá confianza e interés a éste y será más fácil conseguir el efecto final que busca la ETS: influir en la toma de decisiones relacionadas con la TS. E1 estudio del contexto local es especialmente necesario si el carácter de la pregunta va orientado a conocer el uso apropiado de una tecnología o su impacto en una detemminada organización o ámbito. Evaluar el impacto local de una TS u ofrecer información que sitúe la evaluación en un contexto detemminado es un elemento especí-fico de las organizaciones que hacen ETS, a diferencia, por ejemplo, de aquellas dedica-das a la realización de revisiones sistemáti-cas. La valoración de la validez extema o ge-neralizabilidad de las conclusiones de los in-formes de ETS está íntimamente relacionada con el análisis del contexto local que incluya el infomme. E1 marco de desarrollo de los estudios (aten-ción primaria, especializada, población gene-ral), los criterios de inclusión y exclusión de sujetos en los estudios, las características de la intervención, pueden orientamos sobre el grupo de población y condiciones locales de aplicación de la tecnología. Las caracterís-ticas de la población, la prevalencia y distri-bución de la enfemmedad, el nivel de recursos y tipo de sistema sanitario, la percepción y preferencia de los pacientes y de los profesio-nales, condicionan la aplicabilidad y efectivi-dad de una determinada tecnología que ha demostrado ser eficaz en detemminadas con-diciones ideales. Por ello, resulta fundamental añadir a la revisión y búsqueda de evidencias un análisis contextualizado que facilite la toma de decisiones sobre la adquisición o de-sarrollo de la TS. E1 estudio del contexto local puede enfocarse de dos formas, descriptiva o analítica. E1 enfo-que descriptivo consiste en ofrecer informa-ción relevante sobre la utilización actual o futura de la tecnología o sobre las posibles consecuencias de la implantación de esa tec-nología basada en datos de otros estudios o registros sanitarios diseñados para otro fin. E1 enfoque analítico consiste en realizar un es-tudio con datos primarios que evalúe la utili-zación o implantación de la tecnología en el medio elegido. Este enfoque ofrece mayor ca-lidad que el descriptivo, ya que la informa-ción se recoge in situ en el mismo ámbito local de la evaluación, y representa una metodolo-gía evaluativa muy potente, dada la enorme validez y aplicabilidad de sus conclusiones. Otros aspectos a considerar cuando se estu-dia el contexto son los aspectos legales y or-ganizativos. Conocer la normativa legal que afecta al uso de la TS es esencial para valorar la introducción de ésta en el sistema sanitario o para la elaboración de recomendaciones so-bre su uso apropiado o su regulación. En otros casos resulta muy útil realizar un estudio de La nommativa legal o de la situación organiza-tiva comparando diversos países, con el obje-to de evaluar la conveniencia de que el infor-me realice propuestas que afecten a la legis-lación u organización del sistema sanitario. Por otra parte, el proceso de difusión y aplica-ción en la práctica de las conclusiones y reco-mendaciones del informe incluye la realiza-ción de actividades que produzcan efectos o motiven cambios en un medio o ámbito de-terminado. E1 éxito de esta fase de la ETS de-penderá en parte del estudio del contexto lo-cal que se haya realizado. La tabla 4 ofrece una de las posibles clasificaciones de la información que se puede utilizar en un estudio del contexto local. Además, en el anexo II se proporciona una selección de las fuentes de información estadísticas y administrativas, útiles para la valoración del impacto local de una Ts Tabla 4 Tinos de fuentes de información útil para el estudio del contexto local Datos epidemiológicos de la enfermedad o condición clínica implicada, referidos fundamentalmen-te a la magnitud y distribución de ésta. Datos que describan la utilización actual de la tecnologia y la práctica clínica habitual, a través de la información contenida en registros sanitarios, encuestas o estudios ad hoc. Datos sobre los costes que conllevará la utilización de la tecnología. Datos económicos y/o sociales de la población afectada. Otros datos que ayuden a responder a las preguntas de investigación en el contexto local. 7. Técnicas de síntesis de la información y otros métodos utilizados en ETS 7.1. Síntesis cualitativa y narrativa El empleo apropiado de la metodología cuan-titativa es un instrumento muy potente que contribuye a evitar muchos errores y a ajus-tar las interpretaciones, pero muchas veces se observan importantes limitaciones para el empleo de técnicas de integración cuantitati-va de resultados. En contraste, las valoracio-nes cualitativas deben estar incluidas siem-pre en los informes de ETS. Es más, muchos de los informes sólo van a incluir una valora-ción cualitativa o narrativa que, situada en el contexto de la ETS, tiene que ser sistemática, exhaustiva y explícital9. A veces los resultados del empleo de una téc-nica estadística, por ejemplo un meta-análi-sis, no son discutidos con la amplitud y pro-fundidad necesarias y no se valoran sufi-cientemente las consideraciones referentes a la calidad de los estudios, las limitaciones de la técnica estadística o la relevancia clínica de los resultados89 92. La proliferación de estu-dios que incluyen un meta-análisis está au-mentando, lo que ha llevado a que se anali-cen los problemas y ventajas de su utilización en medicina, advirtiendo de la peligrosidad de una excesiva confianza en ellos939495. Algu-nos autores han mostrado que, en muchos casos, los resultados de un meta-análisis no son consistentes con los de ensayos aleatori-zados, controlados y de gran tamaño realiza-dos con posterioridad96. Los riesgos, compleji-dad, así como las limitaciones e incertidum-bres acerca de las consecuencias de su uso para la obtención de evidencias científicas, han llevado a algunos autores a recomendar restricciones en su empleo92 95 96. Las razones para no emplear técnicas estadís-ticas de síntesis cuantitativa de resultados en medicina pueden resumirse en las siguien-tes45 • La excesiva heterogeneidad de los estudios y/o sus resultados. • La falta de datos válidos y/o relevantes. • La escasa precisión de los datos disponi-bles. • La baja calidad metodológica de los estu-dios. • La inseguridad de que la agregación cuanti-tativa de resultados pueda contribuir a aclarar las dudas que ya existen. Si los datos seleccionados no tienen la calidad suficiente como para ser considerados váli-dos, su agregación puede dar lugar a error, cuyo efecto se incrementa por la confianza que pueda tener el lector en un documento que le ofrece la mejor evidencia disponible. La difusión de información sesgada tiene peores consecuencias en muchas ocasiones que el hecho de no difundir ninguna información. El hecho de conocer que no existen evidencias científicas sobre la contribución de una tec-nología a la mejora de la salud puede ayudar en la toma de decisiones. Todo informe de ETS debe contener, al menos, una síntesis cualitativa o narrativa que inclu-ya una revisión bibliográfica exhaustlva y S1S-temática con una buena valoración cfftica de los estudios identificados, un examen y des-cripción minuciosos de los datos de los ar-tículos, la elaboración de tablas que resuman y comparen los trabajos, y un estudio del im-pacto de la tecnología en el contexto local del solicitante. Una evaluación desarrollada únicamente me-diante una síntesis cualitativa debe evitar for-mas de síntesis pseudocuantitativas que no presentan las suficientes garantías de calidad metodológica. Por ejemplo, se pueden come-ter errores como comparar el número de es-tudios positivos y negativos, enfoque del "re-cuento de votos", o excluir estudios con efec-tos pequeños pero clínicamente relevantes o estudios que presentan efectos sin significa-ción estadística94; a veces, se ponderan los es-tudios inadecuadamente. La valoración de la importancia de los estudios no puede hacerse subjetivamente, es necesario explicitar una serie de criterios razonados. El recuento de votos concede igual peso a los estudios, igno-rando las diferencias en su tamaño y calidad. Todas estas formas de síntesis son metodoló-gicamente deficientes y pueden introducir importantes sesgos, agravados por la confian-za que suele producir la utilización de meto-dología cuantitativa. A continuación se abordan los enfoques ana-líticos cuantitativos más útiles para la sínte-sis de resultados en ETS. El meta-análisis, el análisis de decisión y la evaluación económi-ca son instrumentos metodológicos de gran valor en ETS que pueden usarse de forma combinada, constituyendo una herramienta de gran potencia97. Algunos estudios han in-tegrado estas técnicas en la búsqueda de me-didas resumen que obtuvieran el máximo consenso98. Los métodos citados, junto con las técnicas de consenso a través fundamen-talmente del juicio de expertos, deben cono-cerse con profundidad para la práctica de la ETS; en algunos casos se emplearán para la elaboración del informe; en otros, su uso se li-mitará a la lectura cfftica e integración de sus resultados en la evaluación. 7.2. Meta-análisis Es un método cuantitativo para la agregación de resultados de diferentes estudios basado en la utilización de técnicas estadísticas que posibilitan la combinación y síntesis de los datos de las diversas investigaciones, y en las unidades primarias de análisis son los diferentes estudios. El objetivo del meta-análi-sis no es únicamente la obtención de una me-dida que sintetice el efecto de una interven-ción, sino también el análisis y la valoración de las diferencias entre los resultados de los diferentes estudios. Ya en 1904 aparecen estu-dios que emplean este tipo de técnica99, pero no fue hasta la década de los setenta en que el meta-análisis se comenzó a usar en medicina. El término meta-análisis fue acuñado por Glass100 y posteriormente redefinido por la Bi-blioteca Nacional de Medicina de Estados Uni-dos como sigue: "método cuantitativo de com-binación y síntesis de resultados de estudios independientes (obtenidos generalmente de trabajos publicados) con el objeto de conse-guir unas conclusiones o un resumen que pueda ser utilizado para la valoración de la efectividad de un tratamiento o la planifica-ción de nuevos estudios, entre otros usos"20. Un meta-análisis estaría indicado en aquellas ocasiones en las que se desee realizar una re-visión crítica con el rigor de un protocolo científico; cuando los resultados de los estu-dios existentes son conflictivos o no conclu-yentes, por ejemplo, si incluyen un número reducido de pacientes; e incluso cuando se desea detectar la evidencia existente y la cali-dad de la misma, identificando las lagunas en el conocimiento del área investigada. El meta análisis se considera útil si los estudios son de alta calidad, existe una heterogeneidad ex-plicable y de pequeño tamaño o la obtención de una medida estimadora de un efecto clíni-co resulta de alta relevancia. Sin embargo, to-davía no puede decirse que los beneficios de su utilización compensen los riesgos y limita-ciones que presenta92,94.95.96 Los pasos de un meta-análisis son los siguien-tes97 1) Formulación de los objetivos o preguntas de investigación y establecimiento de un protocolo o proyecto que planifique el es-tudlo. 2) Búsqueda y recuperación de estudios, análisis de su calidad y selección, de acuerdo con los criterios de inclusión y exclusión especificados previamente. 3) Selección y extracción de los datos de los estudios (fundamentalmente ca-racterísticas metodológicas y resulta-dos). 4) Test de homogeneidad, que determina si es adecuado el cálculo de una medida re-sumen a partir de los resultados de los di-ferentes estudios. 5) Análisis estadístico mediante el cual se obtiene un resultado que sintetice los estu-dio seleccionados 6) Análisis de sensibilidad para conocer la solidez de la medida final obtenida. Antes de realizar un meta-análisis se deben establecer con precisión las medidas de resul-tados y el estadístico que se utilizarán para re-presentar los efectos y agregarlos. Las medi-das de resultados deben ser coherentes con los criterios de inclusión y exclusión de los estudios. Los estadísticos descriptores de los efectos que más se utilizan son las diferen-cias de tasas (mediante odds-ratio, riesgos re-lativos, diferencias de riesgo, reducción de riesgo y el número necesario de pacientes intervenidos para prevenir un caso, Number Needed to Beat)10l l02 l03 o las diferencias en variables continuas (mediante comparacio-nes de medias o comparaciones de medias estandarizadas) . La representación grática de los resultados de los estudios incluidos en el meta-análisis es de gran utilidad. Se han usado varios métodos gráficos, el clásico suele tener forma de pirá-mide o embudo. En él se representa la medida de efecto en el eje de abscisas (eje x) y a lo lar-go del eje de ordenadas (eje y) se sitúan los di-ferentes estudios ordenados por el peso que se les haya dado. Generalmente se ponderan por el inverso de la varianza de la medida de efecto elegida o por el tamaño de la mues-tra104. E1 siguiente ejemplo (figura 2) forma parte de un meta-análisis que pretende inte-grar los ensayos clínicos aleatorios que com-paran los efectos de la angioplastia coronaria y de la cirugía con bypass en pacientes con angina severa105. La figura 2 representa los logaritmos de los riesgos relativos (log RR) del grupo tratado con ACTP frente al grupo tratado con CB, de tal manera que si un RR es mayor de 1 indica un riesgo mayor en el grupo tratado con ACTP. E1 meta-análisis de los ocho ensayos clínicos (cuatro forman un único grupo de análisis) fue realizado con el método de efec-tos fijos, obteniendo una medida sumaria de la media ponderada de los log RR. La ponde-ración, y por tanto el orden de los estudios en el "eje y", se realizó por el inverso de la varianza del RR. Los estudios con mayor va-rianza aparecen en la parte inferior del grá-fico Figura 2 Prevalencia de angina (de grado >1) tras un año de seguimiento en el grupo tratado con Angioplastia Coronaria Transluminal Percutánea (ACTP) frente al tratado con Cirugía de Bypass (CB) (tomado de Pocock105) CB ACTP Ensayo 1 52/474 77/493 Ensayo 2 51/481 102/496 Ensayo 3 17/188 34/184 Ensayo 4 35/139 44/155 Otros 4 ensayos 13/268 21/254 Medida resumen O S 1,0 2.0 3,0 4,0 RR - Se han utilizado otros métodos gráficos, como el llamado odd man out, en el cual la superposición de los intervalos de confianza facilita la obtención de una región que resuma los intervalos106. También se utilizan la representación de la "tendencia cronológica del efecto''104, los gráficos de cajas (box plot) 107 o gráficos bivariados, radiales o circularesl08. Antes de realizar un meta-análisis debemos comprobar que la heterogeneidad entre los diferentes estudios que vamos a combinar se debe al azar, en vez de a factores no aleato- rios, mediante la realización de un test de homogeneidad (ver tabla 5). E1 slgulente paso es la reallzaclón de la técnlca estadística de combinación de estudios, con lo que se obtiene una medida resumen, que generalmente se presenta acompañada de su intervalo de conhanza11l. Los estudlos son ponderados generalmente por su varianza, aunque también se aplican otros criterios: calidad del estudio, diseño y validez de los datos 70, 89, 97- La heterogeneidad entre los estudios puede incorporarse en el análisis, a través de los mé- todos de efectos aleatorios, o no ser incluida, si se utiliza un método de efectos fijos20. Los - modelos de efectos fijos asumen que existe un único efecto en la población y no tienen en cuenta la heterogeneidad (varianza) entre los distintos estudios. Así, el tamaño del estudio y su propia varianza son los únicos determinantes de su peso ponderado en el meta-análisis. E1 modelo de "efectos fijos" es válido para comprobar la "hipótesis nula global", la cual defiende que ningún estudio tiene efec-to. Un resultado que permita rechazar estadísticamente la hipótesis nula global indica que existe efecto en al menos uno de los es-tudios. Los modelos de efectos aleatorios, por el contra-rio, tienen en cuenta la heterogeneidad entre los estudios al considerar que los efectos de la intervención en la población son diversos y que los estudios incluidos en la revisión son sólo una muestra aleatoria de todos los posi-bles efectos. La ponderación de los estudios se realiza, además de por la varianza o tamaño de éstos, por la varianza entre los estudios. Los resultados de este método tienden a ser más conservadores, con mayores intervalos de confianza, y generalizables al posible universo de estudios. Deben utilizarse siempre que se determine tras un test de homogenei--dad que los estudios son heterogéneos y no puedan identificarse claramente las causas, lo cual es muy habitual. Se puede decir que exlste consenso general sobre la utilización prioritaria del modelo de «efectos aleatorios". Los métodos estadísticos utilizados en el meta análisis son múltiples y no están totalmen te establecidos. Para una visión general pueden ser útiles las siguientes referen-- cias82 97 104 ll2 ll3 ll4. La elección de la técnica depende fundamentalmente del tipo de datos analizados (ver tabla 6). Tabla 5 Análisis de homogeneidad El propósito es comprobar si los factores que motivan la heterogeneidad entre los estudios son aleato-rios o, por el contrario, se deben al azar. una manera de hacerlo es a través del estudio de la represen-tación gráfica conjunta de los resultados de los estudios. Por ejemplo, con la utilización de los gráficos odd man outl06, pero la metodología más utilizada es el Análisis de Homogeneidad82 109 110. Si el resultado de la prueba es que las diferencias observadas no pueden ser explicadas por el azar, se concluye que hay heterogeneidad. En ese caso es importante explorar y explicar en la medida de lo po-sible los motivos de heterogeneidad. Las características diferenciales que se utilizan más habitual-mente para definir la heterogeneidad entre los estudios son las características de los pacientes, de la intervención sanitaria (por ejemplo, la dosis administrada) y de las medidas de resultado utilizadas45. Hay que ser muy cautos a la hora de buscar explicaciones a esa heterogeneidad. Se pueden adoptar varias opciones, de las cuales la más rigurosa metodológicamente es no resumir los estudios en una medida sumaria. En cualquier caso, si se realiza es necesario presentar los resultados con claras ad-vertencias a sus limitaciones analíticas y utilizar el modelo de "efectos aleatorios". En caso de que se encuentren motivos convincentes que expliquen la heterogeneidad entre los estudios, la opción más recomendable es realizar un Análisis de Subgrupos (ver tabla 7). Tabla 6 Métodos estadísticos para meta-análisis disponibles en el programa informático REVMAN 3.0 (tomado de Mulrow31) Tipo de datos Estadístico descriptor Modelo Método Dicotómicos Odds-ratio Efectos fijos peto11s,116 Mantel-Haenszelll7Sll8 Efectos aleatorios Dersimonian-Laird1l0 Riesgo relativo Efectos fijos Mantel-Haenzsel Efectos aleatorios Dersimonian-Laird Diferencia de riesgos Efectos fijos Mantel-Haenszel Efectos aleatorios Dersimonian-Laird ContinuoS1l9 l20.l2l Diferencia de medias Efectos fijos Inverso de la varianza o ponderada métodO de Woolfi09.122 Efectos ale atorios Dersimonian-Laird Diferencia estandarizada Efectos fijos Inverso de la varianza de medias Efectos aleatorios Dersimonian-Laird Datos de pacientes Odds-ratio Efectos fijos Peto individuales ___________________________ Un meta-análisis basado en la agregación de datos de pacientes individuales, mega-análisis, es más válido y fiable que el basado en la sín- tesis de los resultados ofrecidos por cada es- tudio. E1 aumento del poder estadístico, la po- sibilidad de comprobar la calidad de los datos originales y de corregir ciertos errores, la posi- bilidad de adaptar el análisis a la pregunta que nos interesa, y de realizar análisis de sub- grupos (ver tabla 7), son algunas de las venta- jas de este método. Sin embargo, en la mayo-ría de los casos es muy difícil obtener los da-tos individualizados originales de cada estu-dio, debido a la pérdida de datos, acceso limi-tado o a la ausencia de colaboración de los in-vestigadores. Tabla 7 Análisis de subgrupos El estudio de los resultados de una serie de trabajos puede enfocarse hacia la búsqueda de explicacio-nes en las diferencias entre los grupos de participantes. Este tipo de metodología pretende contrastar la significación de una diferencia aparentemente importante en un subgrupo, por ejemplo en mujeres, o en una determinada franja de edad. La utilización o interpretación de un análisis de subgrupos debe hacerse con mucha cautela, ya que pue-de haber muchos factores que pueden explicar las diferencias entre los estudios. Podemos estar introdu-ciendo fácilmente errores sistemáticos o heterogeneidad y las conclusiones o recomendaciones en ese caso provocan equivocaciones que afectan a la asignación de recursos a todo un grupo de población. Los factores que influyen en la fuerza de las conclusiones que un análisis de subgrupos puede propo-ner son la magnitud y la significación estadística de las diferencias, si la hipótesis fue anterior o poste-rior al análisis, si el análisis de subgrupos fue una entre las varias hipótesis que se estudiaron, si la di-ferencia surgió por las comparaciones intra o interestudios, si la hipótesis es consistente y si existen evidencias indirectas que la apoyan.90 91 ________________ La combinación de estudios de validez muy diferente en un meta-análisis debe realizarse con una metodología específica que evite ses-gos. Se han utilizado hasta el momento tres métodos diferentes para ese objetivo. El pri-mero consiste en realizar un meta-análisis para cada grupo de estudios, clasificando és-tos por su calidad, y posteriormente compa-rar los resultados. El segundo consiste en rea-lizar algo parecido a un análisis de sensibili-dad, incluyendo en el meta-análisis paso a paso estudios de menor validez que van mo-dificando los resultados; es lo que se llama meta-análisis acumulativo123. El tercer método introduce la calidad de los estudios como una variable más en un análisis multivariante; es la técnica denominada meta-reqresión124 l25 l26. El último paso de un meta-análisis es el análi-sis de sensibilidad. Es una prueba de estabili-dad de los resultados de una técnica de sínte-sis cuantitativa, sea meta-análisis, evaluación económica o análisis de decisión. Se utiliza cuando hay incertidumbre en aspectos im-portantes que condicionen la validez de los estudios. Sirve, por tanto, para valorar la con-sistencia de la medida resumen obtenida tras el proceso de combinación cuantitativa de re-sultados. Con el análisis de sensibilidad se in-tenta responder a la pregunta ¿serían diferen-tes los resultados finales de la técnica esta-dística si se modifican los datos dudosos que se han utilizado en el análisis? Por tanto, se está comprobando la robustez de los resulta-dos con relación a las asunciones y supuestos que han surgido en el proceso de realización del análisis. En general, los tipos de asunciones o aspectos condicionantes de la validez que se examinan en los análisis de sensibilidad incluyen3 -Cambio de los criterios de inclusión. -Inclusión o exclusión de estudios en los que persiste ambiguedad sobre si reúnen o no los requisitos de inclusión. -Exclusión de estudios no publicados. -Exclusión de los estudios de poca calidad metodológica. -Cambio en el intervalo de resultados para los estudios que plantean incertidumbres. Por ejemplo, debido a incongruencias en la manera de describir los datos o a diferen-cias en la definición o medida de los resul-tados. -Imputar un intervalo de valores razonable a los datos inexistentes. -Cambio en el enfoque analítico. Por ejem-plo, usando un modelo de efectos aleato-nos. El análisis de sensibilidad se realiza repitien-do l técnica estadística con diferentes valores para determinados datos, in-cluyendo, por ejemplo, un estudio excluido previamente, observando posteriormente si la modificación cambia sustancialmente el efecto final. Si ocurre así, los resultados no tienen la solidez suficiente y, por tanto, es ne-cesario ser muy cauto en la valoración de los datos y en la elaboración de las conclusio-nes97. El análisis de sensibilidad es una de las mejores maneras de depurar o detectar erro-res y de realizar una evaluación preliminar del resultado final de una síntesis cuantita-tivs 127 Existen diversos programas informáticos úti-les para la realización de un meta-análisis o una revisión sistemática como: REVMAN128, FAST*PRO129 l30, STATA129, TRUE EPISTAT129, DSTAT129, DESCARTES129, EASY MA129 y META-ANALYST129. 7.3. Análisis de decisión Es una herramienta cuantitativa que evalúa el valor relativo de cada una de las opciones existentes en una decisión97. Divide los pro-blemas complejos en partes más sencillas, los analiza en detalle y los combina de nuevo de manera que se pueda identificar la mejor es-trategia. Trata de evitar los errores sistemáti-cos producidos al establecer juicios clínicos basados fundamentalmente en la intuición clínica o en la experiencia personal. El análi-sis de decisión es un procedimiento de apoyo a la toma de decisiones, basado en la utilidad esperada de cada opción desde una determi-nada perspectiva. A la vez, constituye un mé-todo sistemático de identificación de opcio-nes, cuantificación de expectativas o probabi-lidades, asignación de valores a resultados y comparación entre opciones. En medicina se utiliza tanto para facilitar la toma de decisiones en la práctica clínica, ante pacientes concretos, como para diseñar estra-tegias globales aplicables a un amplio grupo de pacientes o a la política sanitaria97. Su ori-gen proviene de la "Teoría de la Estrategia de Juegos", descrita en los años veinte y aplicada en economía y política a partir de la década de los cuarenta13l. Existen varios textos rele-vantes que desarrollan con amplitud el análi-sis de decisión97,132.l33 ¿Cuándo está indicado el abordaje de un pro-blema mediante el análisis de decisión? Se han propuesto las siguientes situaciones127: 1) Existe un conjunto de altemativas reales bien definidas entre las que escoger. 2) Se detecta incertidumbre sobre las conse-cuencias de las alternativas. 3) La persona o personas que deciden tie-nen preferencias acerca de los posibles resultados. 4) Existen una o más restricciones que limi-tan el conjunto de alternativas. Por ejem-plo, el coste de oportunidad de vacunar a toda la población escolar de hepatitis B es tan grande que nos impide realizar otras actuaciones sanitarias con una mejor re-lación coste-efectividad. 5) E1 problema precisa que se tome una de-cisifin En algunos estudios que abordan una situa-ción clínica complicada, el análisis de deci-sión no proporciona más información que la necesidad de datos adicionales imprescindi-bles y de nuevos estudios en ese campo. En otros casos puede indicar que las diferencias entre los resultados de las distintas estrate-gias son muy pequeñas, lo que suele deberse a errores del método. Incluso cuando resulta potencialmente útil, puede no ser factible completar los cálculos o el análisis de sensibi-lidad precisos por limitaciones de tiempo o de recursos. No obstante, el valor del enfoque analítico del proceso de decisión radica en que integra los datos disponibles, obliga a un razonamiento riguroso y expone las áreas de incertidumbre o ignorancia134. Los árboles de decisión son las técnicas más usadas entre la amplia gama de análisis de decisión existentes. Son útiles para explicitar la secuencia temporal y lógica de las diferen-tes altemativas de un problema, de tal mane-ra que sea fácil comprender todas sus posi-bles decisiones y consecuencias. La figura 3 muestra un ejemplo de análisis de decisión para decidir si tratar con un determinado fár-maco trombolítico intravenoso a los pacien-tes en los que se sospecha infarto agudo de miocardio. Figura 3 Árbol de decisión sobre la trombolisis en pacientes con sospecha de infarto agudo de miocardio (tomado de Goldmant34) Trombolisis No trombolisin IM No IM IM No IM Vida Hemorragia grave (0) T Muerte Vida No hemorragia grave HemorraRia Rrave No hemorragia Rrave Hemorragia grave No hemorragia grave Hemorragia grave No hemorrama grave Muerte Vida Muerte V1ria Muerte Vlda Muerte Vlda Muerte Vlda Muerte Vlda Muerte E1 cuadrado c "núcleo" marcado con la letra A indica la decisión que el médico debe tomar. Los círculos, marcados de B a O, indican los diferentes resultados. Cada uno de ellos pro- viene de una rama en la que se debe escribir la probabilidad conocida que tiene de produ- cirse ese resultado. Cada una de las evolucio- nes finales posibles recibirá una utilidad o pre- ferencia, o sea, una valoración cuantitativa de . lo apreciado que resulta ese resultado en re- . . lación con los demás. E1 valor de cada resulta- do final se obtiene multiplicando todas las probabilidades de cada una de las ramas por la utilidad asignada a ese final de rama. Por último, para obtener el valor final de decidir tratar con trombolisis frente al valor de no hacerlo, se suman los valores relativos de to- das las puntas de rama resultado de esas dos decisiones y posteriormente se elegirá la Op ción que muestre el mayor valor. La tabla 8 describe los pasos del análisis basado en ár- boles de decisión. . Respecto al diseño de árboles de decisión se han realizado recomendaciones generales para evitar errores e incorrecciones en su construcción127. Entre las recomendaciones se incluyen las siguientes: procurar el balance entre riesgos y beneficios de la intervención en las distintas ramas; situar preferentemen-te dos ramas en cada nodo de decisión, ramas ligadas a través de los cálculos de probabili-dades de resultados o de las utilidades; ase-gurar la simetría, o incluir todas las condiciones determinantes que pueden afectar a los - resultados Las utllldades pueden ser eshmadas por dl- versos procedimientos: juicio de expertos; opinión de las personas que realizan el estu- dio; búsqueda en la literatura científica o es- tudio ad hoc Existen varias publicaciones que describen las utilidades de de estados de salud135 l36 l37 Existen varias un amplio rango publicaciones útiles para profundizar en los métodos de elaboraclón y medición de utili- dades en salud Tabla 8 Fases del diseño de un análisis basado en un árbol de decisión (modificado de Petitti97) IDENTIFICARY LIMITAR EL PROBLEMA, de tal manera que se establezcan todas las alternativas de decisión y los resultados a que pueden dar lugar. Se deben incluir los aspectos más relevantes que puedan determinar los resultados y la utilidad de los cursos de acción, definir claramente la pers-DeCtiVa del análisis, identificar todas las altemativas y el horizonte temporal de análisis. 2. CONSTRUIR UN ÁRBOL DE DECISIÓN QUE ESTRUCTURE EL PROBLEMA. Selección de las opciones, nodos de decisión y nodos finales. Debe mantenerse el equilibrio entre complejidad y simplicidad, logrando que los elementos esenciales, tanto en lo que se refiere a opciones de acción como a va-lores, estén incluidos en el modelo. 3. ESTIMACIÓN DE PROBABILIDADES Y ASIGNACIÓN A LOS CURSOS DE ACCIÓN. Recopilar informa-ción mediante una revisión sistemática de la literatura, consulta a expertos o búsqueda de datos primarios, para estimar las probabilidades que van a ser asignadas a cada uno de los componen-tes del árbol. La probabilidad final de que ocurra el suceso definido por una rama se halla multi-plicando todas las probabilidades de todos los trayectos de rama necesarios para llegar a ese re-R tfi3dc, clínico final. 4. ASIGNACIÓN DE VALORES Y UTILIDADES A LAS CONSECUENCIAS O RESULTADOS FINALES. Los resultados clínicos finales pueden expresarse de diversas fommas: años de vida, años de vida ajus-tados por calidad, esperanza de vida ajustada por calidad, casos de enfermedad evitados o compli-caciones evitadas, o utilidades. La utilidad es una medida de la preferencia relativa, perspectiva, que tiene alguien respecto de un detemminado resultado. Se expresa en una escala entre 0 y 1, de tal manera que al resultado de menor utilidad (la muerte sería el caso extremo) se le asigna el va-lor 0; y al de mayor utilidad (la salud plena sería el otro extremo), el valor 1. 5. INTERPRETACIÓN DE LOS RESULTADOS Y VALORACIÓN DE LA INCERTIDUMBRE. Conociendo la probabilidad de que ocurra cada suceso, o rama del árbol, y su utilidad se dispone de todos los da-tos para interpretar los resultados y poder elegir el curso de acción más favorable. Por último, es aconsejable realizar un análisis de sensibilidad que nos confimme la estabilidad de nuestros resul-tados en diferentes circunstancias. _________________________ E1 árbol de decisión es la técnica principal y más empleada en los análisis de decisión Otras técnicas son el análisis de umbrales de decisión y el proceso de Markov, que se des- criben a continuación; los modelos de simula-ción de Monte-Carlo143 l44, y los métodos de medición de preferencias entre estados de sa-lud standard gamble140 145 146, time trade-ofty ca-tegory scallngl42 l46 l47 El análisis de umbrales de decisión es un tipo de análisis de decisión que utiliza la teoría de Ba-yes para valorar, por ejemplo, la conveniencia de realizar una prueba diagnóstica a un y)a-ciente. Parte del concepto de que realizar un test a un paciente es inútil si no sirve para nao-dificar la estrategia terapéutica o el manejo clínico global de ese paciente. El umbral es el nivel de probabilidad en el que el beneficio previsible de tomar una decisión iguala a.l de no tomarla o al de tomar una alternativa l33,l48 Las cadenas de Mar1eov, o el proceso de Markov, son un método cuantitativo dinámico que toma en consideración la probabilidad de que un paciente cambie de un estado de salud a otro en un determinado período de tiempo, es decir, la probabilidad de transición para ese determinado estado. En este modelo es nece-sario definir por adelantado cuáles son los es-tados de salud de interés y especificar todas las posibles transiciones o caminos entre es-tados l27.l49«lso Existe una variada oferta de programas infor-máticos útiles para los análisis de decisión disponibles en el mercado. Destacan DATA 3 5151, SMLTREE 2.9152, DE(:ISION MAKER153 y FAST*PRo154. Estos programas facilitan la construcción y análisis de árboles de deci-sión, cadenas de Markov, modelos de simula-ción de Monte-Carlo, análisis de sensibilidad y aplicaciones para análisis de coste-efectivi-dad. Anne Haddix, en su libro Preuention Etfec-tiueness, ofrece un anexo con la descripción de estos y otros programas informáticos til~177 Así, la realización de pruebas diagnós-ticas produce efectos psicológicos como el "etiquetado" (clasificar a una persona de en-ferma tiene consecuencias psicológicas), el miedo a la enfermedad, la ansiedad por el contacto con los servicios sanitarios, la satis-facción con la atención recibida. Los anterio-res son aspectos que valoran los resultados. Algunas variables que miden el proceso tam-bién pueden ser relevantes psicológicamente, como las creencias y percepciones sobre la salud o la sensación de control de la enferme-dad que tiene el paciente durante un trata-miento continuado. Se ha observado, por ejemplo, la influencia determinante del men-saje emitido por el médico en la aceptación de un tratamiento y, por tanto, en la efectivi-dad de la práctica clínica176. La valoración de los efectos sociales in-cluye aspectos como la equidad en el ac-ceso a la TS23, los condicionantes de la toma de decisiones colectiva sobre inclu-sión de prestaciones o realización de in-tervenciones, la asignación de valores económicos a los resultados clínicos, las necesidades expresadas o percibidas en la comunidad y otros178. A continuación se describen algunas de las variables que pueden medir los ~-tos de la introducción de una tecnología en una organización sanitaria15: • Grado de flexibilidad/vulnerabilidad de la organización a los efectos de la introducción de la TS sobre las limita-ciones presupuestarias, el manteni-miento general, los momentos críticos, la falta de personal entrenado en la nueva tecnología o la carga de trabajo. • Grado de centralización/descentralización de la información, del desarrollo de los pro-cedimientos técnicos, de las decisiones clí-nicas y de las decisiones económicas o so-bre los recursos de la tecnología. • Nivel de diferenciación que ocasiona la tec-nología en la estructura de la organización (creación de un nuevo departamento) y en los niveles del personal (nuevos expertos). • Requerimientos de personal, de formación o de incentivos. • Satisfacción en el trabajo (medida median-te diversos aspectos como la seguridad, adaptación al medioambiente, buenas rela-ciones personales, efectividad y motivación con el trabajo). • Grado de efectividad de los canales de co-municación, destacando los canales de da-tos clínicos y administrativos. La dimensión ética en la ETS se relaciona con la evaluación socioeconómica, en el marco de un contexto de recursos limitados. E1 acceso equitativo a la provisión de servicios sanita-rios es un derecho de los ciudadanos. A la vez, el objetivo de los servicios de salud es maxi-mizar el impacto sobre la salud con los recur-sos que la sociedad establece para ello. Así, la búsqueda de la eficiencia se puede definir como un objetivo ético28. Otro posible enfoque es la identificación de las implicaciones éticas de la utilización de una TS a través de la detección de los puntos de encuentro y acuerdo entre los diferentes grupos de personas implicadas, o eualuación interactiua, pero requiere habilidades específi-cas alejadas de las actividades fundamenta-les relacionadas con la ETS y más relaciona-das con las técnicas de márketing o la investi-gación cualitativa. Existen más enfoques que relacionan la ética con la ETS: la búsqueda de la ética en la buena práctica clínica; los in-centivos a los profesionales sanitarios como análisis de la ética y valor social de una orga-nización; las connotaciones éticas de los re-sultados de las intervenciones sanitarias; la falta de justificación ética de un consumo ex-cesivo de recursos, o el uso apropiado de las TS como planteamiento ético28. 9. Elaboración de las conclusiones y recomendaciones Las conclusiones y recomendaciones son los apartados más leídos de los informes, junto con el resumen. En las conclusiones deben destacarse aquellos contenidos del informe que tengan mayor relevancia y capacidad de influir en la toma de decisiones. La realiza-ción de recomendaciones debe ser adecuada-mente valorada, en función de los objetivos, contenidos y las necesidades del solicitante. Este apartado debe ser breve, preciso y con-sistente con los datos y evidencias aportados. Se deben evitar las conclusiones o recomen-daciones obvias o poco relevantes, y las que se basen en asunciones o decisiones arbitra-rias realizadas durante el proceso de análisis y síntesis de la información. Los aspectos que deben ser reseñados habitualmente son15 45: • Valoración de la calidad de la información obtenida, así como de las incertidumbres detectadas. • Valoración de los costes (tanto económicos como relativos a riesgos, complicaciones y efectos adversos) y beneficios del uso de la tecnología. En algunos casos, concluir si la aplicación de la TS es factible en el medio estudiado. • Valoración de las posibles implicaciones del informe para el Servicio Sanitario en el que se aplica la tecnología. • Grado en que se han logrado cumplir los objetivos propuestos. • Formulación de la respuesta o respuestas a las preguntas de evaluación u objetivos es-pecíficos. • Incertidumbres o lagunas de conocimiento que no han podido ser cubiertas con la in-formación obtenida. • Líneas de investigación que deberían desa-rrollarse para avanzar en el conocimiento del tema que se ha evaluado. • Implicaciones para el desarrollo o modifi-cación de regulaciones referidas a la tecno-logía evaluada. Para la elaboración de conclusiones sobre la consistencia de una relación causa-efecto en-tre una intervención y un resultado clínico se utilizan frecuentemente pruebas indirectas: unidades de resultado intermedias o surrogate end-points, relaciones establecidas a partir de tecnologías o intervenciones análogas u obte-nidas en poblaciones similares. Aunque mu-chas veces las pruebas indirectas aportan co-nocimientos útiles, es necesario advertir y va-lorar pormenorizadamente las limitaciones de su utilización. La calidad de las evidencias y de las recomen-daciones que surgen de ellas es un aspecto que debe ser mencionado siempre en las conclusiones y recomendaciones. Un informe deETS debe informar del grado de evidencia que apoya cualcuier conclusión o recomendación, estableciendo claramente el orden de pre- ferencia que se da a los diferentes resultados. En cualquier caso, un informe de ETS no sólodebe valorar en sus conclusiones los efecto establecidos a partir de datos válidos, sino que debe considerar todos los estudios con alguna aportación importante sobre la tecnologia a evaluar. En un gran número de casos, losestudios sobre las tecnologías sanitarias im- plantadas, no sólo sobre las que están introduciéndose, no van a tener la validez suficiente como para establecer conclusionespor lo que el informe de ETS deberá basarseen los datos disponibles, aunque no sean de la calidad deseada. La clasificación y jerarquía de las evidencias científicas es un tema ampliamente abordado en la literatura reciente. Se han propuestomuchos criterios y métodos de clasificación, algunos de los cuales se han seleccionado enel anexo IV. Un aspecto que debe analizarse en las con-clusiones es la aplicabilidad de los resultados finales del informe. Se debe ofrecer una ayuda a los lectores para identificar si las conclu-siones son aplicables a una población concreta, de tal manera que se describan las posibles variaciones de la validez o efectos si va- rían a su vez determinadas circunstancias tales como las características biológicas de los participantes o del factor de exposición, por ejemplo; las diferentes cepas de una bac-teria; determinados componentes culturales que afecten a los resultados de la interven-ción sanitaria; la adherencia al tratamiento, o el riesgo basal previo a la intervención31. Los factores enumerados pueden producir enor- mes variaciones, por lo que no se puede exigir que un informe de evaluación aborde todos esos posibles escenarios, pero sí se deben analizar las diferencias más importantes e in cluir estas variaciones dentro de las posibles limitaciones de la evaluación realizada Flnalmente, es lnteresante que las conclusiones establezcan el grado de apoyo o confianza que merece la TS a JUiCio de los autores del informe. Una clasificacion que puede ser útil para ese propósito es la elaborada por el Grupo de Embarazo y Parto de la Colaboración Cochrane (ver tabla 10), que clasifica las in tervenciones sanitarias en dos grupos: aquellas para las que hay información disponible como para extraer conclusiones firmes y aquellas para las que se necesita investigación adlclonal. Entre los errores comunes en el proceso de elaboración de conclusiones y recomendaciones está la confusión entre la calificación "No hay evidencia de efecto" y "Evidencia de nin-gún efecto". El primer caso se refiere Tabla 10 Clasificación de las intervenciones sanitarias segun el grado de recomendación que se puede establecer para su uso basado en evidencias científicas (modificado de Enkin179, Mulrow31) Intervenciones sanitarias (IS) sobre las que hay evidencia suficiente para establecer recomenda-ciones sólidas y aplicables a la práctica: 1.1. IS cuyos beneficios compensan a los efectos adversos o cosves (por ejemplo, la continuidad del personal sanitario durante el parto). 1.2. IS que deben ser abandonadas según la evidencia disponible (por ejemplo, cesárea electiva ante una diabetes gestacional). 1.3. IS en las que hay equilibrio entre beneficios y efectos adversos conocidos (por ejemplo, anal-gesia epidural durante el parto frente a otras formas de alivio farmacolóRico). IS para las cuales las evidencias disponibles son insuficientes si se desea proporcionar recomen-daciones sólidas y aplicables a la práctica, pero que deberían incluirse entre las prioridades de la investigación sanitaria: 2.1. IS que parecen prometedoras, pero que requieren una evaluación adicional (por ejemplo, apoyo al personal sanitario durante un embarazo de riesRo). 2.2. is en las que no se han demostrado los efectos esperados, pero que merecen atención adi-cional (por ejemplo, suplemento férrico continuado durante el embarazo). 2.3. IS con evidencia razonable de que no son eficaces para la finalidad perseguida (por ejemplo, regulación dietética ante una diabetes gestacional). «Cllin nnrn 1n Flnhnrnrin _ r ^ puntos 5 a 8 de la clasificación anterior, y la proposición "Evidencia de ningún efecto" se refiere al punto 3 y, en menor grado, al 8. Otra equivocación habitual es presentar conclusio-nes o establecer recomendaciones que van más allá de los datos que contiene el informe. También deben evitarse afirmaciones del tipo de "Se necesita más investigación". E1 informe de evaluación debe manifestar exactamente qué investigación se necesita y por qué, y cómo se puede mejorar la evaluación con da-tos o recursos adicionales. Las conclusiones y las recomendaciones de-ben responder a los objetivos y preguntas es-pecíficos planteados en el informe, sobre todo de la pregunta política, y a las funciones que tenga asignada la agencia en la regulación le-gal o normativa de la tecnología a evaluar. A su vez, deben ser útiles a los solicitantes y aplicables en el sistema sanitario implicado. 10. Revisión del documento provisional Se debe reservar un período de tiempo sufi-ciente para realizar una revisión externa y completa del texto antes de su publicación. La revisión por pares o peer reuiew es una práctica asumida en la actualidad por toda la comunidad científica y considerada actual-mente uno de los elementos clave que asegu-ran la calidad de una publicaciónl80 l8l. Los informes de ETS, aunque en ocasiones no uti-lizan de forma estricta ese control de calidad deben incluir un proceso de revisión extema. E1 proyecto de evaluación debe prever quié-nes van a ser los revisores, además de los re-cursos materiales y del tiempo necesarios para ello. Es interesante que en el grupo de revisores se encuentren tanto expertos en el tema y en la metodología de evaluación como posibles receptores del informe para que es-tos últimos puedan valorar la utilidad, clari-dad y relevancia del documento. Muy proba-blemente serán necesarias varias revisiones con sus correspondientes correcciones e in-clusión de nuevos puntos en el informe, aun-que será necesario establecer un calendario firme, que fije sobre todo la fecha final, ya que en caso contrario el proceso de revisión puede prolongarse mucho en el tiempo. La última reunión entre los revisores y redac-tores debe decidir los aspectos relacionados con la edición y la estratezia de difusión. Esta última, debido a su relevancia, se discute a continuación en una sección específica. Ade-más, la edición va a requerir un tiempo adi-cional para que a través de una o varias prue-bas de imprenta se asegure la publicación sin errores y con la presentación deseada. I 1. Difusión y aplicación de los resultados del informe Esta fase es fundamental para asegurar que un informe de ETS sea efectivo, consiga cam-biar la práctica clínica o influir en las decisio-nes de las autoridades relacionadas con las TS. No basta con elaborar informes basados en la mejor evidencia disponible, también es importante diseñar una estrategia que consi-ga la difusión y aplicación de sus conclusio-nes en la práctica diaria. Los informes de ETS deben basarse en la información científica más actualizada y de mayor calidad, pero esa información debe tener el impacto suficiente como para influir en los comportamientos y actitudes de los profesionales o los gestores sanitarios. En esta fase del proceso de elaboración de in-formes de ETS los conceptos dissemination e implementation, que se podrían traducir como diseminación e implementación, pueden con-siderarse objetivos importantes en la búsque-da del mayor impacto posible del informe de ETS. E1 concepto dissemination se refiere a un conjunto de actividades muy amplias: la difu-sión del documento, la estrategia de búsque-da de los lectores clave, el diseño de activida-des encaminadas a la discusión e interpreta-ción correcta de las conclusiones del informe, e incluso la participación en procesos de for-mación y entrenamiento de los profesionales sanitarios que utilicen la TS que se evalúe. Es un concepto que pretende añadir un nuevo valor o componente a los términos difusión o divulgación. La diseminación se corresponde con una difusión más activa, en la que a tra-vés de intervenciones o actividades se pro-mueve, no sólo se difunde. una información o ., una recomenc aclon. E1 concepto implementation se refiere a activi-dades que van más allá de la extensión o di-fusión de un documento, como la aplicación y evaluación en la práctica de las conclusiones y/o recomendaciones. Incluye intervenciones que reduzcan las barreras al cambio, activi-dades para conseguir la asimilación y poste-rior aplicación de los resultados del informe, el seguimiento y evaluación del uso de la tec-nología, la medición del impacto del informe y la valoración a largo plazo de los efectos que produce la TS sobre la organización sani-taria o la población132. La evaluación del impacto de los informes de ETS es una actividad que todavía está poco desarrollada. La mayoría de los estudios dise-ñados con ese objetivo analizan la difusión, comprensión y asimilación de la información resultante de la evaluación, pero no llegan a medir los cambios y el impacto que ésta pro-duce en la práctica clínica. Las limitaciones metodológicas de los ensayos de intervención comunitaria para atribuir cambios a una de-terminada intervención influyen en la falta de desarrollo de esta línea de evaluación. E1 diseño de estudios de evaluación antes-des-pués es el diseño más apropiado dentro de los ensayos de intervención comunitaria132. La forma tradicional de comunicación entre los investigadores y los médicos clínicos es la revista científica, pero en muchos casos no ha demostrado efectividad para influir en la práctica diaria de la medicina133. E1 análisis de los factores que influyen y cambian la práctica clínica, la política sanitaria o la acti-tud de los pacientes forma parte de las mate-rias de las ciencias del comportamiento, como la sociología y la psicología. Diversos estudios han intentado diseñar modelos ex-plicativos del proceso y los factores que in-fluyen en la atención sanitaria, pero todos ellos han llegando a la conclusión común a todos ellos: la complejidad del tema de análisis 45 ,184 E1 éxito del proceso de transferencia de cono-cimientos de la evaluación e investigación a la práctica clínica precisa el desarrollo de una estrategia de difusión y aplicación de los re-sultados apoyada en actividades e incentivos organizativos, que estimulen el cambio. Esta estrategia debe ir dirigida no sólo a los profe-sionales sanitarios, sino también a los investi-gadores, directivos sanitarios, profesionales de los medios de comunicación y ciudadanos. Además, es importante que se planifique y se haga explícita en las primeras fases de la ela-boración del informe de ETS, cuando se dise-na el proyecto de evaluación. ANEXOS Anexo 1. Formato y estructura de un informe de ETS El formato y estructura de los informes no ha sido consensuado entre las agencias u organi-zaciones que se dedican a la ETS. Lo que se pretende, en suma, es trasladar toda la infor-mación científica identificada a un texto comprensible y útil, de tal manera que cada tipo de usuario pueda apoyarse en la rigurosi-dad y fiabilidad del informe para tomar deci-siones. A continuación se propone un formato básico aplicable a los informes públicos; en el caso de los informes a demanda o internos no es posible proponer un formato homogéneo, dado que sus características básicas son la adaptabilidad y flexibilidad. -TÍTULO. Debe ser preciso y describir con claridad los objetivos del informe. -RESUMEN. Un primer resumen en el idio-ma original y un segundo en inglés, que de-ben ser breves. Es lo que se identifica como Summary o Executive Summary. Es aconsejable que se divida en secciones, relacionadas con la estructura del informe final, como: Objeti-vos, Fuentes de información, Selección de la información, Métodos de análisis y síntesis de la información, Resultados, Conclusiones y-Recomendaciones . - RESUMEN O ABSTRACT ESTRUCTURADO EN INGLÉS. Además del resumen descrito en el punto anterior, es necesario escribir tam-bién un resumen estructurado para su inclu-sión en el registro de informes de la red INAHTA, cuya dirección aparece en el anexo II. En la tabla 11 se propone un abstract es-tructurado, que modifica el que utilizaba anteriormente la citada red y se asemeja a la propuesta que realizó un grupo de trabajo de INAHTA en 1997l85 l86. Esta asociación no tie-ne actualmente un formato establecido para esta sección. -INTRODUCCIÓN. En esta sección se pre-senta el documento, indicando las razones que motivaron el inicio del trabajo, profundi- zando en la información requerida, las lagu-nas de información que pretende cubrir y los posibles beneficios que puede suponer. Indi-car también la entidad solicitante o financia-dora del informe, los posibles destinatarios de éste, algunos datos sobre la situación actual y evolución de la tecnología que describan ésta en su contexto internacional y local, y otros antecedentes que sitúen al lector permitién-dole profundizar a través de las referencias of recidas. Algunos informes en lengua inglesa distin-guen entre introduction y background. En el pri-mer apartado incluyen los contenidos de una presentación, y en el segundo describen el marco de referencia. En algunos informes puede ser útil incluir algún otro apartado de entrada como prólogo, presentación o prefa-cio. - OBJETIVOS O PREGUNTAS. Pueden situar-se tanto en la introducción como en un apar-tado específico. Dos cualidades esenciales son precisión y brevedad. Cada objetivo debe ini-ciarse con un verbo que describa la acción a realizar; por ejemplo, "Comparar la eficacia de las tecnologías A y B". Generalmente existe una cuestión de ámbito político o relacionada con la gestión sanitaria que motiva la realiza-ción del informe; es el objetivo general, que a su vez se desarrolla mediante uno o varios ob-jetivos específicos o preguntas científicas. - METODOLOGÍA. Se debe incluir una des-cripción de los métodos empleados en la rea-lización del informe, con la claridad y los de-talles suficientes como para que puedan re-producirse todos los pasos. Las fuentes de in-formación, la estrategia de búsqueda, los criterios de inclusión y exclusión de los estu-dios y la metodología utilizada para analizar y sintetizar la información son los aspectos más importantes que deben especificarse en esta sección del informe. - DESARROLLO DE LOS CONTENIDOS DE LA EVALUACIÓN. Este apartado muestra el análisis realizado (~uicio de expertos, técnica cuantitativa) y sus resultados, así como la síntesis de los estudios considerados. Tam-bién se incluye aquí la descripción de la tec-nología y enfermedad (ver tabla 12), el estu-dio de la validez y calidad de los datos de los Tabla 11 Datos que se deben incluir en los abstracts estructurados en inglés 1. Title. Primero el título en inglés y luego el título en el idioma original entre paréntesis. 2. Author/s. Debe usarse el estándar de Vancouverl87. 3. Organiza~don. Por ejemplo, Agencia de Evaluación de Tecnologías Sanitarias. 4. Contact person. Dirección y nombre de la persona que la organización seleccione. 5. Date. Mes y año de publicación. 6. Language. Idioma o idiomas de publicación. 7. Abstract: Especificar si incluye otro resumen además del abstract estructurado INAHTA y el idio-ma o idiomas en que están escritos. 8. Publication type. Por ejemplo: infomme, guía de práctica clínica. 9. Pages. Número de páginas total del informe. 10. References. Número de referencias que cita el documento. 11. ISBN. International Standard Book Number. 12. Technology type. Categoría de la técnica o intervención sanitaria que se evalúa: screening, preventive, diagnostic, therapeutical, palliative, rehabilitating. 13. Subject index terms. Deben utilizarse las palabras clave que proporciona el Index Medicus en su thesaurus. Indicar primero los Major Descriptors marcándolos con asterisco y después los Minor Descriptors. Si la palabra no está incluida en el thesaurus del Index Medicus, poner"(Non MeSH)" después de esa palabra. Es interesante poner descriptores secundarios que maticen, separados con un guión. Ejemplo: ~Aortic Aneurysm - epidemiology; FStents; Blood Vessel Prothesis; Khar-kov Stent (Non MeSH). 14. Objecfves. Objetivos generales y específicos. 15. Methods: Data sources: Datos utilizados y su origen. Criteria for study inclusion: Pautas utiliza-das para la inclusión y exclusión de estudios. Primary data collection: Especificar si se realizó un estudio con datos primarios ad hoc. Secondary data analysis: Especificar si se realizó un estudio basado en datos secundarios como los obtenidos en registros o historias clínicas. Literature re-view and integration of evidence: Bases de datos bibliográñcas, expertos u otras fuentes de in-formación consultadas. Método de revisión o técnica de síntesis utilizada (revisión sistemática, meta-análisis, evaluación económica, análisis de decisión). 16. Results. Contenido del infomme y resumen de los hallazgos más importantes. 17. Recommendadons. 18. Peer review process: Especificar: Yes / No / Internal/xternal/Both ___________________________________________________ ----------------------------------------------------------- estudios seleccionados, la descripción de los estudios incluidos y excluidos, el estudio del contexto local, la valoración del impacto so- . cial, organizativo, psicológico y ético de la TS, _ y finalmente una discuslon donde se anali- cen las llmltaclones de Ia metodologla emple- aaa en la evaluaclon y se valore de manera . . mtegral el con]unto ae los contemdos deEnl- . dos en esta sección. -TABLAS Y/O GRÁFICOS. En la mayor parte de los informes son un elemento fundamen- tal de la síntesis de información General- mente van a servir para describir los estudios incluidos y excluidos del análisis. A modo de esquema, los datos que se incluirán van a ser fundamentalmente: caracteristicas de los pacientes receptores de la tecnología, tipo de tecnología, diseño del estudio, calidad de las evidencias y resultados de los estudios45 CONCLUSIONES- Los hallazgos del estu- dlo evaluatlvo tlenen una sene de lmpllcaclo- nes o pueden plantear nuevas prevuntas. este es el apartado adecuado para explicitar estas cuestlones reallzando un compendio de los resultados más importantes, incluyendo las limitaCiOnes y lagunas de conocimientO de- tectadas Cada concluslón debe ser breve, pre- clsa, relevante y conslstente con las eviden- clas que el lnforme aporta - RECOMENDACIONES. No todos los infor- mes incluyen recomendaciones, aunque son importantes. De la misma forma que para las conclusiones, las recomendaciones deben ob-tenerse a partir de evidencias científicas y ba-sarse exclusivamente en los contenidos o re-sultados del informe15. -BIBLIOGRAFÍA. Lo ideal es que se transcri-ban cumpliendo las normas de Vancouver187. Las referencias de la metodología utilizada para la elaboración del informe son también relevantes. Es importante que no se olvide in-cluirlas. Asimismo, la bibliografía puede presentarse en tres apartados: los estudios incluidos en el análisis final, los excluidos y aquellos estudios que se han utilizado en la metodología o en el estudio general del tema a evaluar pero que no son objeto de análi-sis188. Tabla 12 Descripción de la tecnología y de la enfermedad Es evidente que un informe de ETS debe describir el objeto de su evaluación, aunque esta información no siempre es necesaria en el mismo grado. Su extensión debe ser apropiada, de manera que aporte elementos esenciales para la comprensión del documento pero que no se extienda en aspectos dema-siado técnicos que no añadan valor a la información relacionada con la pregunta de evaluación. E1 tipo de información sobre la enfermedad o condición clínica que puede ser útil incluye los siguien-tes conceptos: fisiopatología, historia natural, datos epidemiológicos sobre morbilidad y mortalidad incluyendo incidencia y prevalencia, estimaciones del impacto de la enfermedad en la población y ca-racterísticas demográficas de ésta. La información técnica sobre la TS se puede clasificar de la siguiente manera: Características relevantes del mecanismo de funcionamiento de la TS, tanto físicas como biológicas o funcionales. Por ejemplo, en el caso de un fármaco se debe aportar información básica sobre sus características farmacocinéticas y su interacción con otros fármacos. En una TS diagnóstica se pre-cisa conocer datos sobre su validez, precisión, reproducibilidad y valores predictivos. Cumplimiento de estándares o criterios de calidad establecidos. Uso en la práctica diaria. Pueden incluirse aspectos como el tiempo necesario para realizar el proce-dimiento, rieszo que asumen los trabajadores y usuarios y nivel de entrenamiento necesario. Estrategias de control de calidad y mantenimiento. _________________ Anexo 11. Recopilación de fuentes de información útiles en ETS El presente anexo se configura como una ayuda para la localización de diversos tipos de infor-mación. En su elaboración no se ha pretendido alcanzar una gran exhaustividad, que podna dificultar su manejo y concreción, sino ofrecer un listado de las fuentes de información de ma-yor relevancia que sea de manejo fácil. Por otro lado, hay que reconocer la existencia de un cla-ro sesgo hacia la presencia de fuentes de origen español, especialmente en el apartado de las fuentes de infomlación administrativa. Sin embargo, consideramos importante su inclusión ya que, en cualquier caso, permite orientar sobre el tipo de fuentes que pueden ser de utilidad en otros contextos. Al final del anexo se ha incluido un listado que recoge una selección de fuentes, excluyendo las guías de práctica clínica, que pueden ser exploradas como paso preliminar de la búsqueda de información y para localizar rápidamente revisiones ya existentes. fndicedel anexo: 1. SELECCIÓN DE FUENTES DE INFORMACIÓN PARA LA BÚSQUEDA PRELIMINAR 1. Selección de fuentes de informaclón para la búsqueda preliminar 50 Listado de fuentes de información útiles para la 2. Fuentes bibliográficas y documentales 50 búsqueda de información inicial. Ésta se realiza fundamentalmente cuando se diseña la evalua- 2.1. Bases de datos de publlcazones e ción investigaciones originales 50 . Red INAHTA (http://www.inahta.org). -Bases de datos generales 50 • Base de datos de revisiones sistemáticas de la -Bases de datos específicas o te- Colaboración Cochrane (http://www.update- maticas 51 software.com/ccweb/cochrane/cdsr.htm). 2.2. Fuentes de información secunda- . HSTAT (Health Servlces/Technology Asessment la 51 Text) (http://text.nlm.nih.gov/). -Bases de datos 51 • TRIP database (http://www.gwent.nhs.gov.uk/ -Publicaciones secundarias 52 trip/test-search.html). -Guías de práctica clínica 52 • ScHARR-Lock's Guide to the Evidence (http ://www. shef. ac. uk/uni/academic/R- -Llteratura gns 52 Z/scharr/ir/scebm.htm). 2.3. Productores o distribuidores de ba- • IDEA Topics List (http://www.ohsu.edu/bicc- ses de datos 53 informatics/ebm/ebm topics.htm). 3. Fuentes estadístico-administratiVas 53 . MEDLINE Buscar fundamentalmente artículos 3.1. En España 53 de revisión o de síntesis. 4. Buscadores de información sanitaria en PubMed: (http://www.ncbi.nlm.nih.gov/PubMed/) Internet 54 GratefulMed: (http://igm.nlm.nih.gov/) 5. Estrategias prediseñadas de búsqueda bibliográfica 54 2. FUENTES BIBLIOGRAFICAS Y DOCUMENTALES 2.1. Bases de datos de publicaciones e investigaciones originales Bases de datos generales Medline: Es la principal base de datos de la Natio- nal Library of Medicine (NLM) de EE.UU., y abarca los campos de medicina, enfermería, odontología y veterinaria. Contiene citas bibliográficas de más de 3.900 revistas biomédicas y más de 9 millones de registros desde 1966. LA NLM ofrece actualmen-te dos sistemas de acceso gratuito a Medline vía Intemet: • PubMed. Internet (http://www.ncbi.nlm.nih.gov/ PubMed/). • GratefulMed. Internet (http://igm.nlm.nih.gov/). Accesible también en CD-ROM. Embase: Es la base de datos electrónica de Excerp-ta Médica. Comprende infommación fammacológica y biomédica. Producida por Elsevier Science, Ams-tszrrl n m Accesible vía Internet (http://www.elsevier.nl/) y en CD-ROM Uncover: Base de datos que recoge más de 17.000 revistas en inglés de contenido multidisciplinar, no exclusivamente biomédico. Producido por CARL Corporation (Colorado Alliance of Research Libra-nes). Accesible vía Internet (http://uncweb.carl.org). HSRProj: Base de datos de la NLM. Contiene citas de proyectos de investigación en curso acerca de Servicios Sanitarios, incluyendo Evaluación de Tec-nologías Sanitarias, así como el desarrollo y uso de guías de práctica clínica. Accesible en Internet vía GratefulMed (http:// igm.nlm.nih.gov/) . LILACS (Literatura Latinoamericana y del Caribe en Ciencias de la Salud): Referencias bibliográfi-cas desde 1982. Producida por BIREME. Se encuen-tra accesible en CD-ROM, el cual contiene, además, otras bases de datos bibliográficas con contenidos sociosanitarios y legislativos de Latinoamérica. Accesible vía Internet (http://www.bireme.br/ iahlil/homepage .htm) . National Research Register (NRR): Registro electró-nico de proyectos de investigación y desarrollo, en curso o recién temminados, financiados por el Ser-vicio Nacional de Salud del Reino Unido (NHS). Contiene proyectos de investigación, ensayos clíni-cos y revisiones sistemáticas. Publicado por Upda-te Software Ltd. Accesible vía Intemet (http://www.update-softwa-re.com/default.htm) o en CD-ROM. lME (tndice médico español): Contiene la produc-ción científica española en el área de biomedicina. CD-ROM distribuido por el Centro de Infommación y Documentación Científica (CINDOC). Accesible vía Intemet (http://www.cindoc.csic.es/ principal.html) y en CD-ROM. Bases de datos específicas o temáticas Bases de datos de la NLM (National Library of Medi-cine): La NLM ofrece acceso a muchas bases de da-tos de contenidos más específicos, muchas de ellas . .~ son también accesibles a través de GratefulMed. Brevemente, pueden destacarse las siguientes: • AIDSLINE: Citas bibliográficas sobre SIDA y ma-terias relacionadas. • AIDSTRIALS: Ensayos clínicos relacionados con SIDA. • CANCERLIT: Citas bibliográficas cuyo principal tema es el cáncer. • DIRLINE: Directorio de fuentes de información sobre temas sanitarios, principalmente de EE.UU., pero también de algunas organizaciones intemacionales . • HealthSTAR: Citas bibliográficas sobre temas clínicos y de administración sanitaria. Incide principalmente en la evaluación de resultados y la efectividad de los procedimientos. Actualmen-te está siendo incorporada a PubMed. • PDQ: Información actualizada mensualmente de tratamientos y ensayos clínicos sobre cáncer. • POPLINE: Citas bibliográficas acerca de políticas poblacionales, planificación familiar, atención primaria y problemas específicos de los países en vías de desarrollo. Internet (http://www.nlm.nih.gov/pubs/factshe-ets/online_databases.html) . PsyclNFO (Psychological Abstracts): Recoge la li-teratura internacional en psicología y disciplinas relacionadas tales como medicina, psiquiatría, educación, trabajo social o ciencias sociales. Pro-ducida por la Asociación Americana de Psicología. Accesible vía Intemet (http://www.apa.org/psycin-fo/contact.html) y en CD-ROM. ASSIA (Applied Social Sciences Index and Abs-tracts): Contiene resúmenes y referencias biblio-gráficas de ciencias sociales aplicadas a diversos temas como geriatría, abusos infantiles, desem-pleo o refommas sanitarias. Un 40% de sus conteni-dos son del Reino Unido. Distribuida por Bowker-Saur Ltd. Accesible vía Intemet (http://www.bowker-saur.co. uk/products/catalog/a_and_i/assia_plus_c.htm) y en CD-ROM CINAHL (Cumulative Index to Nursing and Allied Health Literature): Recoge literatura e infommación sobre enfemmería y otras profesiones sanitarias re-lacionadas, como fisioterapia o terapia ocupacio-nal, desde 1982. Accesible vía Intemet (http://www.CINAHL.com) y sbn Cn-R0M 2.2. Fuentes de información secundaria Bases de datos The Cochrane Library: Contiene las siguientes bases de datos: . Base de datos de revisiones sistemáticas (CSRD). • Base de datos de resúmenes de revisiones de efectividad (DARE) (Accesible también vía CRD). • Registro Cochrane de ensayos controlados (CCTR). . Base de datos sobre metodología de las revisio-nes (CRMD). Accesible vía Intemet (http://www.update-softwa-re.com/ccweb/cochrane/cdsr.htm) y en CD-ROM. Red lNAHTA (Intemational Network of Agencies for Health Technology Assessment): Referencias de los infommes de evaluación de tecnologías sanitarias, realizados por las agencias pertenecientes a la red INAHTA. Pueden localizarse a través de Internet (http ://www.inahta . org) . ISTAHC Database (Intemational Society of Techno-logy Assessment in Health Care): Recopilación del trabajo de los miembros de ISTAHC desde 1992. Contiene resúmenes de congresos y de publicacio-nes periódicas. Accesible vía Intemet (http://www.istahc.org/live/ viewdata). HSTAT (Health Services / Technology Asessment Text): Producida por la NLM. Proporciona acceso a documentos completos de diversos tipos, tales como guías de práctica clínica y publicaciones de la AHCPR (Agency for Health Care Policy and Rese-arch), de los NIH (National Institutes of Health) y de los CDC (Centers for Disease Control and Pre-vention). Accesible vía Intemet (http://text.nlm.nih.gov/). CRD (Centre for Reviews and Dissemination): De-pendiente del Servicio Nacional de Salud (NHS) británico. Produce las siguientes bases de datos: • DARE (Base de datos de resúmenes de revisiones de efectividad). Incluida también en The Cochra-ne Library. • NEED (NHS Economic Evaluation Database). Base de datos de resúmenes de estudios de eva-luación económica de las intervenciones sanita-rias. • HTA (Health Technology Assessment). Base de datos de informes de Evaluación de Tecnologías Sanitarias de la Red INAHTA. Accesible vía Internet (http://nhscrd.york.ac.uk/ welcome.html). TRIP database: Base de datos producida por TRIP (Turning Research Into Practice), grupo formado por profesionales sanitarios del Reino Unido. Per-mite explorar 18 bases de datos de materias rela-cionadas con la Medicina basada en la evidencia y acceder a los documentos contenidos en muchas de ellas. Accesible vía Intemet (http://www.gwent.nhs.gov.uk/ trip/test-search.html) . Programa británico de Evaluación de Tecnologías Sani-tarias: Pemmite acceder a infommes de ETS y proyec- tos de investigación financiados por el NHS y a las bases de datos de las divisiones reRionales del NHS. Accesible vía Internet (http://www.soton.ac.uk/ ~hta/). ScHARR-Lock's Guide to the Euidence: Producida por la Sección de Fuentes de Infommación de la Escue-la de Salud e Investigación Sanitaria (School of Health And Related Research, ScHARR) de la Uni-versidad de Sheffield (UK). Es una guía de fuentes de evidencia impresas, ordenada por descriptores MeSH (Medical Subject Heading). Contiene princi-palmente literatura gris académica u oficial del Reino Unido. Accesible vía Intemet (http://www.shef.ac.uk/uni/ academic/R-Z/scharr/ir/scebm .html) . IDEA Topic List (Intemet Database of Evidence-Ba-sed Abstracts and Articles): Base de datos que re-coge estudios seleccionados. Sus contenidos están ordenados por témminos MeSH. Accesible vía Internet (http://www.ohsu.edu/bicc-infommatics/ebm/ebm_topics .htm) . Publicaciones secundarias Son revistas que publican estudios basados en re-visiones de otros ya publicados. Recogen trabajos que han demostrado una adecuada calidad con arreglo a los criterios de la medicina basada en la evidencia. Entre las muchas existentes en la actua-lidad, pueden destacarse: • Evidence-based medicine joumal (http:// www.acponline.org/joumals/ebm/ebmmenu.htm) . • ACP joumal club (http://www.acponline.org/). • Bandolier (http://www. jr2.ox.ac.uk/Bandolier) . Guías de práctica clínica NGC (National Guideline Clearinghouse): Base de datos de guías de práctica clínica y documentos re-lacionados. Producida por la Agency for Health Care Policy and Research (AHCPR). Accesible vía Intemet (http://www.guidelines.gov/ body_home_nf.asp?view=home). CPG Infobase: Base de datos de guías de práctica clínica producidas por la Asociación Médica de Ca-nadá (Canadian Medical Association). Accesible vía Intemet (http://www.cma.ca/cpgs/). SIGN (Scottish Intercollegiate Guidelines Network): Guías de práctica clínica producidas por los cole-gios médicos de Escocia. Accesible vía Internet (http://pc47.cee.hw.ac.uk/ sign/home.htm). Llteratura gns SIGLE (System for Information on Grey Literatu-re): Recoge literatura gris producida en Europa. Es una Dase de datos de contenido multidisciplinar, no exclusivamente biomédico, con 364.000 regis-tros aproximadamente. Producida por EAGLE (Eu-ropean Association for Grey Literature Exploita-tion). Accesible vía Internet (http://www.konbib.nl/ infolev/sigle/ea/home.htm) y en CD-ROM a través de SilverPlatter (http://www.silverplatter.com/). Conference Papers Index: Información de los pro-gramas finales, libros de resúmenes y actas pu-blicadas en las principales reuniones científicas de todo el mundo. Desde 1995 predominan los contenidos relativos a ciencias de la vida y del medio ambiente. Producido por Cambridge Scien-tific Abstracts. Accesible vía Internet (http://www.csal.co.uk/) y sn f I )-RClM NTIS (National Technical Information Service): Base de datos producida por el Ministerio de Co-mercio de EE.UU. Es una importante fuente para localizar investigaciones, estudios e informes de múltiples campos científicos, patrocinados por el gobierno federal y desarrollados dentro o fuera de FF TJTI Accesible vía Internet (http://www.ntis.gov/ index.html). TESEO: Contiene información sobre tesis doctora-les leídas en las Universidades españolas desde 1976. Accesible vía Internet (http://www.mec.es/ teseo/). 2.3. Productores o distribuidores de bases de datos Se recogen aquí una serie de compañías que pro-ducen o distribuyen, entre otras, las bases de datos mencionadas en este anexo. Suelen ofrecer acceso a las bases de datos tanto on-]infz nomo S trsvrq Ho CD-ROM. The Dialog Corporation. Of rece acceso a más de 700 bases de datos. (http://www.dialoR.comB. STN International. Ofrece acceso a más de 200 ba-ses de datos (http://www.fiz-karlsruhe.de/ stn.html). SiluerPlatter. Ofrece acceso a más de 250 bases de datos (http://www.silverplatter.com/). Ovid Technologies. Of rece acceso a más de 80 bases de datos (http://www.ovid.com). 3. FUENTES ESTADÍSTICO- ADMINISTRATIVAS de informes técnicos y otras publicaciones (http://www.who.org ). OPS/PAHO (Organización Panamericana de la Sa-lud): Organismo internacional de salud pública de-dicado a mejorar la salud y las condiciones de vida en América. Ofrece acceso a interesantes docu-mentos, programas sanitarios e importante infor-mación técnica (http://www.paho.org/). FDA (Food and Drug Administration): Organismo que registra y autoriza todos los productos ali-menticios y medicamentos en los EE.UU. (http ://www.fda .gov/hometext.htm) . OCDE (Organización para la Cooperación y el De-sarrollo Económico): Ofrece inforrnación valiosa sobre estadísticas y publicaciones clasificadas por temas, entre las que destaca por su utilidad para el estudio del contexto la importante base de datos "OECD Health Data", que presenta esta-dísticas que permiten comparar la situación sani-taria de 29 países (http://www.oecd.org). CORDIS (Community Research and Development Information Service): Dependiente de la Comisión Europea. Proporciona información sobre activida-des de investigación y desarrollo realizadas en la Unión Europea (http://w vw.cordis.lu/). EUROSTAT (Oficina de Estadística de la Unión Euro-pea): Dedicada a proporcionar un servicio de infor-mación estadística de alta calidad a la Unión Euro-pea. Recoge datos de los Institutos Nacionales de Estadística de los Estados miembros (http:// europa .eu .int/en/comm/eurostat/eurostat.html) . Health Atlases on the Internet: Colección de atlas y censos sobre información sanitaria. Incluye una selección de mapas, tablas, gráficos e informes de la página web de la OMS (http://.members.xoom. com/mrdiRest/medrpv atlases.html). 3.1. En España CNE (Centro Nacional de Epidemiologia): Ofrece da-tos relacionados con enfermedades sometidas a vi-gilancia epidemiológica, estadísticas sobre el cán-cer e indicadores de mortalidad y otros recursos (http://www.isciii.es/unidad/sge/cne/ccne.html) . MSC (Ministerio de Sanidad y Consumo): Ofrece acceso a bases de datos como el Conjunto Mínimo Básico de Datos (CMBD) y a la información ofrecida mediante el uso de los Grupos Relacionados con el Diagnóstico (GRD), además de otra información va-liosa (http://www.msc.es). INE (Instituto Nacional de Estadística): Ofrece la posibilidad de consultar el banco de datos de se-ries estadísticas TEMPUS, además de poder cono-cer la información estadística nacional actualiza-da (http://www.ine.es). CIS (Centro de Investigaciones Sociológicas): Ofre-OMS/WHO (Organización Mundial de la Salud): ce acceso a más de 1.200 encuestas y estudios de Ofrece acceso a múltiples estadísticas a nivel opinión públicay situación dela sociedad españo-mundial y permite buscar en sus bases de datos la (http://www.cis.es/). Información legislatiua del BOE: Este servicio del Boletín Oficial del Estado de España ofrece acceso a la información de carácter jurídico-administra-tivo en el ámbito nacional, autonómico, de la Unión Europea, Lationamérica y otros países (http://www.boe.es/tablon/otrasdir.htm) . DOCUMED: Base de datos que contiene resúme-nes seleccionados de trabajos publicados desde 1994 en más dew 200 revistas. Elaborada por el Ins-tituto de Estudios Documentales e Históricos so-bre la Ciencia de la Universidad de Valencia (http://www.uv.es/~docmed/documed/docu-med.html) 4. BUSCADORES DE INFORMACIÓN SANITARIA EN INTERNF.T Se incluyen una serie de buscadores de informa-ción sanitaria en Internet. También este listado po-dría haber sido de gran extensión pues el número de buscadores de información en Internet crece continuamente. Se recogen aquí sólo algunos de los más conocidos y que se consideran de buena calidad. Medical Matrix. Permite acceso a recursos clínicos disponibles en Internet clasificados y comentados. Dingido principalmente a médicos y trabajadores sanitanos de Estados Unidos (http://www.medma-trix.orR/) Altauista. Uno de los grandes buscadores de Inter-net. Aunque no es específico de temas relaciona-dos con la salud, recoge un gran número de recur-sos sanitarios (http://www. altavista.digital . com/) . Yahoo Health. Recursos sanitarios del que, proba-blemente, sea el buscador de Intemet más popular (http://www.yahoo.com/health). OMNI (Organising Medical Networked Informa-tion). Recurso británico de fuentes biomédicas de alta calidad en Intemet (http:/twww.omni.ac.uk). 5. ESTRATEGIAS PREDISENADAS DE BÚSQUEDA BIBLIOGRÁFICA Se denominan también filtros y se utilizan para optimizar los resultados de las búsquedas en bases de datos bibliográficas. Entre las diversas institu-ciones que ofrecen estos filtros, pueden citarse las siguientes: IHS (Institute of Health Sciences). Dependiente de la Universidad de Oxford, Reino Unido (http://www.ihs.ox.ac.uk/library/filters.html) . EBM. Centro para la Medicina Basada en la Evi-dencia del NHS británico. Ubicado en Oxford (http ://cebm. j r2 .ox.ac .uk/docs/searchinz.html) . CRD (Centre for Reviews and Dissemination). Ubi-cado en la Universidad de York (Reino Unido) (http://www.york.ac.uk/inst/crd/search.htm) . Anexo 111. Esquemas para la interpretación de la evidencia científica Existen múltiples cuestionarios o tablas para el análisis crítico de publicaciones científi-cas. Se han incluido en este documento los que, a nuestro juicio, son más útiles y están más difundidos. El conjunto de cuestionarios más completo y coherente publicado hasta ahora ha sido la serie que la revista JAMA ha ofrecido desde 199317 l89 l90. Además, se han incluido otras tablas de análisis con el propó-sito de incrementar el rango de tipos de estu-dios que proporciona la serie citada y una lis-ta de referencias que permitan ampliar la lis-ta ofrecida. Las tablas 13 a 22 fueron publicadas como una serie en la revista JAMA y se componen de tres secciones: la primera analiza la vali-dez intema, la segunda los resultados y la ter-cera la validez extema. Sólo en caso de que se concluya que los resultados del estudio tie-nen una validez interna suficiente tiene sen-tido responder al resto de las preguntas. En cualquier caso, la decisión última sobre la va-lidez del estudio la tiene el lector, que no pue-de decidir la inclusión o no del estudio única-mente por las preguntas enunciadas en los esquemas, sino que debe adaptar esa decisión a las características de la investigación que se está realizando. El valor de un artículo va a depender del valor otorgado al resto de los ar-tículos identificados, o sea, que la decisión acerca de la inclusión de un artículo o no se realizará mediante una valoración de la im-portancia relativa de éste en relación con la infommación disponible. Los esquemas presentados a continuación no pueden usarse como una lista de criterios exhaustiva para la valoración de artículos. La mayoría de estos esquemas son listados de criterios mínimos que deben cumplir todos los artículos del mismo tipo, pero que en nin-gún caso pueden ser considerados una guía con la que se evita la lectura de cada artículo en su totalidad y el estudio metodológico ri-guroso que cada trabajo precise. Cada artículo es diferente y no es posible re-dactar un esquema rígido que sirva para la evaluación de todos los artículos de un deter-minado tipo; por ejemplo, para los artículos sobre pruebas diagnósticas. El mayor benefi-cio de la utilización de cuestionarios es que se explicitan los criterios que se han utilizado para el análisis crítico de los artículos y que, por tanto, es posible que un lector reproduzca íntegramente y reinterprete la evaluación re-alizada valorando la importancia relativa de cada artículo en relación con la información R tsLn tfL Además de las tablas que se incluyen a conti-nuación, existen muchas propuestas de cues-tionarios para el análisis crítico de la literatu-ra científica, entre los que destacan: Otros cuestionarios para ensayos clíni-cos83.191,192 ,193,194,195 Otros cuestionarios para estudios de eva-luación económica16l,l64 Revisiones sistemáticas de ensayos clíni-cos controlados y aleatorizados196. Meta-análisisl97,l98al99X20o*2ol Estudios observacionales202 203 204f2os 2o6 Análisis de decisión que incorporan utili-dadesl38. Análisis de subgrupos90. Artículos que analizan la probabilidad de enfemmar y el diagnóstico diferencial207. Auditorías clínicas o estudios que valoran la calidad de la práctica clínica208. Libros que ofrecen un compendio de es-quemas para la lectura crítica209 210 2ll. Tabla 13 Artículos sobre intervenciones terapéuticas y/o preventivas~ ¿Son válidos los resultados del estudio? Criterios primarios: ¿Se ha realizado de forma aleatoria la asignación de los tratamientos a los pacientes? Inclusión de todos los pacientes que entraron en el estudio en el análisis: ¿Se ha realizado un segui-miento completo de los pacientes? ¿Se ha mante-nido la asignación inicial de pacientes durante todo el estudio? Criterios secundarios: -¿Hubo enmascaramiento respecto al tratamiento, a los pacientes, los clínicos y los investigadores? -¿Eran similares los grupos al inicio del estudio? -Aparte de la intervención experimental, ¿se ha tra-tado de forma idéntica a los grupos de pacientes? ¿Cuáles han sido los resultados del estudio? -¿Cuál ha sido la magnitud del efecto del trata-miento? -¿Con qué precisión se ha estimado el efecto del mismo? ¿Son útiles los resultados en la práctica clínica? -¿Son aplicables los resultados a nuestros pacien-tes? -¿Se han considerado todos los posibles resultados clínicamente importantes? -¿Compensan los beneficios del tratamiento, los costes y riesgos del mismo? Tomado de Guyatt212 y Guyatt213. Tabla 15 Artículos sobre efectos de intervenciones y/o exposiciones'F ¿Son válidos los resultados del estudio? Criterios primarios: ¿Se han utilizado grupos de comparación similares en cuanto a otros factores determinantes del efec-to diferentes a la exposición? ¿Se han valorado de la misma forma en todos los grupos de comparación las exposiciones y los efec-tos? ¿El seguimiento ha sido suficientemente largo completo? c;nterios secundarios: -¿Precede la exposición al efecto? -¿Existe gradiente dosis-respuesta? -Aparte de la intervención experimental, ¿se ha tra-tado de forma idéntica a los grupos de pacientes? ¿Cuáles han sido los resultados del estudio? -¿Cuál es la fuerza de la asociación exposición-re-sultado? -¿Qué precisión tiene la estimación del riesgo? ¿Son útiles los resultados en la práctica clínica? -¿Son aplicables los resultados a nuestros pacien-tes? -¿Cuál es la magnitud del riesgo? -¿Se debe evitar la exposición? Tabla 14 Artículos sobre pruebas diaznósticas~ ¿Son válidos los resultados del estudio? Criterios primarios: -¿Se ha comparado de fomma independiente, ciega, con un patrón de referencia? -¿La muestra de pacientes estudiados ha recogido todo el espectro de pacientes a los que se aplicará el test en la práctica clínica? Criterios secundarios: -¿Hay sesgo de verificación? Existe cuando el test estándar se realiza más en los casos que resulta-ron dudosos o positivos en el test a evaluar -¿Se ha descrito la técnica con el detalle suficiente como para permitir su reproducción? ¿Cuáles han sido los resultados del estudio? -¿Se han presentado los cocientes de probabilidad, likelyhood ratios, o los datos sobre sensibilidad y es-pecificidad del test o los datos para su cálculo? ¿Son útiles los resultados en la práctica clínica? -¿Es reproducible el test, tanto en la realización como en la interpretación, para unos determina-dos pacientes? -¿Son aplicables los resultados a nuestros pacien-tes? -¿Modificará el test el manejo de los pacientes? -¿Mejorarán los pacientes por la utilización del toct7 Tomado de Jaeschke214 y Jaeschke215. Tabla 16 Artículos sobre pronósticos~ ¿Son válidos los resultados del estudio? Criterios primarios: -¿La muestra de pacientes está bien definida y es representativa de pacientes en un momento simi-lar del curso de la enfermedad? -¿E1 seguimiento ha sido suficientemente largo y completo? Criterios secundarios: -¿Los parámetros utilizados para medir los resulta-dos han sido objetivos y no sesgados? -¿Se ha ajustado por todos los factores pronósticos importantes? ¿Cuáles han sido los resultados del estudio? -¿Se ha especificado la probabilidad de que ocurran los eventos en períodos de tiempo determinados? -¿Cuál es la precisión de las estimaciones de proba-bilidad? ¿Son útiles los resultados en la práctica clínica? -¿Los pacientes del estudio son similares a los nuestros ? -¿Son útiles los resultados para decidir si dar un tratamiento? -¿Son útiles los resultados para aconsejar o tran-quilizar a los pacientes o a sus familiares? + Tomado de Levine203. * Tomado de Laupacis204 Tabla 17 Artículos ds? rovisión* ¿Son válidos los resultados de la revisión? Criterios primarios: -¿Es suficientemente concreto y ajustado a nues-tros objetivos el tema de la revisión? -¿Los criterios utilizados para la inclusión de estu-dios en la revisión fueron apropiados? Criterios secundarios: -¿Es baja la probabilidad de que falte algún estudio relevante? -¿Se ha evaluado la validez de los estudios inclui-dos? -¿Es reproducible la evaluación realizada para la in-clusión y exclusión de estudios en la revisión? -¿Existe suficiente homogeneidad entre los estu-dios como para sintetizarlos en una revisión? ¿Cuáles han sido los resultados del estudio? -¿Cuáles son los resultados de la revisión en su conjunto? -¿Hasta qué punto fueron precisos los resultados? ¿Son útiles los resultados en la práctica clínica? -¿Son aplicables los resultados a nuestros pacien-tes? -¿Se han considerado todos los resultados clínica-mente importantes? -¿Compensan los beneficios previsibles, los costes y los riesgos? Trom: io ~"nn :~n216 Tabla 19 Guías de práctica clínica* ¿Son válidos los resultados de la revisión? Criterios primarios: ¿Se han considerado todas las opciones y resulta-dos clínicos importantes? ¿Existe un procedimiento adecuado que se haya utilizado para identificar, seleccionar y combinar las evidencias? Criterios secundarios: ¿Se ha utilizado un procedimiento adecuado para considerar el valor relativo de los distintos pronós-ticos? ¿La información que ofrece está actualizada? ¿Ha sido valorada por expertos, peer review? ¿Se ha comprobado que la aplicación de la guía en la práctica produzca beneficios? ¿Cuáles son sus recomendaciones? ¿Las recomendaciones son aplicables y clínica-mente relevantes? ¿Cuál es la fuerza de las recomendaciones? ¿Cuál es el impacto de las incertidumbres de las evidencias en las que se basa la guía? ¿Son útiles los resultados en la práctica clínica? ¿Las recomendaciones son aplicables a nuestros pacientes? ¿El objetivo de la guía es consistente con sus obje- tiVOR 7 Tabla 18 Análisis de decisión clínica* ¿Son válidos los resultados del estudio? -¿Se han incluido todos los resultados y estrategias importantes? -¿Se ha utilizado un método adecuado para identi-ñcar, seleccionar y combinar las evidencias y esta-blecer probabilidades? -¿Se han obtenido las utilidades de forma adecuada y a partir de fuentes fiables? -¿Se ha estimado el impacto de las posibles incerti-dumbres existentes? -¿Se ha ajustado por todos los factores pronósticos importantes? ¿Cuáles han sido los resultados del estudio? - ¿Hay una estrategia claramente superior a las otras? - ¿Cuál es el nivel de calidad de las evidencias de los estudios incluidos en análisis? -¿Podffa modificarse el resultado a causa de las in-certidumbres existentes? ¿Son útiles los resultados en la práctica clínica? -¿Se ajustan las estimaciones de probabilidad a las caracteffsticas clínicas de nuestros pacientes? -¿Valorarían nuestros pacientes las utilidades de forma similar? Tomado de Richardson2t7 y Richardson218. Tabla 20 Artículos sobre calidad de vida relacionada con la salud* ¿Son válidos los resultados del estudio? Criterios primarios: -¿Las variables incluidas miden aspectos conside-rados importantes por los pacientes? -¿Los instrumentos utilizados miden la calidad de vida de forma válida, fiable y precisa? Criterios secundarios: -¿Se incluyen todos los aspectos importantes rela-cionados con la calidad de vida? -En el caso de que existan estudios que hayan reali-zado una evaluación económica o hayan medido la relación calidad-cantidad de vida, ¿se han em-pleado en el artículo las medidas adecuadas? ¿Cuáles han sido los resultados? -¿Cuál fue la magnitud del efecto sobre la calidad de vida ? ¿Son útiles los resultados en la práctica clínica? -¿Son útiles los resultados en el proceso de infor-mación a nuestros pacientes? -¿Consigue el estudio una buena simulación de la práctica clínica real? -¿Se ajustan las estimaciones de probabilidad a las caracteffsticas clínicas de nuestros pacientes? Tomado de Hayward219 y Wilson220. ' Tomado de Guvatt22t. lr Tabla 21 Ensayos clínicos aleatorios* r 1. Asignación de tratamientos: -¿La asignación fue aleatoria? -¿Hubo enmascaramiento en la asignación? 2. ¿Los diferentes grupos fueron similares en cuanto a los más importantes factores pronósticos? 3. ¿Se especificaron los criterios de inclusión y ex-clusión establecidos? 4. ¿Hubo enmascaramiento para los investigadores? 5. ¿Hubo enmascaramiento para los médicos que atendieron a los pacientes participantes? 6. ¿Hubo enmascaramiento para los pacientes? 7. ¿Se presentaron las medidas de resultado junto con sus medidas de dispersión? 8. ¿Se realizó un análisis por intención de tratar? * Tomado de Verhagen222 Tabla 22 Estudios de evaluación económica de la atención médins* ¿Son válidos los resultados del estudio? ¿Se han considerado todas las estrategias clínicas relevantes ? ¿Se han considerado los costes y resultados desde los puntos de vista más importantes? ¿Se han medido correctamente los costes y resul-tados? ¿Se ha analizado el impacto de las incertidumbres que existen en los datos? ¿Se ha considerado la situación clínica basal de la población en los datos incluidos en el análisis? ¿Cuáles han sido los resultados? ¿Cuáles fueron los costes y resultados incrementa-les de cada una de las estrategias consideradas? ¿Se han observado diferencias en los costes y re-sultados incrementales entre subgrupos? ¿Cuál es el impacto de las incertidumbres de los datos incluidos? ¿Son útiles los resultados en la práctica clínica? ¿Los beneficios compensan los costes y efectos ad-versos? ¿La valoración de los resultados clínicos y de los costes es aplicable a nuestros pacientes? Tomado de Drummond223 y O'Brien224. Anexo IV. Clasificaciones del grado de evidencia científica La ETS supone la formulación de recomenda-ciones basadas en la mejor evidencia científi-ca disponible y en el análisis del contexto. Las escalas de clasificación de la evidencia cientí-fica contribuyen a determinar la calidad y el rigor científico de la información disponible, a la vez que permiten establecer la fuerza de cada una de las recomendaciones del informe tanto en el sentido de aconsejar la adopción de la tecnología como de que ésta se deje de utilizar si las evidencias indican la carencia o insuficiencia de datos positivos sobre su efec-tividad. 1. NIVELES DE CALIDAD DE LA EVIDENCIA CIENTÍFICA Las siguientes clasificaciones diferencian de forma jerárquica los distintos niveles de evi-dencia en función del rigor científico del dise-ño del estudio, aunque una clasificación ade-cuada de la importancia de los estudios debe-ria incluir también el análisis crítico de su ca-lidad (desarrollo, pérdidas de sujetos, calidad de las fuentes de datos y otros aspectos). A continuación se presentan las clasificaciones más aceptadas y difundidas. Tabla 23 Clasificación de la evidencia científica según el diseño del estudioa (tomado de US Preventive Task Force225) 1. Evidencia obtenida a partir de al menos un ensayo aleatorizado y controlado diseñado de forma aproplada. ll.1. Evidencia obtenida de ensayos controlados bien diseñados, sin randomización. 11.2. Evidencia obtenida a partir de estudios de cohorte o caso-control bien diseñados, realizados pre-ferentemente en más de un centro o por un grupo de investigación. 11.3. Evidencia obtenida a partir de múltiples series comparadas en el tiempo con o sin intervenciónb 111. Opiniones basadas en experiencias clínicas, estudios descriptivos o informes de comités de ex-pertos. a: De mayor (I) a menor (111) calidad. b: Este tipo de evidencia también incluye resultados muy llamativos en experimentos sin grupo control, como los deri- vados de la introducción de la penicilina en los años cuarenta. Tabla 24 Calidad de la evidencia según el diseño del estudio (modificado de Bertram226 y Goodman56) Ensayos aleatorios controlados de gran tamaño, revisiones sistemáticas o meta-análisis de ensayos aleatorios controlados. Ensayos aleatorios controlados de pequeño tamaño. Ensayos no aleatorios con controles coincidentes en el tiempo. Ensayos no aleatorios con controles históricos. Estudios observacionales de cohortes. Estudios observacionales casos-controles. ffilgilancia epidemiológica, Estudios descriptivos, Información basada en registros. Estudio de series de casos multicéntrico. Estudio de series de casos unicéntrico. Estudio de un caso o anécdota Tabla 25 Clasificación de la evidencia científica (modificado de Jovell227) Nivel Tipo de diseño Condiciones de rigurosidad científica I Meta-análisis de ensayos controlados y aleatorizados No heterogeneidad, calidad de los es- tudios II Ensayo controlado y aleatorizado de muestra grande Evaluación del poder estadístico, mul- ticéntrico, calidad del estudio III Ensayo controlado y aleatorizado de muestra pequeña Evaluación del poder estadístico, cali- dad del estudio IV Ensayo prospectivo controlado no aleatorizado Controles coincidentes en el tiempo, multicéntrico, calidad del estudio V Ensayo prospectivo controlado no aleatorizado Controles históricos, calidad del estudio VI Estudios de cohortes Multicéntrico, apareamiento, calidad del estudio VIi Estudios de casos y controles Multicéntrico, calidad del estudio VIII Series clínicas sin grupo control Multicéntrico Estudios descriptivos . Juicio de expertos IX Anécdotas o casos únicos 2. RELACIÓN ENTRE LA CALIDAD DE LA EVIDENCIA CIENTÍFICA Y LA FUERZA DE LAS RECOMENDACIONF.!R Las recomendaciones acerca de la adopción o no de una nueva tecnologia sanitaria formu-ladas por las agencias de ETS deben surgir del análisis y síntesis de la evidencia disponible en la literatura médica, para lo cual puede ser útil presentar las evidencias clasificadas se-gún el rigor científico. En ese sentido, la tabla 26 establece la correspondencia entre el nivel de calidad científica y la fuerza de la reco-mendación que surge de la evidencia. Se ha seleccionado esa propuesta, aunque se han publicado otras interesantes228 229. Tabla 26 Relación entre los niveles de calidad de la evidencia científica y el grado de recomendaciones (modificado de Sackett230) Nivel de calidad Grado de recomendacióna I. Ensayos aleatorizados con una muestra gran- A Adecuada evidencia científica para recomen- de y resultados bien definidos (y un riesgo dar la adopción de la tecnología bajo de error estadístico tipo a y ~) E Adecuada evidencia para recomendar la no- adopción II. Ensayos aleatorizados con una muestra pe- B Cierta evidencia científica para recomendar queña (y un riesgo moderado o alto de error la adopción de la tecnología estadístico tipo a y D) D Cierta evidencia para recomendar la NO adopción 111. Estudios no aleatorizados, cohortes concu- C Insuficiente evidencia científica, por lo que la rrentes en el tiempo decisión de adoptar la tecnología debe basar- se en otros criterios IV. Estudios no aleatorizados, cohortes históricas C V. Estudios no controlados, series clínicas C a: E1 grado de recomendaciones se define en US Preventive Task Force225 y en Canadian Task Force 3. CLASIFICACIÓN DE LOS ESTUDIOS SOBRE EFICACIA DIAGNÓSTICA Tabla 27 Clasificación de los niveles de estudios sobre eficacia diagnóstica con las medidas de resultado típicas (tomada de Fryback232) Nivol T T~fient ia Técnica 11. Eficacia en la Exactitud Diagnóstica 111. Eficacia Presumible Diagnóstica IV. Eficacia Terapéutica V. Eficacia en Resultados para los Enfermos VI. Eficacia Social MnAiri:le dP roelllts~n Resolución de pares de líneas Cambio en la función de transferencia de modulación Rango en la escala de grises Cantidad de abigarramiento Nitidez Cantidad de diagnósticos normales o anormales en una serie de casos Exactitud diagnóstica (porcentaje de diagnósticos correc-tos en una serie de casos) Sensibilidad y Especificidad en una situación clínica de-finida Medidas del área de la curva ROC Porcentaje de casos en los que la imagen se juzgó útil para realizar el diagnóstico. Cambios en la tendencia de la distribución de probabili-dades del diagnóstico diferencial - Diferencias subjetivas clínicas en las probabilidades diagnósticas antes y después de la prueba Cociente de probabilidades estimado de forma empírica y subjetiva para una prueba positiva y negativa Porcentaje de veces en que la imagen se consideró útil para planificar el manejo de los enfermos en series de casos. Porcentaje de veces en que procedimientos médicos (te-rapéuticos o diagnósticos) fueron evitados por la infor-mación suministrada por la imagen Porcentaje de veces en que la terapia pre-prueba cambió tras la información de la imagen (inferido retrospectiva-mente de los informes clínicos) Porcentaje de veces que cambiaron los clínicos su tera-pia después de obtener la información de la prueba. Porcentaje de enfermos que mejoraron con la prueba diagnóstica en comparación con los que no la usaron Procedimientos médicos o morbilidad evitados tras la in-formación suministrada por la imagen Cambios en AVACs (Años de Vida Ajustados por Calidad) Coste por AVACs ahorrado por la información suminis-trada por la prueba diagnóstica Análisis coste/beneficio, coste/efectividad o coste/utili-dad realizado desde una perspectiva social. Tabla 28 Criterios de clasificación de estudios que evalúan pruebas diagnósticas por imagen (tomado de Flvnn188) Grado Criterio fundamental Requisitos I Estudios con resultados -235 enfermos y >35 sujetos sin la enfermedad analizada generalizables a una am- (ya que tales números dan un intervalo de confianza del plia variedad de enfermos 95% cuyo límite inferior excluye 0,90 si el error estándar es y que no presentan defec- de 1). tos metodológicos signifi- -Pacientes escogidos de una muestra clínica representativa cativos (no filtrados para incluir sólo casos graves) cuyos síntomas sean completamente descritos. -Los diagnósticos han de ser definidos por un estándar de referencia apropiado. -Los estudios han de ser de alta calidad técnica y evaluados independientemente del diagnóstico de referencia. Estudios con un espectro ->35 enfermos con y sin patología. más estrecho de generali- -Espectro más limitado de pacientes, presencia de sesgo de zación, y con pocos defec- selección (por ejemplo: pacientes con patología más grave tos metodológicos que es- por estar ingresados en Centros Universitarios). tán bien descritos (su im- -Libre de otros defectos metodológicos que promuevan in- pacto en los resultados teracción entre los resultados de la prueba y el diagnóstico puede ser evaluado) de la enfermedad. - Estudios prospectivos. III Estudios con varios defec- - Muestras pequeñas. tos metodológicos -Información incompleta. -Estudios de exactitud diagnóstica restrospectivos IV Estudios con múltiples de- -No existe un estándar de referencia fiable para el diagnós- fectos metodológicos tico. -Dependencia entre los resultados de la prueba estudiada y la determinación del diagnóstico final. -No se pudo determinar la fuente de la cohorte de pacien- tes o estaba obviamente influida por los resultados de la prueba (sesgo de verificación). -Opiniones no basadas en los datos. Referencias 1. Conde JL. Evaluación de Tecnologias Sanitarias: Racionalización frente a racionamiento. Revista de Admi-nistración Sanitaria. 1998; vol: 2, n.° 5: 139-147. 2. OCDE Health Data. A software packagefor the international comparision of health care systems. [archivo de or-denador] Version 1.5. París: OCDE, 1993. 3. Glover JA. The incidence of Tonsillectomy in School Children. Proc Roy Soc Med 1938; 31: 1219-36. 4. WennbergJE, Gittelsohn A. Small area variations in health care delivery. Science 1973; 182: 1102-1108. 5. Chassin MR, KosecoffJ, Park ER, et al. Variations in the use of medical and surgical services by the Medi-care population. New Engll Med. 1986; 314: 285-90. 6. WennbergJE. Dealing with medical practice variations: a proposal for action. Health Affairs. 1984; 3: 6-32. 7. McGlynn EA, Naylor CD, Anderson GM et al. Comparison of the appropiateness of coronary angio-graphy and coronary artery bypass graft surgery between Canada and New York State. JAMA 1994; 272: 934-940. 8. Bernstein SJ, Kosecoff J, Gray D, Hampton JR, Brook RH. The appropriateness of the use of cardiovascular procedures. British versus US perspectives. IntJ Technol Assess Health Care 1993; 9: 3-10. 9. US Congress, Of fice of Technology Assessment. Identitying health technologies that work. Searching for Eviden-ce. OTA-H-608. Washington DC: US Government Printing Office,1994. 10. Brook RH, Chassin MR, Fink A, and cols. A method for the detailed assessment of the appropriateness of medical technologies. IntJ of Technology Assessment in Health Care. 1986; 2: 52-63. 11. Relman AS. Assessment and accountability: the third revolution in medical care [editorial]. N Engl J Med 1988; 319: 1.220-2. 12. US Congress, Of fice of Technology Assessment, Assessing the etficacy and safety of medical technologies. Publi-cation n.° OTA-75. Washington DC: US Government Printing Office,1978. 13. Granados A. La evaluación de las Tecnologías Médicas. Med Clin (Barc) 1995; 104: 581-588. 14. Ministerio de Sanidad y Consumo - Instituto de Salud Carlos III - Agencia de Evaluación de Tecnologías Sanitarias (AETS). Evaluación Epidemiológica de Tecnologias de Salud. Madrid: AETS - Instituto de Salud Carlos III, 1995. 15. Liberati A, Sheldon TA, Banta HD. EUR-ASSESS Project Subgroup Report on Methodology. Methodological Guidance for the Conduct of Health Technology Assessment. Intl J of Technology Assesssment in Health Care. 1997; 13,2; 186-219. 16. Banta HD, Luce B. Health Care Technology and its Assessment. An international perspective. New York: Oxford University Press,1993. 17. Evidence-Based Medicine Working Group. Evidence-based medicine. A new approach to teaching the practice of medicine. JAMA 1992; 268: 2.420-5. Edición española 1997. 18. Gol JM. Bienvenidos a la medicina basada en la evidencia. JAMA (edición española) 1997. 19. Cook DJ, Mulrow CD, Haynes RB. Systematic Reviews: Synthesis of Best Evidence for Clinical Decisions. Ann Tntorn M>d 1qq7 19G t7f; tRn 20. Thompson SG, Pocock SJ. Can Meta-Analyses Be Trusted?. Lancet 1991; 338 (8775): 1127-1130. 21. Alberta Heritage Foundation for Medical Research. Health Technology Assessment in Alberta (folleto divulga-tivo). Edmonton, Alberta, Canada,1998. 22. Hailey D, Harstall C, Corabian P, Swist F. The Impact of rapid technology assessments. Proceedings of the 14th Annual Meeting of the International Society of Technology Assessment in Health Care; 1998, june 7-10; Otta-wa, Ontario, Canada. 23. Field MJ, Lorh KN, editores. Guidelines for clinical practice. From Deuelopment to Use. Institute of Medicine. Washington, DC: National Academy Press, 1992. 24. US Department of Health and Human Services, Agency for Health Care Policy and Research. Using Clinical Practice Guidelines to Evaluate Quality of Care (volume I). Publication n.° 95-0045. Rockville, MD: Executive Of-fice Center,1995. 25. US Department of Health and Human Services, Agency for Health Care Policy and Research. Using Clinical Practice Guldelines to Evaluate Quality of Care (volume II). Publication n.° 95-0046. Rockville, MD: Executive Office Center, 1995. 26. Audet A, Greenfield S, Field M. Medical practice guidelines current activities and future directions. Ann In-tern Med 1990; 113: 709-714. 27. Woolf SH, Battista RN, Anderson GM, Logan AG, Wang E, and the Canadian Task Force on the Periodic He-alth Examination. A report by the Canadian Task Force on the Periodic Health Examination. J Clin Epide-minl 199() 4R- R%1-g()R 28. Lázaro R Evaluación de Tecnologia Médica. Papeles de Cestión Sanitaria. Monografía n.° 11-94. Valencia: M/C/Q Ediciones, Valencia, 1994. 29. AETS (Agencia de Evaluación de Tecnologías Sanitarias). Fichas técnicas de Eualuación de Tecnologías Sanita-rias. Consejo Interterritorial del Sistema Nacional de Salud. Madrid, octubre de 1998. 30. Stevens RG. Identifying new health care technologies in the United Kingdom. International Journal of Tech-nology Assessment in Health Care 1997; 13 (1): 59-67. 31. Manual de la Colaboración Cochrane (versión española de "Mulrow CD, Oxman AD (eds). The Cochrane Co-llaboration Handbook") [actualización de Septiembre 1997l. Sabadell: Centro Cochrane Español; 1998. 32. Wennberg JE, Bunker JP, Bames B. The need for assessing the outcome of common medical practices. An-nual Reuiew of Public Health 1980; 1: 277-295. 33. Wennberg JE. What is outcomes research? En: Gelijns AC, ed. Modern methods of clinical investigation. Was-hington DC: National Academy Press, 1990, pp. 33-46. 34. Greenfield S. The state of outcomes research: are we on target? N Engl J Med 1989; 320: 1142-1143. 35. Echt DS, et al. Mortality and morbidity in patients receiving encainide, flecainide, or placebo. The Cardiac Arrhythmia SuppreSsion Trial N. Ena ] Med 1991: 324:781-788. 36. Miller FW, Leitman SF, Cronin ME et al. Controlled tnal of plasma exchanRe and leukapheresis and der-matomyositis. N Enql J Med 1992: 326: 1380-1384. 37. Ruberman W, Weinblatt E, Goldberg JD, Frank CW, Shapiro S. Ventricular premature beats and mortality after myocardial infarction. N Engl J Med 1977; 297: 750-7. 38. The CAPS (Cardiac Arrhythmia Pilot Study) Investigators. Effects of encainide, flecainide, imipramine and moricizine on ventricular arrhythmia during the year after acute myocardial infarction: the CAPS. Am J Cardiol 1988; 61: 501-9. 39. Gotzsche PC, Liberati A, Torri V, Rosetti L. Beware surrogate endpoints. International Journal of Technology As-sessment in Health Care 1996; 12: 238-246. 40. Guallar E, Conde JL, de la Cal A, Martín-Moreno JM. Guía para la evaluación de proyectos de investigación en ciencias de la salud. Med Clin (Barc) 1997; 108: 460-471. 41. Friedman GD. Principios de epidemiología. México: Panamericana, 1975. 42. Hulley SB, Cummings SR, editores. Diseño de la investigación clínica. Un enfoque epidemiológico. Barce-lona: Doyma, 1993. 43. Bakke OM, Camé X, García-Alonso F. Ensayos clínicos con medicamentos: Fundamentos básicos, metodo-logía y práctica. Barcelona: Doyma, 1994. 44.- Roca J. Cómo y para qué hacer un protocolo. Med Clin (Barc) 1996; 106: 257-262. 45. CRD (The National Health Service Centre for Reviews and Dissemination). Undertaking Systematics Reuiews of Research on Effectiueness. CRD Guidelines for Those Carrying Out or Commissioning Reuiews. York: University of York, 1996. 46. Faber RG. Information overload [carta]. BMY 1993; 307: 383. 47. Mulrow CD. Rationale for systematic reviews. BMy 1994; 309: 597-599. 48 Dickersin K, Scherer R, Lefebvre C. Identifying relevant studies for systematic reviews. British Medical Jour-nal 1994:309: 1286-91. 49. Smith BJ, Darzins PJ, Quinn M, Heller RE Modem methods of searching the medical literature. Med J Aust 1992; 157(9):603-11. 50. Pérez JR. Introducción a la Información y Documentación Científica. Madrid: Alhambra, 1987. 51. Gotzsche, RC. Reference bias in reports of drug trials. BMy 1987; 295: 654-6. 52. US Congress, Of fice of Technology Assessment. Tools for Eualuating Health Technologies: Fiue Background Pa-pers. Publication n.° BP-H-142. Washington DC: US Government Printing Office, 1995. 53. Torres I. La llamada literatura gris. Reflexiones sobre su naturaleza y desarrollo de instrumentos biblio-gráficos para identificación y localización. Boletin de la Asociación Andaluza de Bibliotecarios 1994, 34: 41-59. 54. Torres I. La llamada literatura gris. Reflexiones sobre su naturaleza y desarrollo de instrumentos biblio-gráficos para identificación y localización. Boletin de la Asociación Andaluza de Bibliotecarios 1994, 35: 9-26. 55. Martín W. Medicina Basada en la Evidencia: el papel de las bibliotecas médicas. Anuari SOCADI de docu-mentació i informació 1998, pp: 241-4. 56. Goodman C. Literature Searching and evidence interpretationfor assessing health care practices. Estocolmo: The Swedish Council on TechnoloRy Assessment in Health Care. 1993. 57. McKibbon KA, Walker-Dilks CJ. Beyond ACP Joumal Club: how to hamess MEDLINE to solve clinical pro-blems [editorial]. ACPJournal Club 1994 mar-apr: A10-A12 (Ann Intern Med 120 suppl 2). 58. KA, Walker CJ. Beyond ACP Joumal Club: how to hamess MEDLINE for therapy problems [editorial]. ACP Journal Club 1994 jul-aug: A10 (Ann Intern Med 121 suppl 1). 59. McKibbon KA, Walker CJ. Beyond ACP Journal Club: how to harness MEDLINE for diagnosis problems [edi-torial]. ACPJournal Club 1994 sep-oct: A10 (Ann Intern Med 121 suppl 2). 60. McKibbon KA, Walker-Dilks CJ, Wilczynski NL et al. Beyond ACP Journal Club: how to hamess MEDLINE for review articles [editorial]. ACPJournal Club 1996 may-jun: A12-13. 61. Walker-Dilks CJ, McKibbon KA and Haines RB. Beyond ACP Joumal Club: how to harness MEDLINE for etiology problems [editorial]. ACPJournal Club 1994 nov-dec: A10-A11 (Ann Intern Med 121 suppl 3). 62. Walker-Dilks CJ, McKibbon KA and Haines RB. Beyond ACP Joumal Club: how to harness MEDLINE for prognosis problems [editorial]. ACPJournal Club 1995 jul-aug: A12-A14 (Ann Intern Med 123 suppl 1). 63. Hewitt P, Chalmers TC. Using MEDLINE to Peruse the Literature. Controlled Clinical Trials 1985; 6: 75-83. 64. Greenhalgh T. How to read a paper. The Medline database. BMJ 1997; 315: 180-3. 65. Reference Manager [archivo de ordenador]. Windows version 8.5. Carlsbad: Research Information Systems Inc, 1997. 66. Pro-Cite [archivo de ordenador]. DOS version 2.1. Ann Arbor: Personal Bibliographic Software, 1993. 67. End-Note version 3.0. [archivo de ordenador]. Berkeley, California: Niles Software, (http://www.software-cientifico.com/endnote.htm) 1 999. 68. Hersh W, Hickam DH, Haynes RB, McKibbon KA. Evaluation of SAPHIRE: an automated approach to inde-xing and retrieving medical literature. Proc Annu Symp Comput Appl Med Care 1991; 808-812. 69. Last JM. A Dictionary of Epidemiology. New York: Oxford University Press, 1995. 70. Laird NM, Mosteller E Some statistical methods for combining expenmental results.-lntJ Tech Assess in He-alth CnrP 149n f; S tn 71. Stone DH. Design a questionnaire. BMJ 1993; 307:1264-6. 72. Hemández I, Porta M, Miralles M, García F, Bolúmar R La cuantificación de la variabilidad en las observa-ciones clínicas. Med Clin (Barc) 1990; 95: 424-429. 73. Begg CB, Berlin JA. Publication bias and dissemination of clinical research. J Natl Cancer Inst 1989; 81: 107-15. 74. Berlin JA, Begg CB, Louis TA. An assessment of publication bias using a sample of published clinical trials. l Am Stat Assoc 1989: 84 8R1-92 75.Hedges LV. Modelling publication selection effects in meta-analysis. Stat Sci 1992; 7: 246-55. 76.Iyengar S, Greenhouse JB. Selection models and the file drawer problem. Stat Sci 1988; 3: 109-35. 77.Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR. Publication bias in clinical research. Lancet 1991; 337:RA7 79 78.Chalmers I. A register of controlled trials in perinatal medicine. WHO Chron 1986; 40: 61-65. 79. Dickersin K. Report from the panel on the Case for Registers of Clinical Trials at the Eighth Annual Mee-ting of the Society for Clinical Trials. Controlled Clin Trials 1988; 9: 76-81. 80.Dickersin K. Keeping posted. Why register clinical trials? - revisited. Controlled Clin Trials 1992; 13: 170-7. 81. Follmann D, Elliott P, Suh I, Cutler J. Vanance imputation for overviews of clinical trials with continuous response.J Clin Epidemiol 1992; 45: 769-73. 82.Greenland S. Quantitative methods in the review of epidemiologic literature. Epidemiology Reviews 1987; 9: 1 an 83. The Standards of Reporting Trials Group. A proposal for structured reporting of randomized controlled trials. JAMA 1994: 272: 1926-31