4 feb 2012

LA JERARQUIA DE LA EVIDENCIA


Gran parte de la información que recibimos  ya sea científica o no, se reduce al cruce de variables, las que pueden ser causa y efecto o algún otro tipo de relación entre ellas. Cuando se nos presenta esta información, de nosotros depende determinar que tan fiable es, evaluando su grado de certeza y la forma como se me presenta, lo primero es categorizarla dentro de cualquiera de las siguientes formas, que corresponden a la pirámide de la evidencia:

EVIDENCIA MAS FUERTE

EVIDENCIA MAS DEBIL




Cada uno es mas fuerte que el anterior, por lo tanto cada uno me va a dar mas certeza, pero ojo, debo evaluarlos también de forma individual.

Vamos a ver varios ejemplos para analizarlos

  • Pensamiento Positivo – Éxito
  • Calendario Chino – Sexo del bebe
  • Rezar – Curación milagrosa
  • Homeopatía – Curación
  • Señal del teléfono móviles – Cáncer de Cerebro
  • Cigarrillo – Cáncer de Pulmón


TESTIMONIO
El Testimonio es la mas débil de todas, y claro, la mas frecuente, el problema del testimonio no es que no sea valido, simplemente que le damos mas valor del que merece, como al pretender confirmar una verdad o una relación entre variables, ¿Por que?, porque se pueden encontrar testimonios de prácticamente cualquier cosa, por que la psicología humana es susceptible de muchos errores de razonamiento, por que  rechazamos la posibilidad del azar, mala percepción, o por que simplemente es mas probable que sea falso (Hume). Cuando estamos frente a una información presentada como testimonio no debemos negarla, simplemente considerarla como insuficiente para aceptar la relación de dos variables como cierta.

  • Participe en un sorteo de una bicicleta, dure varios días diciéndome a mi mismo que esa bicicleta seria mía, y en el momento del sorteo, INCREIBLE, me la gané.
  • De acuerdo al calendario chino si sumo la edad de la mujer y el número de mes en que el niño será concebido si da un número par será niño, si es impar será niña, he comprobado esto con mi bebe y con el de varios conocidos y ¡Coincide!  ver
  • Tenia un cáncer de estomago en fase avanzada, los médicos me dijeron que no tenia posibilidad de sobrevivir, me encomendé a Dios, con mucha fe, y de forma increíble mi cáncer desapareció, me cure, fue un milagro.
  • Después de un accidente tuve un dolor persistente en una de mis piernas, consulte a muchos médicos, y ninguno pudo quitarme el dolor, finalmente probé con un medicamente homeopático, y mejoré, mientras lo tomaba nunca volvía a sentir dolor.
  • Acabo de conocer una familia donde dos familiares, padre e hijo han fallecido por tumor cerebral, ahora la mama esta recién operada de lo mismo, los interrogue y encontré que cerca de su casa hay una antena gigantesca de telefonía móvil.
  • Tengo un primo, que fumó desde los 16 años una cajetilla diaria, la semana pasada falleció de Cáncer de Pulmón, - Pero mi abuelo por el contrario fumó toda su vida, y falleció a los 80 años de un infarto.
Todos son ejemplos de Testimonios, y todos los he tomado de la vida real, algunos pueden ser muy persuasivos, como el de las antenas de móviles, otros pueden ser increíbles, como curarme de cáncer, pero todos se limitan a eso, a testimonios, por lo que siguen siendo muy débiles para considerarlos como una confirmación de verdad o dicho de otra forma, que realmente ambas variables tienen una relación directa.


DATOS
Las cifras son las que me permiten subir un nivel, las cifras mejoran mucho la posibilidad que esta información sea cierta, que son los datos?, es simplemente el número de casos positivos encontrados dentro de una población, por ejemplo 200 personas de cada 1000, presentaron X situación, cuando se nos presente un testimonio, indaguemos si tenemos acceso a los datos, y solo entonces podremos darle algo mas de credibilidad.

  • Debemos buscar, el número de personas que ha ganado algo gracias al pensamiento positivo pero este dato es desconocido.
  • El número de padres en una población que ha logrado acertar el sexo de sus hijos, en este caso es muy importante saber que deberíamos esperar que acertaran por lo menos en el 50%, que es lo que espero por azar, de ser cierto el calendario chino se acertarían muchos mas, tal vez el 90% o el 100%, pero este dato es desconocido.
  • ¿Cuantas personas han tenido curaciones milagrosas?, dato desconocido casi siempre, digo casi por que hay algunos datos buenos, por ejemplo la iglesia Católica a documentado de forma oficial, sesenta y siete casos de curación milagrosa entre los fieles que han asistido al Santuario de Lourdes, desde de su apertura. ver
  • Homeopatía, después de una búsqueda exhaustiva no he encontrado ningún dato sobre la tasa de curación de los diferentes medicamentos homeopáticos, eso no significa que no exista, pero si alguien tiene alguna fuente al respecto me gustaría que me la facilitara, pero en principio y por ahora diremos que estos datos son desconocidos.
  • Antenas de Móviles, lo mismo, solo encuentro testimonios, no he encontrado ningún dato preciso sobre el número de casos de cáncer de cerebro que se han relacionado directamente con antenas de móviles, la información hasta hora es limitada, por lo que no hay suficiente evidencia para afirmarlo. ver
  • El 95% de las muertes por cáncer de pulmón se producen en pacientes fumadores o exfumadores, el consumo de cigarrillo relacionado con muertes en los fumadores del mundo se acercó al 10%, cada año el cigarrillo mata 6 millones de personas (600.000 pasivos), y para el 2030 se calcula que matara 8 millones anuales.    ver



El CRUCE DE LOS DATOS 

Cuando deseo profundizar aun mas en la certeza de un conocimiento, es indispensable que se me presente un dato estadístico, al cruzar los datos, puedo encontrar una gran fortaleza a la hora de determinar la relación entre dos variables.
No te asustes por ver datos u operaciones, son muy sencillas, pero si no puedes con ellas, ten en cuenta que te van a seguir metiendo los dedos en la boca.

Hagamos el ejemplo con el par Cigarrillo – Cáncer de Pulmón

Sabemos que el 95% de los paciente que mueren por cáncer de pulmón son fumadores, puedo sacar conclusiones?, tal vez, pero serian mucho mejores si dispongo de datos cruzados, veamos

Para cruzar los datos necesito varios valores
Número de Fumadores                                   1300
Número de no Fumadores                              3015
Número de muertos por Cáncer de Pulmón      315
Número de muertos por otras causas              4000

Pero esto no es suficiente, necesito cruzar los datos entre ellos

Número de Fumadores muertos por cáncer de Pulmón            300
Número de Fumadores muertos por otras causas                    1000
Número de No Fumadores muertos por cáncer de Pulmón        15
Número de No Fumadores Muertos por otras causas             3000

Miremos una tabla de matriz para que sea mas sencillo

Cáncer de Pulmón
Otras Causas
TOTAL
Fumadores
300
1000
1300
No Fumadores
15
3000
3015
TOTAL
315
4000
4315

Hay varias maneras de cruzar los datos, ya sea que quieras calcular la razón o el riesgo relativo, pero esto ya es algo técnico, así que lo hare de la forma mas sencilla.

El porcentaje de muerte de los fumadores por cáncer de pulmón dijimos que es del 95%, esto lo obtenemos de dividir 15 en 300 y multiplicarlo por 100.

Si quiero calcular la exposición de los muertos por cáncer de pulmón divido los fumadores entre los no fumadores 300/15 resultado 20.

Si quiero calcular la exposición de los que mueren por otras causas, hago el mismo ejercicio 1000/3000 resultado 0,33.

Finalmente divido ambas variables, para obtener la relación entre ambas
20/0,33 resultado 60

¿Pero que significa ese 60?

Simplemente que los fumadores tiene solo 60 veces mas posibilidades de morir por cáncer de pulmón que los no fumadores.

Esto si es una información mucho mas valiosa que la información nivel DATOS, es bueno saber que el 95% de los canceres de pulmón son fumadores, pero la verdadera información útil es cuando sé el número de personas fumadoras y no fumadoras que mueren de cáncer de pulmón y los cruzo, para conocer la diferencia entre uno y otro.

En fin, para concluir la relación entre Cigarrillo y Cáncer de Pulmón, me pueden dar el testimonio de una persona que muere de cáncer de pulmón, pero es mucho mejor si me dan los datos de el número de personas fumadoras que mueren de cáncer de pulmón, pero todavía es mejor si me cruzan los datos y me dicen cuantas veces es mas probable morir de cáncer de pulmón si fumo o si no.


Tu me puedes contar muchas historias sobre cáncer de cerebro por antenas de teléfonos móviles, pero si no me das un estudio con datos fiables, donde me demuestres un aumento del riesgo con respecto a los que no viven cerca, el grado de certeza de tu información es realmente bajo, es mas, diversos estudios que ya se han realizado no han encontrado certeza de algún tipo de relación, por lo menos hasta ahora (ver), eso no significa que no exista, la estadística no me prueba la no relación, por lo que no sobran ciertas precauciones - aquí los hechos probados


Si me dices que en Lourdes existieron 66 curaciones milagrosas, es fabuloso, pero cuando sé que a la ciudad de los pirineos han asistido 300 millones de fieles, y asumiendo que de ellos, veinte millones tendrían enfermedades graves, la posibilidad de curación milagrosa es de uno sobre trescientos  mil, lo cual es mucho menor, que la tasa de curación espontanea de cáncer, la cual es uno sobre diez mil, ¿Que significa esto?, ¡Que tienes treinta veces mas posibilidades de curarte de cáncer, si te quedas en casa que si vas de viaje a Lourdes! (Sagan - El mundo y sus demonios).

Para profundizar en ello se puede buscar el Odds Ratio, el Riesgo Relativo y Probabilidad (1-RR)

Estas tres formas de categorizar la información que recibo (Testimonio, Datos y Cruce de Datos) son de forma consecutiva cada una mejor que la otra, pero no debemos olvidar que ninguna de ellas nos da certeza total, y a pesar que le doy un mayor valor a cada una debo ser consiente que pueden darme información falsa o errada en cada una.

Testimonio, puede ser una mentira, puede ser un error de percepción, puede ser un error de la memoria.

Datos: pueden ser datos no fiables (importante evaluar la fuente), pueden ser datos falseados, o manipulados.

Cruce de Datos, pueden ser obtenidos de datos falsos, pueden ser tomados de muestras de población no representativas (sesgados), o no suficientes (falaz al realizar estadística de números pequeños).


Entonces en la jerarquía de la evidencia, no solo debo buscar el mas alto, también debo determinar, que este, esté correctamente desarrollado, no importa el nivel, si esta soportado en errores, las conclusiones serán erróneas.

Miremos ahora el nivel mas alto.


La falsación es la mejor herramienta que tenemos, para darle credibilidad a cualquier información,
¿Qué es la falsación?
Es una prueba diseñada para demostrar que cierta hipótesis, información o idea es falsa, contrario a nuestra tendencia innata, que por lo general es sacar conclusiones frente a información que nos CONFIRMA una idea, cuando lo ideal es buscar NEGARLA o FALSEARLA.

Usemos un ejemplo extremo, si yo tengo dos relojes, que suenan cada hora, pero uno esta retrasado con respecto al otro 10 segundos, yo podría afirmar que cuando el primer reloj suena, este produce que el segundo suene; causa y efecto.

Puedo encontrar muchas formas de CONFIRMAR, esta hipótesis.

Mucha gente ha afirmado que cuando uno suena, casi de inmediato el otro también (Testimonio).

También tengo datos que me dicen que en un mes de 720 veces que sonó el primero, de forma seguida sonó el segundo (Datos).

Después de un análisis he determinado que hay una relación directa, al sonar uno suena el otro, y cuando el segundo suena siempre de forma previa ha sonado el primero, en el 100% de los eventos (Cruce de datos).

Pero a pesar de la aparente fuerza de la información, la gran mayoría de las conclusiones son erróneas o mal construidas, la máxima, para conocer la verdad es falsearla, debo diseñar una prueba que controlando todas las variables, busque que la hipótesis falle, si la prueba es superada, tendrá mucho valor de ser cierta.

¿Como diseñaríamos una prueba para falsear la hipótesis del reloj?, por ejemplo, de forma intencional, yo pondría a sonar el primer reloj de forma aleatoria, esperando que el segundo reloj no suene, si no lo hace (como lo sabemos), la hipótesis se cae.

En resumen...

Muchas pruebas que buscan CONFIRMAR una hipótesis no me dan la garantía que la hipótesis sea CIERTA.
Una sola prueba que busque NEGAR una hipótesis, me puede dar la garantía que la hipótesis es FALSA.


El otro concepto clave es la plausibilidad, que es el soporte teórico que relaciona las dos variables, a pesar que aparentemente en el ejemplo de los relojes cumplen con varios puntos de la jerarquía de la evidencia, no hay ningún tipo de plausibilidad, esto es, no existe alguna explicación a la supuesta respuesta de un reloj cuando suena otro, pasa algo similar con el cáncer de cerebro secundario a las ondas de celular, siendo estas, radiaciones no ionizantes (no mutagénicas), no existe alguna explicación de como van a generar cáncer dichas señales. - ver - 

Ahora usemos de ejemplo un medicamento.

Puedo tener muchas personas que me dicen que se curaron con el medicamento (Testimonio), Puedo afirmar que el 90% de las personas que recibieron el medicamento se curaron (Datos), Puedo tener la información  que las personas tiente un 40% mas posibilidades de curarse tomando el medicamento que no tomando nada (Cruce de Datos), pero, que tal si lo falseamos.

¿Cómo lo hago?

La manera de falsear la hipótesis que un medicamento realmente cura cierta enfermedad, es compararlo contra placebo, se ha comprobado que las personas pueden mejorar al tomar un medicamento, así este no tenga ningún principio activo.

Tomo un grupo de personas de similares características y de forma aleatoria les administro el medicamente en cuestión, y otro idéntico pero sin el principio activo. Luego comparo los que mejoran de un grupo y los cruzo con los que mejoran del otro grupo, si un número significativo de pacientes mejoran con el medicamento comparado con los que toman el placebo, podría concluir que es muy probable que el medicamento sí este relacionado con la curación de la enfermedad.

Aquí es donde precisamente falla la Homeopatía (ver) e incluso algunos medicamentos de la medicina como la Glucosamina, (ver), que no han logrado demostrar, que su efecto curativo  es mejor que el placebo y aun así sigue siendo formulado por algunos médicos que no tienen claro estos conceptos.

Ademas la Homeopatía no cumple con LA PLAUSIBILIDAD, ya que de ser cierta, se encontraría una franca contradicción con la química moderna, las dos simplemente no pueden ser ciertas - ver entrada -


Falsabilidad, es suficiente?

Claro que no, la prueba pudo estar mal diseñada, o sesgada por no ser imparcial, un estudio debe estar muy bien diseñado, y las conclusiones deben limitarse a los datos, muchas veces se pretenden sacar mas conclusiones de las permitidas.

Entre mejor diseñado esté el estudio y entre mas estudios diferentes independientes aumenta mucho mas la certeza

No siempre es posible lograr el nivel mas alto de la escala, puede ser muy costoso o muy difícil, o la cantidad de variables es tal que no todas se pueden controlar, yo no puedo hacer un estudio, donde pongo a un grupo a fumar y a otro no, y espero a ver cuantos se mueren de cáncer, pero a pesar de ello la cantidad de datos y estudios es tal donde cruzando las variables se mantiene de forma consistente la relación entre cigarrillo y cáncer de Pulmón, que mal haría yo en rechazarla por no haberse falseado, eso sin contar que tiene gran soporte teórico, es PLAUSIBLE.

Simplemente al recibir la información, debo evaluarla pensando cual es el máximo nivel posible de certeza que te puede dar, dentro de la jerarquia, y si no esta ahí, ponlo en duda.

Si el máximo nivel de certeza que te da es un Testimonio (o muchos), ponlo en duda

Así que la próxima vez que alguien te cuente una historia, por favor, NO COMAS ENTERO

El concepto de Niveles de evidencia fue desarrollado Guyatt y Sacket para la medicina en 1991 - ver -


Ver otras FALACIAS

5 comentarios:

  1. Respuestas
    1. Las fuentes están conectadas como enlaces en el texto, El concepto de la jerarquía de la evidencia es una adaptación propia de la jerarquía de la evidencia que aprendí como médico en el estudio de la Medicina Basada en la Evidencia, desarrollada por David Sackett y Gordon Guyatt (1991), ya la agregué en la entrada, gracias
      http://www.svpd.org/mbe/niveles-grados.pdf

      Eliminar
  2. MUY BIEN......QH JSS EH31

    ResponderEliminar
  3. Hola! Muchas gracias por la entrada. Recién que te descubro. Soy estudiante de medicina y me abruma pensar que no nos enseñen nada de esto en la carrera con la seriedad que se merece. En cualquier caso quería pedirte si tuvieras un momento, que me recomendaras textos para aprender de forma autodidacta estos temas tan importantes, lógica, MBE, etc.
    Gracias de antemano y un gran saludo. Mi mail es digilmar30@gmail.com

    ResponderEliminar