18/5/10

Tres estudios científicos: el bueno, el feo y el malo

Siguiendo con mi manía personal de reflexionar sobre la buena o mala aplicación del método científico, y sobre todo de lo que nos ofrecen los medios de comunicación a ese respecto, me encuentro hoy con tres llamativas noticias en El País que merece la pena comentar, para descargar un poco la tensión que en los últimos días Zapatero, los malvados especuladores y la (merecida) victoria del Barça en la Liga han dejado en el ambiente:
La primera cita un estudio de la Univ. Politécnica de Madrid encaminado a comprobar si la pulserita de los famo-tontos y de los tontos a secas, mejora o no mejora el equilibrio. Decir, en defensa del honrado cuerpo de ingenieros que se forman en dicha santa casa (entre los que me cuento), que el estudio lo realiza una tal Facultad de Ciencias de la Actividad Física y del Deporte, desconocida para mi hasta el momento, pero al parecer con bastante tiempo libre, como su propio nombre deja entrever...

La segunda noticia cita un estudio de una catedrática de Nutrición de la Univ. Complutense de Madrid.

La tercera no se refiere a un estudio concreto, sino a una entrevista con Thomas Verny, "psiquiatra de bebés y embarazos" (sic) en la que suelta esa perla y alguna otra similar, basándose en "sus experiencias".

Os voy a explicar por qué, a pesar de la apariencia un tanto frívola de las tres noticias (y por extensión de los estudios a los que hacen referencia), la primera me parece BUENA, la segunda FEA y la tercera MALA. Por supuesto, esta es mi opinión personal basada en los datos que se ofrecen en el desarrollo de la noticia, no conozco en detalle los estudios concretos, por lo que podría meter la pata en algún punto (esto lo digo por las posibles querellas, más que nada...)

  • EL BUENO: Resulta que el estudio sobre la pulserita de marras parece cumplir con los pasos necesarios para sacar alguna conclusión relevante en este tipo de estudio: sistema de "doble ciego" (ni los voluntarios ni los experimentadores saben qué pulsera lleva holograma y cuál no, para no influir en los resultados), las pruebas de equilibrio están normalizadas, se utilizan instrumentos para objetivar lo que se entiende por "equilibrio", se hace un estudio estadístico final... y se concluye que "no hay evidencia de efecto en el equilibrio". Sin más. No se cuestiona si la pulsera incrementa la erección, o refuerza la autoestima, o te hace sentir más guapo, etc. Eso, lógicamente, requeriría un estudio ad-hoc similar al anterior.
  • EL FEO: el segundo estudio concluye que "los niños que consumen más pan tienen menos sobrepeso y obesidad y mejores parámetros sanguíneos y de otros nutrientes." En el detalle de la noticia comprobamos que se toma una muestra de niños, y se relaciona su estado inicial con su ingesta de pan. Luego se hace una hipótesis teórica: si aumentamos la cantidad de pan en la dieta, los parámetros físicos mejorarán. A continuación se le aumenta una cantidad de pan a la dieta de una parte de la muestra, y se vuelven a analizar sus parámetros físicos para comprobar la validez de la hipótesis. Se encuentra que los parámetros han mejorado,y se llega a la conclusión de que el motivo es el pan. Pregunta para el lector: ¿soy el único que encuentra varios defectos en esta metodología? Insisto en que no tengo los detalles del estudio, pero sólo con lo que se deduce de la noticia, deberíamos concluir que éste no cumple adecuadamente el método científico: se hace una afirmación y se prepara un experimento para ver si dicha afirmación se cumple... pero no parece tenerse en cuenta el resto de posibilidades, como que el pan no sea el único factor, que la correlación pueda ser espúrea... ¿se ha comprobado si la afirmación también se cumple si aumentas la ingesta, pongamos por caso, de fresas silvestres en la dieta? Y si es así, cuál es el efecto relevante, el del pan o el de las fresas? ¿Se dice algo sobre la cantidad de pan a partir de la cual podemos esperar una mejora de los parámetros? ¿Se ha controlado la muestra por otros factores que pudieran introducir fuertes sesgos, como la herencia genética, etc. En fin, si este estudio no entra directamente en la categoría de MALO, es porque leemos (era de esperar) que está patrocinado por el sector del pan español, lo cual lo sitúa directamente en el apartado de FEO.
  • EL MALO: de éste, que debería ser el feo a juzgar por la foto del interfecto, realmente desconozco los detalles de su trayectoria científica. Quizá Terapeuta pueda ofrecernos algo de luz. Pero si tenemos que juzgar sólo por lo que afirma en la entrevista, lo voy a catalogar de MALO porque las afirmaciones que lanza el tipo, basadas en experiencias personales cuando no directamente en "testimonios", rayan directamente en el chamanismo.
En conclusión: nos quedamos con el primer estudio. Habrá quien diga que para saber que las pulseras power-balance no funcionan no hacía falta un estudio tan cuidadoso. Ya lo sé!!: es sobradamente conocido que las únicas pulseras con efecto en el estado de ánimo (de una parte de la población), y que mejoran la función sexual (de ambas partes de la población) SON LAS PULSERAS DE DIAMANTES. Y esto es empirismo puro: prueba y verás. ;)

10 comentarios:

RME dijo...

Echo de menos la rigurosidad metodológica en el planteamiento de experimentos económicos, especialmente en lo referente a las políticas públicas. En el caso de estas últimas ni siquiera se puede hablar de experimentos: se hacen, no se evalúan, no se contrastan y si no funcionan no se quitan. Bendita ideología (por suponer algo bueno, cónstese).

Lo de la pulsera de diamantes es un ejemplo típico de criterio de verificabilidad, ¿no? Porque demostrarlo demostrarlo... Me da que para la mayoría es imposible :p

José Luis Ferreira dijo...

Muy bien sacados a colación estos tres estudios, por lo que de instructivo tiene poder comparar los métodos de unos y otros.

Ramón:

Los experimentos en economía, en general, son tan poco posibles como en Astrofísica. A no ser que nos dejen unos cuantos países para experimentar con ellos no nos queda otra que ir evaluando las observaciones que se tienen dentro de alguna teoría coherente que aísle las variables relevantes.

Ender dijo...

Hola, Ramón.

Como dices, la metodología puede ser uno de los problemas, pero desde luego el problema principal es que las políticas públicas no se evalúan, en general... vamos, que ni siquiera hay intención de evaluarlas cuando se lanzan. Es posible (al menos deseable) que ésto empiece a cambiar ahora que los dineros disponibles van a ser muchos menos...

En cuanto a lo de la pulsera: me has pillado, para mi tampoco es posible... pero no te preocupes, en esto ocurre algo parecido a la power-balance: no hace falta que la pulsera sea de diamantes, sólo tiene que parecerlo...


José Luis:

De acuerdo en lo que dices, aunque el problema suele ser lo que el economista considera "variable relevante". A menudo la variable relevante es aquella que se puede medir o de la que se dispone de datos estadísticos, y el resto de variables, no importa si relevantes o no, se descartan.
Puedo entender la dificultad de considerar relevantes variables que no se pueden medir con facilidad, pero entendería por tanto que los resultados de tales estudios fueran puestos muy entre comillas. Esto a menudo no pasa.

Raúl S. dijo...

He dejado de leer el tercer enlace cuando dice "Todo empezó cuando se encontró con pacientes que tenían recuerdos de cosas sucedidas cuando eran recién nacidos o incluso antes. "

Lo de los recuerdos antes de nacer (o antes de 2-3 años de edad) es una milonga recurrente más que refutada por neurólogos.

Ender dijo...

Raúl:

Me lo suponía... pero como el tío ha dado en clase en Harvard y tal... en fin, luego dicen de las universiadades "de élite", je, je...

RME dijo...

José Luis:

Como bien dices, la realización de experimentos siguiendo una metodología científica tal y como los entendemos en las ciencias físicas se encuentran fuera de nuestro alcance. No obstante, no es necesario llegar a esos niveles para ser capaces de ofrecer una rigurosidad metodológica susceptible de comprobarse y contrastarse. ¿Qué hace si no la medicina en la prueba de nuevos medicamentos, por ejemplo? Para que se me entienda mejor, cuando hablo de "experimentos económicos" tengo más en mente actividades como ésta: http://www.lorem-ipsum.es/blogs/laleydelagravedad/2010/05/esther-duflo-en-video.html

No es nada impensable o imposible de realizar, y de hecho, a día de hoy se realizan, pero de forma más bien reducida para el alcance e implantación que deberían tener. Como dice Ender, no es que no se efectúen evaluaciones de las políticas públicas (que, recordemos, no es más que la penúltima fase de un eslabón), es que ni tan siquiera se considera o contempla la evaluación como fase dentro de la aplicación de las políticas públicas.

Y así nos va, como disciplina, quiero decir.

Balroth dijo...

Muy interesante Ender, pero creo que caes un poco en lo que criticas, y aunque seguramente coincido en la clasificacion que haces, como tu mismo dices no conoces los datos del estudio de la universidad complutense sobre el consumo de pan en los niños ni de cual ha sido la metodología aplicada. Es muy arriesgado juzgar ese estudio tras pasar por el filtro de un periodista, puede que cualquier parecido con la realidad sea pura coincidencia.

Del tercero mejor ni hablar, es una de las leyendas de nuestra epoca... "a los fetos les gusta Mozart y son mas inteligentes..."

Saludos.

Ender dijo...

Balroth:

Tienes razón, así es. Pero no me he resistido a hacer un poco de "pedagogía-express" sobre cómo leer en prensa este tipo de estudios, es decir, qué debemos buscar en la noticia para darles algo de credibilidad o descartarlos por irrelevantes.

En este caso, me interesaba resaltar lo siguiente:

- Si un estudio se propone buscar un resultado concreto, se diseña el experimento para buscar ése resultado, ése resultado se confirma, y no se hace nada más, ése no es un estudio científico válido. Muchos experimentos en psicología en los años 60 eran así, y no servían para nada, claro. Casi siempre en estos casos el estudio en prensa tiene algo que ver con la nutrición o el uso de algún cacharrillo electrónico o, en general, algún bien de consumo, y casi siempre está patrocinado por una firma que casualmente vende ése bien. Esto no quiere decir que el estudio esté necesariamente mal hecho, pero como mínimo debería hacernos sospechar... Ningún estudio de éstos, que busque un determinado resultado, y no lo encuentre, va a ser publicado en prensa, porque no es noticia... cuando posiblemente esté mejor hecho desde el punto de vista científico.

Saludos.

Balroth dijo...

¿Como? ¿Que los estudios que afirman que la cerveza no engorda patrocinados altruistamente por la asociacion de cerveceros Españoles no son fiables?

NOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO

Ender dijo...

Hombre... siempre puedes seguir bebiendo cerveza... Y COMER PAN!!!