Tools, Technologies and Training for Healthcare Laboratories
  2. Home
  3. Lessons
  4. Basic Method Validation
  5. Calculadora web para tabla de contingencia 2x2

Basic Method Validation

Calculadora web para tabla de contingencia 2x2

¿Cómo se validan las pruebas cualitativas? Aquí encontraran una pequeña introducción a una herramienta que puede ser útil para la validación de pruebas cualitativas.

Calculadora web para tabla de contingencia 2x2

James O. Westgard, Patricia E. Garrett, Paul Schilling abril 2020

Our COVID-19 special coverage:

En medio de esta pandemia de la Covid-19, podría ser de gran utilidad proporcionar a los laboratorios clínicos un apoyo para la validación de las pruebas cualitativas. Los laboratorios más grandes que realizan pruebas de PCR-rRNA para la detección viral y pruebas serológicas para cuantificar anticuerpos contra el SARS-CoV-2 probablemente tengan acceso a programas estadísticos que siguen las recomendaciones de la FDA y CLSI para la validación del método. Los laboratorios más pequeños tienen menos probabilidades de tener esos programas, pero aún tendrán que realizar algunos estudios mínimos de validación o verificación en la medida de la disponibilidad de métodos más simples o más automatizados.

Para ser claros, hay dos tipos de pruebas nuevas: (1) pruebas para detección del virus SARS-CoV-2 en sí, y (2) pruebas para detectar anticuerpos contra el virus. Cada uno de estos marcadores está siendo analizado por múltiples métodos, aprobados a un ritmo acelerado por la FDA bajo la Autorización de Uso de Emergencia (EUA). Los métodos para la detección del virus se basan principalmente, aunque no todos, en la PCR, y los métodos para medición de anticuerpos esencialmente caen en la categoría de pruebas serológicas. La PCR y otros métodos moleculares generalmente se realizan en un área especifica del laboratorio, de acuerdo con el lugar donde los instrumentos para esas tecnologías ya estén establecidos. Las pruebas de serología generalmente se realizan en otra área del laboratorio. Con la introducción de pruebas simples de flujo lateral, las pruebas también se realizarán en el Punto de Atención al paciente o (point of care).Todas estas pruebas son pruebas cualitativas, lo que significa que tienen un limite de decisión médica (punto de corte) para clasificar el resultado como positivo o negativo.

Los laboratorios aprobados por CLIA para realizar pruebas de complejidad moderada y alta son elegibles para implementar las pruebas de los fabricantes que han sido aprobados bajo la Autorización de Uso de Emergencia (EUA). Los estudios de validación aún deben realizarse, además del análisis del control de calidad con las muestras positivas y negativas con cada corrida de muestras de pacientes [1].

Estudio de acuerdo clínico

Para la validación, la FDA recomienda un "estudio de acuerdo clínico", así como los estudios de límite de detección (LoD) y reactividad cruzada. Aquí nos centramos en el acuerdo clínico, que generalmente implica comparar los resultados de dos métodos diferentes. La FDA declara que se pueden usar "muestras clínicas artificiales", lo que significa que es aceptable incluir muestras de matriz adicionada con material de control de niveles altos (preferiblemente inactivos). La recomendación de la FDA es para 30 muestras reactivas (20 de baja reactividad a 1 o 2 veces el LoD y 10 más altas que abarcan el rango de prueba) y 30 muestras no reactivas. La FDA también exige que los primeros 5 resultados de pacientes positivos y los primeros 5 resultados de pacientes negativos sean confirmados por un método previamente autorizado por EUA.

En el documento guía CLSI EP12-A2 [2] se proporciona una orientación para comparar un método nuevo "candidato" con un método disponible o "comparativo". Se espera que la mayoría de los laboratorios tengan acceso a muestras que ya hayan sido analizadas por otro laboratorio en su región, tal vez un laboratorio de referencia o un laboratorio de pruebas de mayor complejidad. Alternativamente, un laboratorio puede analizar muestras de pacientes infectados confirmados y muestras de pacientes no infectados.

Análisis de datos por tabla de contingencia 2x2

En un estudio de comparación en el que el método candidato y los resultados de la prueba por el método comparativo se clasifican como positivos o negativos, esos resultados se pueden resumir de la siguiente manera:

a = Número de resultados donde ambas pruebas son positivas;
b = Número de resultados donde el método candidato es positivo, pero el comparativo es negativo;
c = Número de resultados donde el método candidato es negativo, pero el comparativo es positivo;
d = Número de resultados donde ambos métodos son negativos.

Estos resultados se pueden resumir en una tabla de contingencia 2x2, que a veces se denomina "tabla de verdad".
Método comparativo

2020 contingency table spanish 1

Cálculo de las características de desempeño del método

Esta tabulación proporciona la base para calcular el porcentaje de acuerdo positivo (PPA), el porcentaje de acuerdo negativo (PNA) y el porcentaje de acuerdo general (POA), de la siguiente manera:

PPA = [a/(a+c)]*100
PNA = [d/b+d))]*100
POA = [(a+d)/n]*100

Idealmente, el PPA y el PNA deberían ser del 100%, lo que ocurriría si las cifras de b y c fueran cero. Los valores más bajos representan un desempeño menos ideal, por lo tanto, estas estimaciones para PPA y PNA pueden ser útiles para juzgar la aceptabilidad de un método candidato. POA es menos útil porque puede ser alto incluso cuando PPA o PNA pueden ser bajos. [Nota: si el método comparativo fuera un "gold standard" para la clasificación diagnóstica, entonces el PPA se consideraría la "sensibilidad diagnóstica", el PNA sería la "especificidad diagnóstica" del método candidato, y el POA a veces se denomina "eficiencia".]

Para interpretar estas características calculadas, debería ser útil conocer sus intervalos de confianza aproximados, es decir, la confiabilidad de estos números. Consulte el apéndice para ver cómo se calculan estos límites de confianza.

2020 contingency table spanish 2

Para el ejemplo que se muestra aquí [que se toma del documento EP12-A2, páginas 30-31], el PPA se estima en 95.3% y es confiable entre 92.3% y 97.2%. La PNA se estima en 93.7% y es confiable entre 89.8% y 96.1%. Si bien hemos calculado POA como 94.6% con un intervalo de confianza aproximado de 92.3% y 96.2%, esta característica no es tan útil y no es necesario considerarla al juzgar la aceptabilidad.

Tenga en cuenta que, para un número bajo de muestras, se espera que los límites de confianza sean amplios. Por ejemplo, para 5 positivos y 5 negativos, sin falsos positivos o falsos negativos, los límites inferiores serán de aproximadamente el 57%; para 10 positivos y 10 negativos, los límites inferiores son aproximadamente 72%; para 30, aproximadamente el 89%; para 40, alrededor del 91%; para 50, alrededor del 93%. Todos estos límites son para comparaciones que coinciden perfectamente. Cuanto menor sea el número de muestras analizadas, mayor será la caída de la confianza con incluso una falta de coincidencia (falso positivo o falso negativo). [Consulte la Tabla A1 en EP12-A2, página 35.] Esto ilustra la razón por la cual la FDA recomienda acumular un mínimo de 30 resultados positivos y 30 negativos para lograr estimaciones mínimamente confiables

Calculadora de contingencia Westgard QC 2x2

http://tools.westgard.com/two-by-two-contingency.shtml

Esta calculadora requiere que el usuario ingrese en la tabla de contingencia 4 números correspondientes a:
a (verdaderos positivos)
b (falsos positivos)
c (falsos negativos) y
d (verdaderos negativos).

Luego haga clic en el botón "Calcular" para obtener las estadísticas resumidas de % Acuerdo positivo (PPA), % Acuerdo negativo (PNA) y % Acuerdo general (POA), junto con sus límites de confianza del 95% superiores e inferiores. Para ver el ejemplo discutido en esta lección, haga clic en "Cargar datos de ejemplo". Imprima la página para proporcionar documentación de sus resultados.

Referencias

  1. US Dept Health and Human Services. FDA Policy for Diagnostic Tests for Coronavirus Disease-2019 during Public Health Emergency: Immediately in Effect Guidance for Clinical Laboratories, Commercial Manufacturers, and Food and Drug Administration Staff. March 16, 2020. https://www.fda.gov/media/135010/download
  2. Garrett PE, Lasky FD, Meier KL. CLSI EP12-A2. User Protocol for Evaluation of Qualitative Test Performance. Clinical and Laboratory Standards Institute, 940 West Valley Road, Suite 1400, Wayne, PA, 2008

Sobre Patricia E. Garrett, Ph.D.

Pat Garrett obtuvo un Ph.D. en química orgánica en 1970, y en 1978, después de cinco posdoctorados, comenzó su carrera en el laboratorio clínico dirigiendo laboratorios en hospitales del área de Boston. En 1988, comenzó a trabajar en control de calidad y estándares para el diagnóstico de enfermedades infecciosas para una pequeña empresa, y ayudó a esa compañía a crecer a través de 24 años y dos adquisiciones. Desde 2013 hasta ahora, ha trabajado como consultora y como investigadora principal para otra pequeña empresa de Boston. Su pasión es ayudar a los laboratorios clínicos y a los fabricantes de prueba diagnósticas a "hacerlo bien".

Sobre Monica Gisell Diaz Artunduaga

moni giselleEgresada del programa de bacteriología y laboratorio clínico de la Universidad de Boyacá. Máster in Quality in analytical Laboratories universidad de Gdansk y Universidad de Barcelona. Máster en Gestión de calidad y excelencia de las organizaciones Universidad Camilo José Cela Madrid España. Sigma-Metric Quality Manager certificada por Westgard Company, Certificación Six Sigma Green Belt en G&C Lean Sigma, Máster practitioner PNL. Actualmente trabaja como consultora, directora de proyectos de gestión de calidad e implementación Seis Sigma en laboratorios clínicos.

Apéndice: Cálculo de límites de confianza

Estos cálculos no son difíciles, pero si un poco engorrosos. Se describen en dos etapas, primero calculando algunos valores (Qi) de la tabla, luego calculando los límites de confianza superior e inferior de estos Qs. [Descrito en las páginas 23-25 de CLSI EP12-A2.]

Cálculos de los límites de confianza para PPA
Q1 = 2a + 3.84
Q2 = 1.96*[3.84 + 4a*c/(a+c)]1/2
Q3 = 2(a+c) + 7.68
Limite bajo PPA = 100*(Q1-Q2)/Q3
Limite alto PPA = 100*(Q1+Q2)/Q3

A continuación, los cálculos son similares para PNA.
Q4 = 2d + 3.84
Q5 = 1.96*[3.84 + 4bd/(b+d)]1/2
Q6 = 2(b+d) + 7.68
Limite bajo PNA = 100*(Q4-Q5)/Q6
Limite alto PNA = 100*(Q4+Q5)/Q6

Finalmente, los cálculos son similares para POA.
Q7 = 2(a+d) + 3.84
Q8 = 1.96*[3.84 + 4(a+d)(b+c)/n]1/2
Q9 = 2n + 7.68
Limite bajo POA = 100*(Q7-Q8)/Q9
Limite alto POA = 100*(Q7+Q8)/Q9