Cap. 15 — Modelos preditivos

Ponto de corte, sensibilidade e curva ROC

Mova o ponto de corte e veja sensibilidade e especificidade trocarem de lugar ao longo da mesma curva ROC; só a separação entre os grupos muda a AUC.

Mensagem-chave. Mover o corte troca sensibilidade por especificidade sem mudar a AUC; só a separação entre os grupos muda a AUC — e um p minúsculo pode conviver com separação pequena (como o NLR com HR 1,30 e p < 0,001, mas grande sobreposição entre os grupos). Corte baixo quando o desfecho é grave e a intervenção é segura; corte alto quando o tratamento é tóxico.

Dados simulados para fins didáticos. Modelo binormal: o escore do modelo segue distribuição normal com DP 1 nos dois grupos, médias separadas por d DP; AUC = Φ(d/√2). O risco previsto é o risco verdadeiro dado o escore (modelo bem calibrado), por isso a escala de risco também depende da prevalência. As densidades mostram cada grupo com área 1 (não ponderadas pela prevalência). O p-valor compara a média do escore entre os grupos (teste z/t) numa amostra de 1.000 pacientes com a prevalência escolhida.

Mesma AUC, calibração diferente

Distorça as previsões sem mudar a ordem dos pacientes: a AUC fica parada, mas a curva de calibração sai da diagonal — e o número entregue ao paciente muda.

Mensagem-chave. A AUC não muda, mas o número entregue ao paciente pode estar errado por um fator de 2 — e a calibração só se verifica em grupos, comparando previsto e observado. No exercício do capítulo, dois modelos com AUC 0,78 dão 40% e 15% ao mesmo paciente de risco intermediário (observado ≈ 38%); com limiar de 30%, só um deles indica intensificar.

Dados simulados para fins didáticos. Coorte de validação de 2.000 pacientes (semente fixa); cada um tem um escore prognóstico verdadeiro, e o risco real é logístico nesse escore. O modelo foi desenvolvido numa população com risco médio de 35%. Previsões: logit(previsto) = logit de desenvolvimento + deslocamento + escore ÷ slope. Como a transformação é monotônica, a ordem dos pacientes — e, portanto, a AUC — não muda; o risco basal da população de validação altera os desfechos e, com eles, a AUC só um pouco. Intercepto e slope estimados por regressão logística do desfecho observado no logit da previsão (o intercepto “calibration-in-the-large” usa o logit previsto como offset). Pontos = decis de risco previsto, com IC 95% de Wilson.

Curva de decisão (benefício líquido)

Compare o modelo com “tratar todos” e “tratar ninguém” em cada limiar de probabilidade e veja em que faixa de limiares ele realmente ajuda.

Mensagem-chave. Um modelo só é útil na faixa de limiares em que sua curva supera “tratar todos” e “tratar ninguém”; a utilidade depende da prevalência e da calibração, não só da AUC.

Dados simulados para fins didáticos. Benefício líquido (BL) = VP/n − FP/n × p_t/(1 − p_t), em que o limiar p_t expressa quantos falsos positivos você aceita por verdadeiro positivo (10% ⇒ 1 VP vale 9 FP). Modelo binormal com a AUC escolhida; a miscalibração multiplica as chances (odds) previstas — em riscos baixos equivale a multiplicar o risco. Exemplo do capítulo (biópsia de próstata, limiar 10%, 1.000 homens, 200 cânceres): biopsiar todos, BL = 0,200 − 0,800 × 0,10/0,90 ≈ 0,111; modelo com 450 biópsias e 190 cânceres detectados (260 FP), BL = 0,190 − 0,260 × 0,10/0,90 ≈ 0,161. A diferença de 0,050 equivale a 50 verdadeiros positivos líquidos por 1.000, ou a 0,050 ÷ (0,10/0,90) × 1.000 = 450 biópsias desnecessárias evitadas (em termos líquidos); em números brutos, o modelo poupa 550 biópsias ao custo de 10 cânceres não detectados.