부트스트랩 CI와 CS-coefficient — 그 네트워크, 믿어도 되는가?

View in English

안정성 검증을 거치지 않은 네트워크 추정치는 발견(finding)이 아니라 가설(hypothesis)이다. 두 가지 절차 — 비모수 엣지 가중치 부트스트랩과 케이스 탈락(case-dropping) 부분집합 부트스트랩(CS-coefficient로 요약) — 가 네트워크에서 어디까지가 신호이고 어디부터가 표집 잡음인지 알려준다. 논문이든 대시보드든 증상 네트워크를 보여주면서 이 둘 중 어느 것도 제시하지 않는다면, “가장 강한 엣지는…” “가장 중심적인 증상은…” 같은 모든 주장을 잠정적인 것으로 취급해야 한다.

이 글은 방법론 시리즈의 네 번째다. 지금까지 공병이 왜 네트워크 관점을 요구하는지, 중심성이 실제로 무엇을 측정하는지, EBICglasso가 왜 편상관을 추정하는지를 다뤘다. 오늘은 그 모든 것이 해석할 가치가 있는지를 판가름하는 부분이다.

안정성이 게임의 전부인 이유

정규화된 편상관 네트워크는 표본에서 추정된다. 모든 엣지 가중치와, 그 가중치에서 파생되는 모든 중심성 지수는 표집 변동성을 안고 있다 — 그런데 qgraph가 그려주는 그림은 기만적일 만큼 정확해 보인다. 노드는 어딘가에 그려지고, 엣지는 어떤 굵기로 그려진다. 세 번째로 강한 엣지와 열 번째로 강한 엣지가 다음 표본에서는 자리를 바꿀 수 있다는 사실을, 그림 속 어떤 것도 말해주지 않는다.

가상의 걱정이 아니다. 네트워크 심리측정의 복제성 논쟁(Forbes 외, 2017; 그리고 뒤따른 반론들)의 핵심이 정확히 이 지점이었다: 실질적으로 의미 있어 보였던 네트워크 간 차이가, 상당수는 표집 변동성만으로도 생길 수 있는 범위 안에 있었다. 이 논쟁의 건설적인 결론은 네트워크 추정을 포기하는 것이 아니라 불확실성을 상시적으로 정량화하는 것이었고 — 그것을 Epskamp, Borsboom, Fried (2018)가 bootnet 패키지로 구현했다.

서로 다른 두 질문에는 서로 다른 두 부트스트랩이 필요하다.

질문 1: 엣지 가중치는 얼마나 정확한가?

비모수 부트스트랩은 케이스를 복원추출로 재표집하고(보통 1,000회 이상), 매번 네트워크를 재추정하여, 모든 엣지 가중치에 대한 95% 신뢰구간을 제공한다.

이 CI를 올바르게 읽는 것이 계산하는 것보다 중요하다:

  • 넓은 CI는 실패가 아니라 정상이다. 현실적인 표본 크기에서 정신병리 네트워크의 엣지 CI 대부분은 넓다. 관건은 해석하려는 차이에 비해 넓은가이다.
  • CI가 겹치면 순위 주장은 금지된다. 엣지 A의 CI와 엣지 B의 CI가 상당 부분 겹친다면, 그림에서 점추정치가 눈에 띄게 달라 보여도 A가 B보다 “더 강하다”고 주장할 수 없다. bootnet의 부트스트랩 차이 검정이 이 비교를 명시적으로 수행한다.
  • 작은 추정치 주위로 넓게 걸친 CI는 엣지의 존재 자체가 불확실함을 알리는 신호다. 정규화가 약한 엣지를 이미 0 쪽으로 수축시키지만, LASSO에서 살아남았다는 것이 존재의 증명은 아니다.

부트스트랩 CI가 표시된 세 엣지 가중치: A·B는 겹치고 C는 분리됨

점추정치는 A > B를 시사하지만 두 CI가 크게 겹친다 — 이 순위는 지지되지 않는다. C만이 둘 모두와 구별된다.

질문 2: 중심성 지수는 얼마나 안정적인가?

엣지 CI는 중심성 순위가 더 작은 표본에서도 살아남을지에 답하지 못한다. 그것이 케이스 탈락 부분집합 부트스트랩의 역할이다: 케이스를 점점 더 작은 부분집합(90%, 70%, 50%…)으로 줄여가며 네트워크를 재추정하고, 매번 중심성을 계산해 전체 표본의 중심성과 상관을 구한다.

CS-coefficient(correlation stability coefficient, 상관 안정성 계수)가 그 결과를 요약한다: 부분집합 중심성과 전체 표본 중심성의 상관이 0.7 이상으로 유지되는(95% 확실성) 조건에서 탈락시킬 수 있는 케이스의 최대 비율이다. Epskamp 외 (2018)가 제안한 실무 기준을 이후 분야 전체가 채택했다:

  • CS ≥ 0.50 — 순위를 해석해도 될 만큼 안정적이다.
  • 0.25 ≤ CS < 0.50 — 주의해서 해석한다; 순위 주장은 취약하다.
  • CS < 0.25 — 순위를 해석하지 않는다. 보고하고, 거기서 멈춘다.

발표된 네트워크들을 가로질러 반복되는, 체화해 둘 가치가 있는 두 패턴:

  1. 강도(strength)와 기대영향력(expected influence)이 대개 생존자다. 여러 엣지에 걸쳐 합산되므로 개별 엣지의 잡음이 부분적으로 상쇄된다.
  2. 매개(betweenness)와 근접(closeness)이 대개 희생자다. 둘 다 최단 경로에 의존하는데, 최단 경로는 엣지 가중치의 미세한 변동에 극도로 민감하다. 매개 중심성의 CS가 0.25 미만인 것은 예외라기보다 규칙에 가깝다. CS 보고 없이 매개 순위에 기대는 해석은, 사실상 거의 아무것에도 기대고 있지 않은 것이다.

같은 논리가 브리지 중심성으로 확장된다: 브리지 강도와 브리지 기대영향력은 케이스 탈락 부트스트랩에 포함시킬 수 있고(communities 인자), 경로 기반 브리지 변형들은 비(非)브리지 원형과 동일한 취약성을 물려받는다.

최소한의, 정직한 워크플로

정확성 파이프라인 전체가 bootnet 호출 4번이다:

library(bootnet)

net <- estimateNetwork(data, default = "EBICglasso", tuning = 0.5)

# Q1 — 엣지 가중치 정확성
boot_np <- bootnet(net, nBoots = 1000, type = "nonparametric")
plot(boot_np, labels = FALSE, order = "sample")   # 엣지 CI
plot(boot_np, "edge", plot = "difference")         # 쌍별 차이 검정

# Q2 — 중심성 안정성
boot_case <- bootnet(net, nBoots = 2000, type = "case",
                     statistics = c("strength", "closeness",
                                    "betweenness", "expectedInfluence"))
corStability(boot_case)                            # CS-coefficient

전부 보고하라. 네트워크 논문은 — 그리고 네트워크를 대신 시각화해 주는 어떤 도구든 — (a) 엣지 CI, (b) 모든 순위 주장의 근거가 되는 차이 검정, (c) 화면에 표시하는 모든 중심성 지수의 CS-coefficient를 드러내야 한다. CS가 0.5 아래로 떨어지는 곳에서 정직한 행동은, 그 지수를 보여주는 바로 그 순간에 불안정 표시를 함께 붙이는 것이지, 경고를 부록에 묻어두는 것이 아니다.

읽는 사람을 위한 체크리스트

어디선가 증상 네트워크를 만나면 물어보라:

  1. 부트스트랩을 수행하긴 했는가? 어떤 유형을, 몇 회 반복했는가?
  2. 엣지 순위 주장이 차이 검정으로 뒷받침되는가, 아니면 점추정치뿐인가?
  3. 해석되는 각 중심성 지수마다 CS-coefficient가 보고되는가?
  4. CS < 0.25인데도 매개/근접 중심성을 해석하고 있는가? (적신호.)
  5. 노드 수에 비해 표본 크기가 타당한가? (9노드 네트워크는 편상관 36개를, 30노드 네트워크는 435개를 추정해야 한다.)

이 중 어느 것도 네트워크 추정을 특별히 결격일 만큼 취약하게 만들지 않는다 — 모든 통계 모형에 표집 오차가 있다. bootnet이 한 일은 불확실성을 기본값으로 보이게 만든 것이고, 분야는 그 덕에 더 나아졌다. 넓은 CI와 낮은 CS를 가진 네트워크는 실패한 분석이 아니다; 이 표본이 말해줄 수 있는 한계에 대한 정확한 보고다. 실패한 분석은, 애초에 묻지 않은 분석이다.

참고문헌

  • Epskamp, S., Borsboom, D., & Fried, E. I. (2018). Estimating psychological networks and their accuracy: A tutorial paper. Behavior Research Methods, 50(1), 195–212.
  • Epskamp, S., & Fried, E. I. (2018). A tutorial on regularized partial correlation networks. Psychological Methods, 23(4), 617–634.
  • Forbes, M. K., Wright, A. G. C., Markon, K. E., & Krueger, R. F. (2017). Evidence that psychopathology symptom networks have limited replicability. Journal of Abnormal Psychology, 126(7), 969–988.
  • Borsboom, D., Fried, E. I., Epskamp, S., Waldorp, L. J., van Borkulo, C. D., van der Maas, H. L. J., & Cramer, A. O. J. (2017). False alarm? A comprehensive reanalysis of “Evidence that psychopathology symptom networks have limited replicability.” Journal of Abnormal Psychology, 126(7), 989–999.