다중회귀에서 상관 관계와 억제 효과

1. zero-order correlation

아무런 통제 조치 없는 상관관계

 

2. partial correlation

독립 변수 및 종속 변수 모두에게 영향을 끼치는 다른 변수를 통제한 상관 관계

 

3. part correlation (=semi partial correlation)

독립 변수에만 통제 처리를 한 상관 관계

 

  # 예시 
  
  df.SS df.PI df.BI
1    109     21      6
2    113     24     12
3    112     31     15
4    109     10      5
5     99     14      8
6    103     13      0


# 이들의 상관관계
 cor(df)
            df.SS      df.PI      df.BI
df.SS  1.00000000 -0.08877022 -0.05224621
df.PI -0.08877022  1.00000000  0.63434060
df.BI -0.05224621  0.63434060  1.00000000


# 회귀식
Call:
lm(formula = df.SS ~ df.PI + df.BI, data = df)

Coefficients:
(Intercept)       df.PI       df.BI  
  113.12527     -0.17013      0.01618  
  

# 이들의 part(semi-partial) correlation - lib(ppcor)
> spcor(df)   

$estimate
            df.SS      df.PI      df.BI
df.SS  1.00000000 -0.07195921 0.005257527
df.PI -0.05570441  1.00000000 0.630563894
df.BI  0.00408046  0.63219853 1.000000000

$p.value
          df.SS        df.PI        df.BI
df.SS 0.000000000  5.864081e-04  8.019282e-01
df.PI 0.007817029  0.000000e+00 6.506381e-253
df.BI 0.845635252 1.303282e-254  0.000000e+00

$statistic
           df.SS    df.PI     df.BI
df.SS  0.0000000 -3.442669  0.2508817
df.PI -2.6622324  0.000000 38.7678784
df.BI  0.1947127 38.935143  0.0000000

 

이러한 상관 관계를 통해 교란 변수 및 억제 변수 효과를 판단할 수 있는데, 

회귀에서 억제 변수(suppressor)는 상관 관계를 가진 두 독립 변수가 서로, 혹은 어느 한 변수가 다른 변수에 대해 회귀 계수 증가의 촉진 역할을 하는 경우를 말한다. 

억제 변수가 '촉진' 역할을 하는 이유는, 

위의 예제에서 PI와 BI라는 두 변수 중, BI가 (PI가 SS에 대한 회귀식)에서 설명하지 못하는 부분을 '억제'함으로써 전체적으로 PI의 설명력을 높이기 때문이다. 

 

그러나 꼭 억제 관계를 가져야만 촉진하는 것은 아닌데, 

위의 예제에서 part correltation이 zero-order correlation 값 보다 큰 경우에 해당한다고 볼 수 있다. 

 

자세한 설명은 아래 페이지 참조.

data visualization - Suppression effect in regression: definition and visual explanation/depiction - Cross Validated (stackexchange.com)