교사를 위한 교육연구 및 통계분석 연수 - 4차시 무선할당과 준실험설계

오늘 수업은 아래와 같은 연구질문으로 시작한다.

방과후수업이 성적 향상에 효과적일까?

이러한 질문을 바탕으로 방과후에 참여한 학생과 참여하지 않은 학생의 성적을 단순히 비교하고, 거기에 따라 결과를 얻었다고 하면 연구는 내적 타당성을 위협받게 된다.

학생의 성적이 방과후 뿐만 아니라 원래 성적, 가정 소득, 부모의 관심 등 다양한 요인에 영향을 받기 때문이다.

이러한 것을 셀렉션 문제라고 한다.

두 집단 사이에 체계적인 차이가 있기 때문이다.

그렇다면 이를 어떻게 제거할 수 있을까?

1. 무선할당

무선할당은 연구 대상을 배정할 때, 연구자의 개입 없이 무작위로 배정하는 것이다.

마치 동전 뒤집기로 방과후의 참여 여부를 결정하는 것 과 같다.

이에 따라 그룹을 배정하면, 두 그룹의 속성이 궁극적으로 무척 유사해진다.

• 집단 간 선택 편향(selection bias) 제거

• 잠재적 교란변수 균등 분포

• 인과추론 내적 타당도 강화

만일 무선할당 후의 실험 결과 방과후 참여/미참여에 따른 성적이 40점이 발생했다면, 이 차이를 방과후 수업의 효과라고 결론지을 수 있다.

무선 할당을 통해 두 집단의 차이를 제거했으므로, 이것이 결론에 영향을 주지 못하기 때문이다.

2. 무선할당과 자기선택

교육 연구에서 방과후 선택과 같은 참여를 현실적으로 무선 할당을 통해 강제할 수 없다.

일반적으로 이러한 활동들은 학생, 학부모가 직접 자신의 성적, 여유시간 등 사정에 맞게 결정하게 된다.

이에 두 집단의 동질성을 확보하기 어렵다.

이에 무선할당이 불가능 할 때 연구자들이 택할 수 있는 방법, 즉 준실험 설계가 필요하다.

3. 자기 선택을 허용하는 연구설계

1) 회귀분석, 매칭을 통한 사후적인 통계적 교정

(1) 회귀분석

방과후 참여 학생과 미참여 학생 사이에 주요한 차이를 예상하고 조사하여 그 차이를 통계적으로 교정하는 방법이다.

사전성적, 가정소득, 부모의 관심 등 방과후 참여/미참여에 따라 차이가 많다면, 이를 조사하여 통계적으로 조건을 유사하도록 맞춰준다.

pooled OLS, 공분산분석(ANCOVA) 등이 있다.

(2) 매칭

매칭은 처치를 받은 집단과 받지 않은 집단에서 비슷한 특성을 가진 단위를 짝지어 비교하는 방식이다.

만약 부모의 관심에 따라 방과후 참여.미참여 학생들의 점수에 체계적인 차이가 있다면 매칭으로 부모의 관심정도가 비슷한 학생들을 모아서 비교한다.

해당 범위 안에서 살펴보면 방과후수업의 참여/미참여의 효과가 무척 감소하게 된다.

2) 차이점수 분석법(이중차분법)

사전 점수를 조사하여 사후 점수와의 차이를 계산하는 방식이다.

하지만 해당 방법도 사전, 사후의 점수를 단순하게 비교하는 것은 내적 타당도에 위협을 받게 된다.

그 동안 학습자의 성장(maturation)이 일어나기 때문이다.

이러한 방법은 미참여 학생들을 조사하면서 제거할 수 있다.

만일 학생들의 성장이 일어난다면 두 그룹 모두 일어나야 한다.

하지만 미참여에서 일어나지 않는다면, 이는 성장에 의한 효과가 아님을 증명할 수 있다.

4. One More Thing?

여기서는 처음 보는 분석방법이 많아서 정리해보았다.

• RDD: 컷오프 바로 주변 사람들은 거의 똑같으니 비교한다

• IV: 원인과 결과를 연결해주는 중립적 레버(도구)를 이용해서 인과를 우회해서 추론

• ITS: 개입 전후 시점의 흐름이나 추세가 바뀌는지 시간의 패턴을 본다

5. 후기

예전에 과학과제연구를 지도할 때, 서울대에 갔던 학생 한명이 대상자들을 모아놓고 실험을 했었다.

사전, 사후 조사도 병행했는데 그 때 아노바 분석 방법을 쓰는걸 보며 이런게 있구나 싶었는데 그걸 이제 내가 배우고 있다.

이래서 과제연구를 지도할 때 논문을 한번 써 보는게 큰 도움이 되는구나 싶다.

예전에는 단순히 실험을 통해 결론을 얻는 과정에만 신경 썼다면, 앞으로는 실험 결론의 타당성에 대해 강하게 질문을 던져줄 수 있을 것 같다.

배울 수 있어 보람찬 하루다.