Dave Saint-Amour, Pierfilippo De Sanctis, Sophie Molholm,
Walter Ritter, John J. Foxe
Seeing voices: High-density electrical mapping and source-analysis of the
multisensory mismatch negativity evoked during the McGurk illusion(2007)
'화자'의 입모양을 보는 것은 음향적 잡음 환경을 극복할 수 있게 도와주어 말소리 지각에 강력한 영향을 준다. 일치하지 않는 조음운동(입모양)의 비디오에 음성 더빙을 하는 것이 청각적 지각에 착각을 일으킬 수 있는, 말소리 지각자의 입장에서 시각적 영향의 특정하게 드라마틱한 착각 중 하나를 "McGurk illusion"이라고 한다. 이런 착각은 청각자극에 의한 ERP의 MMN(mismatch negativity) 요소로 잘알려진, 어떤 실제 청각자극의 변화가 없음에도 불구하고 자동적인 청각 변화-검출 시스템이 활성되어 나타난다. 우리는 oddball 패러다임으로 고밀도 ERPs를 이용하여 McGurk-MMN의 추정되는 좌반구 지배성을 실험하였다. 175ms에 시작하는 초기 McGurk-MMN 반응의 토포그래피 사상은 좌반구에서 높은 편재화를 보였다. 그런 다음, Rt. temporal
cortex의 후기 보충을 재시하는 것으로, 두피 활성은 ~290ms에서 최대 진폭을 가진 양쪽 fronto-central
scalp에 걸쳐서 관찰되었다. 강력한 좌반구 지배성은 McGurk-MMN 파형(350-400ms)에 대한 후반기 동안 다시 관찰되었다. 전류원 분석은 일차 청각 피질의 약간 뒤쪽에서 양쪽 전류원을 나타내었다. 우반구 활성을 설명하는 하나의 전류원은 Rt. superior temporal gyrus인 반면에, 좌반구 활성을 설명하는 두개의 전류원은 Lt. transverse gyrus와 또 다른 STG였다. 이들 결과는 시각을 조작한 다중감각 착각현상을 지각하는 것은 청각-MMN 피질 반응을 만들어내고, 좌반구 측두엽이 이런 처리에 있어서 중요한 역할을 한다는 것을 지지한다.
MMN 은 '정상'자극 중 드물게 나타나는 '일탈'된 청각자극의 사전주의 검출을 반영한다((N¨a¨at¨anen &
Alho, 1995; Ritter, Deacon, Gomes, Javitt, & Vaughan, 1995).
McGurk 효과와 관련된 MMN과 유사한 반응은 청각 자극 후 200-300ms에서 최대 진폭을 가진 두피에서 기록된 ERPs에서 나타났다(Colin et al., 2002; Colin, Radeau, Soquet, & Deltenre, 2004).
본 연구의 목적은 고밀도 전위사상과 이런 활성의 피질 전류원을 찾아내는 전류원 분석을 통하여, McGurk-MMN을 더 자세히 분석해 보고자 함이다. 선행연구에서, McGurk-MMN은 정상 그리고 일탈 청각-시각 말 자극을 통해 유발된 자기장 반응 또는 전위차 반응 비교를 통해 실험해왔다. 의심스럽게도, 이 비교는 정상 그리고 일탈 자극으로 만들어진 것에 사용된 물리적으로 서로 다른 시각 자극 때문에 나타나는 어떤 전위
McGurk-MMN 효과와 반응의 차이를 산출했을 가능성이 크다. 본 연구에서는 다음과 같은 추가적인 조건을 추가할 것이다. 1) McGurk-MMN이 파생된 청각-시각 반응에서 유발된 시각반응을 빼기 2) 시각이 청각 반응 반응범위의 활성에 기여하는 것을 평가하기 위해 시각만의 자극에서 시각 활성을 자세히 분석할 것이다. 시각자극에서 물리적인 차이에 의해서 나타나는 효과를 조절하여 우리는 McGurk-MMN에 대한 명확한 증거를 찾을 것이다. 즉, 실제 음성의 변화가 없이 지각된 음소 변화는 MMN을 유발했다(Colin et al., 2002, 2004). 더불어서, 토포그래프 사상과 쌍극자 모델링은 잘 알려진 언어 처리에 대한 좌반구 지배성과 일치하는 것으로 McGurk-MMN의 초기와 후기 단계동안 좌반구 피질 발생원의 지배성을 드러내었다.
Method
Participants
11명 성인 지원자가 본 실험에 참가하였고 연구의 의도를 모르게하였다. 실험 후, 모든 대상자들은 그들이 McGurk illusion을 경험하였다는 것을 설명들었다. 대상자들은 어떤 듣기 또는 신경학적 결손이 없었다. 그들은 정상 또는 교정 시력이 정상이었고 Edinburgh handedness inventory를 측정하여 오른손 잡이였다(한명 제외). 모든 대상자들은 사전동의서를 작성하였다.
Stimuli and procedure
자극은 음절 /ba/ 와 /va/를 말하는 남성 영어 화자의 입모양을 디지털로 녹화한 비디오를 가지고 만들었다(frame rate: 25 images/s; audio sample rate: 44.1 KHz in 16 bits). 물론 두 개 음절의 시각적 정보가 조음 위치에서 차이가 나지만, 입모양의 기간은 음향적 신호가 시작되는 면에서는 두 자극이 유사하였다. 각 음향 신호의 시작과 관련된 두개의 시각적 조음 운동에 대한 시작들 사이에서 약 40ms의 작은 차이가 있었다(frame rate: 25 images/s; audio sample rate: 44.1 KHz in 16 bits). 자극은 중립으로 닫혀진 입의 위치로 시작하고 끝이 났다. 착각을 일으키는 McGurk 청각-시각 쌍은 /va/ 비디오에 /ba/ 음절을 말하는 것으로 동시 더빙되어 만들어졌다. 이런 특정한 결합은 청각 지각이 시각정보에 의해서 지배되는 강력한 McGurk 착각을 유발한다. 즉, 관찰자는 보통 두가지 감각 자극의 시각적 부분에 해당하는 /va/를 들었다고 보고한다(e.g. Jones & Callan, 2003; Rosenblum & Saldana, 1992; Summerfield & McGrath, 1984). 그 청각 자극 /ba/는(duration:
370 ms; intensity: 60 dB SPL) 해드폰을 통해서 양쪽귀에 들려졌다. 시각 자극은 대상자로 부터 100cm에 위치한 컴퓨터 CRT 모니터의 중앙에 나타났다(Iiyama VisionMaster Pro 502, 1024×768 pixels, 75 Hz). 자극은 시각 각도 10◦ ×7.5◦ 그리고 대상자들은 말하는 얼굴 자극을 바라보고 입모양에 주의를 귀울이라고 지시받았다.
McGurk-MMN 은 두 가지 조건의 oddball 패러다임을 사용하여 발생되었다: 시각만 제시(/ba/ as ‘정상자극’ and /va/ as ‘일탈자극’) 그리고 청각-시각 제시(congruent audio /ba/ and visual /ba/ as ‘정상자극’ and incongruent audio /ba/ and visual /va/ as ‘일탈자극’). 따라서 피질 청각-시각 조건에서, /ba/음절이 모든 시행에서 청각적으로 들렸지만 불일치된 입모양 시각자극이 나타날 때는 /va/로 지각되었다. 자극간 간격은
1630ms이었고 일탈(목표자극) 시행의 확률은 20%였다. 과제가 단순히 화자의 입에 고정되었기 때문에 피로 효과를 최소화 하기위하여 매우 짧은 자극 블록이 제시되었다(approximately 1 and 1⁄2 min each). 시각 자극만 제시하는 블록과 청각-시각 자극 블록은 무작위로 나타내었고(35–40 stimuli/block) 대략 조건 당
총 1420 시행으로 이것은 짧은 휴식으로 나누어졌다. 시각 자극만 제시된 조건을 사용한 이유는 두 가지이다. 첫 째, 우리는 McGurk-MMN이 시각적 불일치 처리의 원인이 될 수 있을 것이라는 가능성을 배제시키는 것이 목적이다. 둘 째, 어떤 감각 반응의 차이에 대한 이런 조건의 조절은 정상자극과 일탈자극에서 서로 다른 입의 운동이 원인이 된다. 주요 분석을 위하여 정상 그리고 일탈 시각 반응들은 해당 청각-시각 반응에서 제하였다. 그럼에 따라서, 착각 현상 변화와 관련된 MMN 활성은 청각적 정상 반응과 일탈 반응의 결과를 비교하는 것으로 검정되었다. 물론 이런 빼기 절차는 ERP 반응 결과가 어떤 통합 처리를 포함할 수 있기때문에 순수한 청각자극이라는 것을 의미하지 않는다. 그러나 McGurk-MMN에서 시각으로 유발된 활성을 조절하는 것에서는 더 낳은 방법이다.
Data acquisition and statistical analysis
연속된 EEG는 128-scalp 전극으로 수집되었고(impedances <5㏀), 기준전극은 코, band-pass 필터는 0.05-100Hz, 500Hz에 샘플링 되었다(SynAmps amplifiers, NeuroScan Inc.). 눈 깜밖임과 안구 운동을 가진 시행은 electro-occulogram를 기반으로하는 off-line에서 자동적으로 제거되었다. ±75㎶ 잡음 기준으로 근육 또는 다른 일시적 소음을 가진 시행을 제거하기 위하여 모든 다른 두피 전극 부위에 적용되었다. 일탈 반응에 대한 수용된 평균 수는 240(±34)이었다. zerophase-shift Butterworth digital band-pass filter (0.5–50 Hz, 48 dB)은 ERP 최대 진폭 분석에 사용되었다. 연속된 EEG는 짧은 주기로 분할되었고(the −500 to 600 ms
surrounding the onset of auditory stimulation) ERPs를 계산하기 위하여 각 대상자들로 부터 평균하였다. 주기는 청각-시각 조건 반응에서 시각 조건 반응을 빼기 위하여 시각 개시 이전 100ms에 첫 번째 기준선을 교정하였다. 그런 다음 파형의 결과는 청각자극 개시이전 주기 100ms에 걸쳐서 기준선 교정되었다. MMN은 일탈 반응에서 정상 반응을 빼는 것으로 획득되었다.
MMN의 나타나는 것을 알아내기 위하여 두 가지 방법이 사용되었다. 하나의 일반적인 방법은 총 평균 MMN(deviant minus standard)의 최대 진폭 주기의 중심 50ms 시간창 간의 평균 전압을 측정하는 것과 ANOVA로 이런 종속변수를 측정하는 것으로 구성된다. 이것은 오른쪽과 왼쪽 mastoid, Fz와 Oz 네 부위에서 실행되었다. 처음 세 가지 부위는 큰 MMN 반응을 보인다고 잘 알려진 두피 부위이다. 반면에 뒤쪽 전극은 자극에서 시각 차이로 인해 나타나는 파형들 사이에서 차이점을 밝히고자 우리가 시행하는 빼기 절차의 효능을 평가하고자 선택되었다. 그런 다음 추가적인 전극을 포함해서 시행하는 반복측정 ANOVA가 다음의 2×5 요인의 비대칭성을 검증하기 위하여 사용되었다: 반구(왼쪽, 오른쪽)와 전극(FC1/FC2, C1/C2, C3/C4, C5/C6, T7/T8). 통계학적인 유의성은 구형성 가정의 위반에 대한 Greenhouse–Geisser 수정을 위하여 제시된 0.05의 알파 수준으로 분석되었다.
McGurk-MMN에 대한 시공간적 분석을 더 자세히 제공하기 위하여, 두 번째 방법은 각 시점에서 모든 전극에 대한 정상과 일탈 반응들 사이의 point-wise paired t-tests를 실시하였다. 각 두피 전극들에 대해서,
t-test가 최소 11개의 연이은 데이터 포인트에 대해서 0.05 p-값을 초과한 첫 번째 포인트는 McGurk-MMN 시작으로 명명되었다(Guthrie & Buchwald, 1991). 통계적 클러스터 플럿의 결과는 다중비교의 Bonferroni 수정에서 적절한 대안이 되었다. 그것은 1형 오류의 과보상을 통하여 2형 오류의 우도를 증가시킬 것이다.
Topographical mapping and source analysis
정확한 전극위치는 magnetic digitization device (Polhemus FastrakTM)를 이용하여 기준선 랜드마크와 관련된 두피 전극의 3D-디지털 위치를 구하는 것으로 검사 당일 각 대상자에게서 측정되었다. 전극위치는 전극간 위치와 공간이 제약된 맞춤형 electrode cap을 사용하였기 때문에 대상자들 간의 높은 일치성을 가진다. 전위 분산이 보간되어 나타나는 3D-두피 토포그래피 맵핑은 128-cap 측정으로부터 파생되었고 전체 평균 기준점에 대한 계산에 기반을 두었다. 이들 보간된 전위 맵핑은 BESA(BESA 5.1, MEGIS Software GmbH,
Munich, Germany)에서 적용된 3D 모형으로 나타내어졌다. 그런 다음 scalp current density(SCD) 토포그래피 맵핑이 계산되었다. 기록된 전위의 두 번째 공간적 파생물에 기반을 둔 이 방법은 기준 전극에 대한 분산을 밝혀주고 표면에서 기록된 전위에서 volume conduction의 영향을 감소시켜준다. 이것은 주어진 두피에서 기록된 ERP에서 기여하는 두개골 내의 발생원에 거의 가까운 위치를 더욱 잘 보이게 해준다.
두개골 내의 발생원에 대한 전류원 국소화는 BESA를 이용하여 쌍극자 모델링으로 만들었다. 이 방법은 등가 쌍극자로 근사치에 가까운 것 각각, 유발된 전위 주기에 걸쳐 활성하는 뇌 영역의 제한된 수와 식별된 수가 있다고 가정한다. 쌍극자 발생원은 두피와 두개골 두께가 각 6mm 와 7mm 그리고 90mm 라디우스인 네개 층 구형 volume conductor 모델내에 위치한다. BESA의 발생원 알고리즘 모듈은 McGurk-MMN의 최대 진폭에 쌍극자를 free fit 하는 것에 사용되었다. 이런 처음 쌍극자는 고정되었고, 추가적인 쌍극자는 그들이 솔루션을 향상 시킬 경우 평가를 위해 성공적으로 free fit 되었다. 고정되지 않았을 경우, 쌍극자의 위치와 방향은 전향적 솔루션과 관찰된 데이터 사이의 잔차(RV)를 최소화하기 위해서 반복적으로 조정되었다. Group average ERP 데이터는 가장 가능성있는 신호대 잡음 비율을 유지하는 것에 사용되었을 뿐 만아니라 개인들 간의 결과를 만들어내는 것에도 사용되었다. 쌍극자 전류원 분석에서, 모델링된 쌍극자는 영역내에서 활성의 지나친 간소화를 나타내고 관찰된 활성의 중심점의 대리적 역할로 고려되어져야 한다는 것을 유념해야 할 것이다.
댓글