Sensing Emotions (Affective Computing)

Sensing Emotions (Affective Computing)

해당 기사는 ACM Communications Magazine에 2015년 9월에 실린 내용이다.

http://dx.doi.org/10.1145/2800498

"How computer systems detect the internal emotional states of users"라는 내용으로 2장 정도의 글을 담고 있다.

30명의 사람들로 구성된 인원이 슈퍼볼을 보고 있고, 이때의 그들의 얼굴 표정의 변화를 카메라가 인지하고 있다.

어떠한 광고가 지루한지 그러한 것들을 카메라를 이용한 얼굴 변화 인식을 통해서 알 수 있다.

그들이 amused, ambivalent, surprised 되는 각각의 양상을 현재 스크린에서 재생되는 영상과 매칭 시켜서 분석 할 수 있는 것이다.

이것을 바로 광고의 효과에 적용할 수 있다.

다들 아시다 시피 슈퍼볼 경기 앞에 들어가는 광고는 천문학 적인 금액을 지출하기 때문이다.

감정 인식의 활용은 광고의 효과를 인지하기 위해서 사용 한다 (market research)

온라인 학습 시스템에서는 언제 학생들이 성장하는지를 관찰한다.

healthcare 응용프로그램에서는 새로운 의약품에 대해서 우울증 환자들이 어떻게 반응 하는지를 다룬다.

home assistance robot들은 노인들의 감정 상태에 따라서 적절히 반응 할 수 있다.

이러한 위의 것들을 처리하는 컴퓨팅을 "affective computing"이라는 용어로서 1990년에 만들어 졌다. MIT 교수 Rosalind Picad에 의해서 단어가 생성됨.

(신조어) 분위기나 감정과 관련된 신체적 특성을 감지하기 위해 생체인식 센서를 사용하는 컴퓨터 기술. 분위기 및 감정의 컴퓨터 시뮬레이션

Focusing on Faces

---

사람의 vocal into nations, gestures, facial expression, 그리고 posture를 통해서 그 사람이 

engaged인지, distracted인지, annoyed인지를 알아 낼 수 있다.

사실이러한 것을 위해서 직접적인 사람의 해동변롸를 관찰하게 되는 것이 "affective computing"에서는 일반적인 것이다.

전통적으로 이렇게 사람의 얼굴과 몸동작을 관찰하는 방법을 많이 썻다.

하짐 입술의 떨림 같은것은 수염 때문에 알아내기 어렵고

입술, 눈, 코 입 과 같은 단일 부위에 대한 작용을 연결해서 감정으로 연결 시키는것은 사전에 심리 상태와 각 얼굴 부위별 반응에 따른 모델을 필요로 한다. 

Generating Quality Data

---

많은 이미지를 분석하기 위해서 컨설턴트가 동원 된다.

그다음 시스템을 지도학습 해야한다. 즉 어떤게 joy가 그렇지 않은지를 알려준다.

이때 joy에 관한 이미지를 사전에 사람이 분류해서 100,000 정도를 알려주게 된다.

각각의 이미지의 밝기를 비교하기도 한다.

그다음 각각의 statistical pattern recognition을 이용해서 어떤 사진이 joy 처럼 보이는지를 찾아내게 된다.

이제는 statistical pattern recognition는 "Deep learning"의 부분으로 이동 되었이며 이것이 훨신 powerful 하다고 한다. 

Deep Learning

---

계측적인 러닝 모델이다.

일단 픽셀에서 부터 일정한 패턴을 찾아서 군집하게 된다.

이것은 마치 어린아이가 자동차를 보았을때 그것이 무엇인지는 모르지만 하나의 영역이 생기고

앞으로 자동차와 비슷한 물건을 보면 처음본 이미지와 계속해서 연결되는 뇌의 구조를 모방하는 방식이다.

그리고 이러한 자동차의 모서리를 인지하고 그것의 모양을 각각의 차원으로 분할해서 저장한다.

따라서 어린아이는 자동차를 실제로 보던 TV를 통해서 2D 영상으로보던 모두 자동차로 인지하게 된다.

Applications and Multimodal Approaches

---

가장중요한 부분은 응용일것이다.

여전히 광고쪽이나 마케팅 쪽에서 그 효과를 측정할 수 있는 강력한 수단은 존재하지 않고 있다.

pain management for children. 아이들은 자신의 고통을 정확하게 설명하지 못한다. 하지만 이것을 통해서 진실을 알아낼 수 있다고 한다.

아이들의 pain level을 측정하는 수단이다.

physiological input: facial expressions, gestures, voice, 이러한 것들이 분명한 cue가 된다.

Conclusion

---

하지만 이러한 모든 방법은 사람의 집단주의에서 발생하는 감정의 숨김이라는 벽에 부닥치며

복잡한 이간의 감정을 예측하는것은 매우 어려운 일로 남아있다. 단순히 사람의 visual information만 가지고 판단할경우 잘못된 결과를 추출할 가능성이 매우 높게 된다.

철학자 스피노자가 말하길 인간의 감정은 48개라 한다. 이렇게 복잡한 감정을 컴퓨터가 이해하기란 애초부터 불가능 한것은 아닐까.

현재 컴퓨터 과학에서의 감정 인지는 걸음마 수준인것 같다.

Further Reading

---

Picard, R.W.

Affective Computing, The MIT Press, 2000.

Calvo, R.A., D’Mello, S.K., Gratch, J.,and Kappas, A. (Eds.)

The Oxford Handbook of Affective Computing, Oxford University Press, 2015.

Bartlett, M., Littlewort, G., Frank, M., and Lee, K.

Automated Detection of Deceptive Facial Expressions of Pain, Current Biology, 2014.

Narayanan, S., et. al.

Analysis of Emotion Recognition Using Facial Expressions, Speech and Multimodal Information, Proceedings of the International Conference on Multimodal Interfaces, 2004.

Emotient

https://vimeo.com/67741811