2018년에서 바라본 딥러닝의 비판적 평가

2018년에서 바라본 딥러닝의 비판적 평가

---

• data hungry

  • 데이터가 매번 너무 많이 필요하다. 세상의 모든 문제를 무한한 데이터가 제공된다고 가정하고 풀 수는 없다.

• shallow & limited capacity for transfer

  • deep은 아키텍쳐가 깊은거지 딥하게 이해 하는 것 아니다.
  • 너무 트레이닝에 오버핏 된다.
  • adversarial하게 학습 모델을 저격하는 데이터 예제를 쉽게 만들 수 있다.

• no natural way to deal with hieracyhical strcture

  • 맨 마지막의 featrue는 너무 flatten 하다.
  • 지식은 계측정 관계가 있는 딥러닝은 그렇지 못하다

• struggled with open-ended inference (개방향 문제에 약함)

  • VQA도 그냥 호랑이 어디, 호랑이는 몇마리? 이런건 잘함
  • open-ended inference란 이 호랑이들은 지금 이곳에 왜 있는가?와 같은 것들이다. 이러한 데이터 영역을 벗어난 오픈 문제들에는 너무나도 약하다.

• not sufficiently transparent

  • dconv 등과 같은 기술이 있지만 여전히 충분히 이해할만큼 내부가 보이지 않는다.

• not well intergrated with prior knowledge

  • 사전에 잘 정의된 지식으로 우리는 비행기도 만들고 우주산업도 발전 시켰다.
  • 하지만 딥러닝은 너무 data-driven이다. 이게 인간이 알 수 없었던 무언가를 보여주기도 하지만, 역설적으로 GAN으로 너무 밑 바닥 부터하면 너무 학습도 어렵고 나온 결과를 해석하기도 어렵다. 사전에 왜 잘 정의된 지식과 통합하지 못하는가?
  • GAN의 manipulation 하기도 쉽지 않다.
  • Physical world의 잘알려진 공식 f= ma를 만들자도 있지만, 그결과는
    • 영상으로 부터 가속도 등등을 약간 배운것이지 저 공식을 유도한 내용은 아니다.

• not inherently distinguish causation from correlation

  • 상관 관계와 인과 관계를 구분 못한다.
    • 예: 알통이 굵으면 보수다.

• presumes a largely stable world

  • 너무나도 불안정하다.

• its answer often cannot be full trusted

  • 딥러닝이 낸 결과를 이해할 수 없기에 신뢰하기도 어렵다.

• difficult to engineer with

  • 해본 사람은 알겠지만 디버깅도 어렵고 새로운 문제에 적용해서 쓸만하게 동작시키는 것도 쉽지 않다.

크게 나누면 두개

• generalizability

  • 세상의 모든 문제를 infinite 데이터로만 학습 할 수는 없다.

• Abstraction

  • 더 높은 지식으로 올라가지 못한다.

참고문헌

• https://www.youtube.com/watch?v=6hg5d10SZr0
• https://arxiv.org/abs/1801.00631