2018년에서 바라본 딥러닝의 비판적 평가


  • data hungry

    • 데이터가 매번 너무 많이 필요하다. 세상의 모든 문제를 무한한 데이터가 제공된다고 가정하고 풀 수는 없다.
  • shallow & limited capacity for transfer

    • deep은 아키텍쳐가 깊은거지 딥하게 이해 하는 것 아니다.
    • 너무 트레이닝에 오버핏 된다.
    • adversarial하게 학습 모델을 저격하는 데이터 예제를 쉽게 만들 수 있다.
  • no natural way to deal with hieracyhical strcture

    • 맨 마지막의 featrue는 너무 flatten 하다.
    • 지식은 계측정 관계가 있는 딥러닝은 그렇지 못하다
  • struggled with open-ended inference (개방향 문제에 약함)

    • VQA도 그냥 호랑이 어디, 호랑이는 몇마리? 이런건 잘함
    • open-ended inference란 이 호랑이들은 지금 이곳에 왜 있는가?와 같은 것들이다. 이러한 데이터 영역을 벗어난 오픈 문제들에는 너무나도 약하다.
  • not sufficiently transparent

    • dconv 등과 같은 기술이 있지만 여전히 충분히 이해할만큼 내부가 보이지 않는다.
  • not well intergrated with prior knowledge

    • 사전에 잘 정의된 지식으로 우리는 비행기도 만들고 우주산업도 발전 시켰다.
    • 하지만 딥러닝은 너무 data-driven이다. 이게 인간이 알 수 없었던 무언가를 보여주기도 하지만, 역설적으로 GAN으로 너무 밑 바닥 부터하면 너무 학습도 어렵고 나온 결과를 해석하기도 어렵다. 사전에 왜 잘 정의된 지식과 통합하지 못하는가?
    • GAN의 manipulation 하기도 쉽지 않다.
    • Physical world의 잘알려진 공식 f= ma를 만들자도 있지만, 그결과는
      • 영상으로 부터 가속도 등등을 약간 배운것이지 저 공식을 유도한 내용은 아니다.
  • not inherently distinguish causation from correlation

    • 상관 관계와 인과 관계를 구분 못한다.
      • 예: 알통이 굵으면 보수다.
  • presumes a largely stable world

    • 너무나도 불안정하다.
  • its answer often cannot be full trusted

    • 딥러닝이 낸 결과를 이해할 수 없기에 신뢰하기도 어렵다.
  • difficult to engineer with

    • 해본 사람은 알겠지만 디버깅도 어렵고 새로운 문제에 적용해서 쓸만하게 동작시키는 것도 쉽지 않다.

크게 나누면 두개

  • generalizability

    • 세상의 모든 문제를 infinite 데이터로만 학습 할 수는 없다.
  • Abstraction

    • 더 높은 지식으로 올라가지 못한다.

참고문헌


+ Recent posts