Concept/ML, DL, AI (1) 썸네일형 리스트형 [Concept] Knoewledge Distillation 오늘은 현재는 다양한 연구 방향성에서 사용되고 있는 Knowledge Distillation 기법에 대해서 시작과 함께 알아보도록 하겠습니다. 그러기 위해서 우선 Knowledge Distillation이 처음 제시될 당시의 목적이었던 Model Compression에 대해서 먼저 간단히 살펴보겠습니다. Model Compression 일반적으로 ML/DL에서 모델이 Performance와 Computational Cost 및 Time은 Trade-off관계인 경우가 많습니다. 그래서 아무리 좋은 performance를 가진 모델이더라도 현실적으로 사용하기에 너무 무겁거나, 학습 및 추론 과정에서 시간이 너무 오래 걸린다면 사용되지 않습니다. 이를 위한 다양한 해결 방법들이 존재하지만, 이번에는 모델을 .. 이전 1 다음
