Class Activation Map(Learning Deep Features for Discriminative Localization) (CVPR2016)

논문 링크 : arxiv.org/abs/1512.04150

Learning Deep Features for Discriminative Localization

ClassActivation map(CAM)에 대해 간단히 정리해보려 합니다.

한문장으로 정리하자면 CAM은 classification 결과에 대해 interpretable한 결과를 제공합니다. 즉, 결정에 대한 이유를 시각화할 수 있다는 것이죠.

 

<Introduction>

일반적인 CNN구성은 convlayers + pooling layers + ... + FC layer로 구성됩니다. 즉 마지막 feature map을 flatten해서 FC layer에 넣어주게 되죠. 이렇게 되면 uninterpretable한 정보가 되어버립니다. 위치에 대한 정보도 소실되게 되죠. 

이 논문에서는 FC layer 대신 GAP를 사용합니다.

 

<GAP>

GAP (Global Average Pooling)은 feature을 (1, 1, c)의 형태로 차원수를 급격히 줄여줍니다. GAP는 원래 FC의 역할을 대신할 방법으로 제안되었습니다.

 

FC의 단점: 마지막 feature map과 weights들을 matrix곱을 해주어 이미지 전체를 보고 예측을 수행하게 하는데, 파라미터가 너무많고 위치정보가 사라질 뿐 아니라 이미지 크기를 고정시켜주어야 함.

 

마지막 featuremap이 class수 만큼의 채널을 갖게하고 GAP를 수행해주면 FC를 대신할 수 있습니다.

GAP는 reguarizer의 역할을 하면서, 파라미터 수를 줄여주고 위치정보를 그대로 사용할 수 있게합니다.

 

GAP를 사용하면 이미지 크기를 고정할 필요가 없어 FC와 같이 사용하기도 합니다.

 

GAP

다시 CAM의 설명으로 돌아오겠습니다.

CAM의 구조를 나타낸 그림입니다.

CAM

마지막 feature map에서 GAP를 수행해주고 , softmax의 입력값을 생성하기 위한 FC layer가 있습니다.

즉, class c로 분류될 확률을 구할 때 (FC) 곱해지는 weights들을 마지막 featuremap에 곱해주고 합해주면, 왜 c로 분류되었는지 알 수 있는 activation map을 구할 수 있습니다.

activation map을 활용한 간단한 실습코드: github.com/chaeyeongyoon/parking_lot_deeplearning/blob/main/kaggle_find_car_park.ipynb

chaeyeongyoon/parking_lot_deeplearning