[DCN v2] Deep & Cross Network v2

Deep & Cross Network에서 개선된 버전

1. Deep & Cross Network V2 [Paper]

• DCN에서 개선점
• Cross Network

• 기존 : Cross Network의 경우 각 임베딩 layer를 선형 형태로 가중치를 두어 상호 피처 영향력을 계산함

• 개선 : 가중치를 2차원으로 두어 상호 피처의 정보를 유지한 채로 가중치를 업데이트할 수 있게 됨
• 또한 처음 입력 정보를 원소간 곱으로 계산하여 정보 손실을 방지함

이를 통해 CrossNetwork는 기존 DCN 모델보다 더 풍부하게 표현이 가능함

2. 모델 구조

• DCN v2의 경우 기존 DCN과 달리 2가지 형태로 구조를 가질 수 있음
• Parallel
  • W&D 및 기존 DCN과 동일한 형태로, CrossNetwork 정보와 Deep Network 정보의 결과를 합쳐 최종 예측을 해냄
• Stacked
  • CrossNetwork 모델의 결과를 Deep Network 모델에 전달하여 최종 예측을 해냄
    둘 중 하나가 더 나은 형태가 아닌, 상황에 맞게 모델링을 하여 사용하는 것이 좋음

2. 결론

• DCN 구조를 크게 해치지 않으면서 성능을 끌어올린 모델
• 테스트 데이터 셋 (MovieLens 1M)
• DCN 과 DCN_v2 (Parallel / Stacked) 각각 모델에 동일한 파라미터를 설정한 후 학습 및 테스트 진행
  • AUC : 0.802 (DCN) -> 0.811 (DCN v2 Parallel)
  • AUC : 0.802 (DCN) -> 0.806 (DCN v2 Stacked)
  • ACC : 0.734 (DCN) -> 0.740 (DCN v2 Parallel)
  • ACC : 0.734 (DCN) -> 0.735 (DCN v2 Stacked)
• 두 평가 점수에서 모두 개선을 보임