논문을 상세히 읽고 전체 내용을 잘 전달해주어 고맙습니다. no free lunch theorem의 개념과 함께 논문의 제목처럼 정형데이터에 대해 딥러닝 모델들이 효과적이지 않음을 잘 소개해준 논문입니다. 특히, 높은 정확도 성능을 꾀할 수 있는 딥러닝 모델을 조합한 앙상블 모델을 취하더라도 대표적인 boosting 앙상블인 xgboost 대비 좋지 않음을 실험적으로 재차 보여주고 있습니다. 예전에 연구실에서도 NODE 및 TabNet을 기준으로 계속 시도하고 연구에 활용해본 바 있으나, 학습시간, 리소스를 떠나서 수렴모델의 강건성 면에서 여전히 큰 문제가 있어 보여 과제에는 사용하지 않고 있습니다. 또한, 쉽게 답을 찾을 수 있는 방법이 있는데 특정 기법 '딥러닝'사용하려고 시도하는 것은 직업상 모델러의 bias가 아주 큰 행위이므로 지양하기를 바랍니다. 질문 몇가지가 있습니다. 1. 딥러닝 기법 4개가 정형데이터 공략을 위해 기존 딥러닝 기술들 모두를 충분히 고려한 것이란 것을 어떻게 보여줄 것인가? 2. 실험 결과상 봤을 때 1D conv는 그렇게 효과적이지 않았는데 굳이 선정한 이유는 무엇일지, 그 가정도 locality pattern 집중을 위한 것이라면 충분한 설득력이 있는 결과 도출이 된 것이 없음은 아닌지요? 2. 비모수 가설검정인 Friedmann test를 통해서 성능 평균의 차이가 있는지 순위 기반으로 검증했는데, 분산의 차이도 검증할 필요가 있지 않은지 입니다. 딥러닝 모델들이 평균 성능도 떨어지지만, 단순 조합 방식의 앙상블 모델의 경우 평균 성능은 다소 올라가도 분산 차가 커지지 않을까요?

코멘트 감사드립니다. 질문에 대한 제 생각 답변 드리겠습니다.

첫 번째 질문에 대한 내용은 저도 리뷰 하면서 들었던 의문점 중 하나 입니다. 실험에서 쓰인 딥러닝 기법은 NODE, TabNet, DNF-Net, 1D-CNN 입니다. 이는 background에서 소개한 여러 딥러닝 기술 중 Attention-based model, differentiable trees, 1D-CNN 을 포함합니다. 하지만, 추가로 소개했던 rln 기법이나, latent cross기법은 실험에서 찾아볼 수 없었습니다. 더 많은 기법에 대한 실험이 추가되어야 한다고 생각합니다.

어떻게 보면 두 번째 질문에 대한 답변이 위 질문의 연장선이 될 수도 있다고 생각합니다.  최근 대중적으로 쓰이는 Attention-based model, differentiable trees 기술 뿐 아니라 다른 기술을 쓴 기법도 추가로 실험하기 위해 1D-CNN을 추가한 것이 아닐까 하는 생각이 듭니다. 1D-CNN의 실험 결과가 그렇게 효과적이진 않았다고 보일 수 있으나, 나머지 세 개의 기법도 original model을 제외하고 unseen dataset에서는 1D-CNN 처럼 그저 그런 결과를 보임을 확인하실 수 있듯이, 어떤 다양한 딥러닝 기법을 이용해도 unseen dataset에서는 약한 성능을 보인다는 저자의 주장의 뒷받침으로 쓰이기엔 이상 없는 결과였다고 생각합니다(1D-CNN은 모든 실험 결과가 unseen dataset에 대한 결과입니다). 정리하자면, 1D-CNN에 대한 결과로 저자가 보여주고자 한 점은, '딥러닝 기법의 정형 데이터셋 적용의 한계점이었던 feature locality를 극복하였다고 주장한 1D-CNN 기법도 모든 데이터 셋에서 좋은 성능을 보인 것은 아니었다.' 정도 였다고 생각합니다. 이에 따라 추가적으로 떠오르는 '1D-CNN이 feature locality를 극복한 것이 맞는가?' 에 대한 의문은 추가적인 검증 과정이 필요할 것 같습니다.

마지막 질문에 대한 답입니다. 분산에 대한 점은 발표를 준비할 땐 생각해 보지 못하였는데, 다시 생각해 보니 단순 평균 조합의 경우 분산이 증가할 수 있다는 생각이 들었습니다. 충분히 고려해야 할 점이라고 생각합니다. 우선 본 논문은 v1에서는 통계적 유의성 검정을 하지 않았습니다. 이러한 점을 공식 리뷰에서 비판 받았고, 이번에 저희가 리뷰한 v2에서 보완하기 위해 Friedmann test를 추가하여 낸 것입니다. 또한, 추가로 개인적으로 들었던 생각은 단순 조합 앙상블에 대한 실험은 단일 모델끼리만 비교하는 것으로는 충분하지 않기에 +α로 추가한 것이 아닌가 하는 생각이 들었습니다. 그래서 논문을 읽을수록 앙상블에 대한 실험이 뭔가 많이 부족하다는 점이 느껴졌습니다. 앞의 내용들을 조합하여 저자들이 분산에 대한 유의성 검정까지는 생각해 보지 못한 것 같습니다. 더 완성도 있는 논문이 되려면 말씀해 주신 대로 분산에 대한 검증도 추가하는 것이 좋다고 생각합니다.

감사합니다!
-윤성호

Tabular DL 모델과 GBDT 사이의 성능 비교를 수행한 논문이었습니다. 각 논문에서 소개된 데이터셋과, 아예 새로운 데이터셋을 사용하여 실험을 진행한 부분이 인상 깊었습니다. 딥러닝 모델들이 unseen dataset에서 original model보다 못한 성능을 보였다는 점에서, 역시 새로운 아키텍처를 소개하는 논문들은 새로운 아키텍처에 유리한 결과를 편향적으로 제시한다고 느꼈습니다. 실험에서 4개의 딥러닝 모델만을 사용한 것은 아쉬웠던 부분인데, 더 많은 딥러닝 모델을 사용하여 성능 비교 결과를 제시하였다면 더 좋았을 것 같습니다. 지난번 승준 님의 발표에서 데이터셋의 크기가 증가할수록 딥러닝 모델의 성능이 좋아지는 경향을 확인할 수 있었습니다. Unseen dataset을 보면 두 데이터셋 모두 샘플의 개수가 10k 이하였는데, 샘플 수가 더 많은 데이터셋에서 동일한 조건으로 실험을 수행하였다면 결과가 어떻게 될지 궁금합니다. 좋은 발표 감사드립니다.
-김주혁-

정형데이터에 대해서 DL모델과 GBDT를 실험을 통해 비교한 논문이었습니다.
'No free lunch'이론을 이용하여 '정형 데이터에 당신이 필요한 것은 딥러닝 뿐만은 아니다'라는 내용이 인상 깊었습니다. 다른 논문에서는 DL모델이 성능이 좋다고 이야기하는 반면에 이 논문에서는 정형데이터에 필요한 것은 DL모델 뿐만 아니라고 잘 설명해주었습니다.
또한, 정형데이터에서 GBDT가 성능이 우수하다는 사실을 그대로 보여주고 앞으로 DL모델의 발전을 위한 방향을 제시한 부분이 인상 깊었습니다. 특히, 실험을 통해서 XGBoost가 DL모델보다 우세하다는 객관적 사실을 알려주고 최적화가 쉬운 딥러닝 모델을 발전시키는 방향성이 필요하다는 방법을 제시하여서 좋았습니다.
다만, 실험에서 DL모델을 4개만 사용한 점은 아쉬웠습니다. 다양한 모델의 비교를 통해서 결과를 정확하게 제시하였으면 좋았을것 같습니다.  이처럼, 많은 내용을 이해하기 쉽게 설명해 주셔서 이해할수 있었습니다. 좋은 발표 감사드립니다.
-김상수-