정형 데이터를 위한 새로운 아키텍처, ResNet-like 모델과 FT-Transformer를 제안한 논문입니다. 새로 제안한 두 모델 모두 경쟁력 있는 성능을 기록하였고, 특히 FT-Transformer는 실험에 사용한 대부분의 데이터셋에서 가장 좋은 결과를 얻었습니다. 실험 과정의 공정함, 데이터셋의 편향 등을 생각해 봤을 때 FT-Transformer가 무조건적으로 좋은 솔루션이라고 주장할 수는 없겠지만, 사용에 따라 좋은 성능을 얻을 수 있는 아키텍처임에는 부정할 수 없을 것 같습니다. 또한, tabular DL 연구의 베이스라인 기준선 자체를 높이고자 했던 시도가 매우 가치 있었던 것 같습니다. 질문해 주신 사항 중 몇 가지를 추가하여 발표 자료에 올려두었습니다. 발표 들어주셔서 감사합니다.
-김주혁-

본 논문에서는 최근 정형데이터를 위한 딥러닝 연구가 대두되고 있는 가운데 정형데이터에서 GBDT를 제외하고 부재했던 간단하고 신뢰할 수 있는 베이스 라인에 ResNet-like 아키텍처를 통해 효과적인 베이스라인 모델을 제시하였고, 새롭운 솔루션으로 FT-Transformer를 제안하며 광범위한 태스크에서 뛰어난 성능을 보여줬음을 알 수 있었습니다. 다만 일부 Task에서는 GBDT가 우세했음을 확인할 수 있는 논문이었습니다.
특히 기본 파라미터를 기준으로는 FT-Transformer가 GBDT보다 뛰어남이 나타났지만, 파라미터 튜닝을 통해 GBDT가 우위를 점한다는 점에서 아직은 정형데이터에 대한 딥러닝 아키텍처의 한계점이 드러났음을 시사하였습니다.
또 다양한 실험을 통해 FT-Transformer에 대한 무조건 적인 옹호보다는 성능에 대해 객관적인 평가를 진행하였고, 설계에 대한 평가까지 진행한 논문이었습니다.
이번 발표를 통해 정형데이터를 딥러닝 아키텍처에 적용하는 다양한 시도들이 지속되고있음을 알게되었고, 또 본 논문의 내용 중 정형데이터를 위한 딥러닝 베이스라인 기준선을 높이고자 했던 시도가 매우 인상적이었습니다. 좋은 발표 감사합니다!
- 장효영 -

11개의 정형 데이터셋에서 GBDT와 ResNet-like architecture, FT-Transformer의 성능 비교를 통해 딥러닝 기반 모델의 정형 데이터에서의 성능을 보여준 논문입니다. 저자는 GBDT 외의 베이스라인으로 ResNet을 제안하고, FT-Transformer도 함께 보여주며 준비된 데이터에 대해 딥러닝 모델들이 기존의 GBDT를 일부 능가하는 뛰어난 성능을 가지고 있다는 것을 입증했습니다. 그럼에도 불구하고 파라미터 튜닝 이후에는 다시 GBDT가 우세한 면이 있고, GBDT에 비해 한 번의 train에 오랜 시간이 걸린다는 점이 아쉬웠습니다. 또한 데이터셋의 선정 기준이 해당 논문에서는 자세히 제시되지 않아, 뛰어난 성능을 보였던 FT-Transformer에 편파적이지 않은가 하는 의구심이 들 수 밖에 없는 것이 아쉬운 논문이었던 것 같습니다. 딥러닝 모델들은 그동안 정형 데이터에 대해 트리 기반 모델을 능가하고자 여러 가지 시도를 해왔는데, FT-Transformer와 RestNet-like Architecture도 그 수많은 시도 중 하나라고 보입니다. 비록 여러 의문점이 있었지만 딥러닝 모델의 베이스라인을 제시했다는 점에서 의미 있는 논문이었다고 생각합니다. 좋은 발표 감사합니다!
-황승택-

본 논문은 tabular data에 강건하지 않은 DL 모델과 ResNet-like architecture, 그리고 저자들이 하나의 solution으로 제안하는 FT-Transfomer에 대한 비교 실험을 진행합니다. 특히, 기존에 Tabular dataset에 제공되지 않았던 하나의 Baseline model을 ResNet-like model로 제안하며 하나의 기준점을 제시했다는 점이 인상 깊었습니다.
특히, DL 기반의 FT-Transfomer를 제안하여 기존 tabular에 강건한 성능을 제시한 GBDT 모델보다 대부분의 dataset에서 우수한 성능을 보임을 입증했습니다. 비록, 대부분의 dataset에서 좋은 성능을 내었다는 점이 항상 optimal한 solution이 되지는 않겠지만, dataset의 특성과 사용자의 domain에 따라 사용한다면, 기존 GBDT model 대비 DL model로 우수한 성능을 낼 수 있다는 점에서 충분히 가치가 있다고 생각됩니다. 또 다양한 hyperparameter를 optuna를 이용해 최적화를 했음에도 여전히 강건한 성능을 보여줬습니다. 또한 기존 GBDT model 대비 적은 tuning time의 제한에서의 자유로움 역시, FT-Transfomer가 가지는 장점이라 생각됩니다.
다만 알파를 통한 모델의 optimal을 찾는 과정이 다소 모호한 점, 실험과정 중, 일부 dataset을 생략하고 표기하는 점에서의 아쉬움이 존재했으나, 그럼에도 충분히 경쟁력있는 model을 제시했다는 부분에서 가치있는 논문이라 생각됩니다.

차근차근 논문에 진행과정에 맞게 좋은 발표를 진행해주신 주혁님께 감사의 말씀을 드립니다.
- 윤서환

해당 논문에서는  정형 데이터를 위한 딥러닝 아키텍처를  ResNet-like 모델과 FT-Transformer를 제안하였습니다.
정형데이터에 대해서 간단하고 신뢰할 수 있는 솔루션이 부족한 현실에서 새로운 베이스라인 모델로 RestNet-like모델을 제시했다는 점이 인상적이었습니다.  여기서 새로운 베이스라인 모델을 RestNet-like모델을 사용한 이유는 훈련시간이 적게 걸리고 좋은 결과를 나타내는 장점때문이라고 생각합니다.
또한 , 정형데이터를 위한 딥러닝 아키텍처인 FT-Transformer의 가능성을 보게되었습니다. 해당 논문에서는 실험을 통해서 FT-Transformer가 좋은 결과를 나타냈습니다. 이 사실로 FT-Transformer가 절대적으로 좋다는 것을 나타내지는 않지만, 상황에 따라 FT-Transformer도 좋은 아키텍처라는 사실은 알 수 있었습니다.
이처럼 딥러닝 모델을 시도한 결과는 좋았으나, 딥러닝 모델과 GBDT를 비교한 결과 보편적으로 우수한 solution이 없었습니다. 그럼에도, 정형 데이터를 위한 딥러닝의 베이스라인 기준을 높이고자 하는 시도가 좋았던 논문이었다고 생각합니다.
어려운 내용을 차근차근 설명해주셔서 이해할 수 있었습니다. 좋은 발표 감사드립니다.
-김상수-

지난 주 승준 님의 발표에 이어서 트리기반 모델과 딥러닝 모델의 비교 실험을 주로 하고, FT-Transformer를 제안한 논문이었습니다.
상당히 다양한 모델들을 비교해 주었습니다. 실험에 쓰인 데이터 셋들이 선정된 구체적인 근거가 논문에 제시되어 있지는 않으나, 어느 정도 다양성을 확보하고 있다고 생각합니다.
저자들이 추가적으로 제시한 FT-Transformer와 ResNet-like 모델 모두 좋은 성능을 보였습니다. 하지만 성능 뿐 아니라 하이퍼 파라미터 튜닝 시간, 훈련 시간 모두 고려하여 tradeoff를 탐구하는 연구는 계속 필요해 보이기에, '어떤 베이스 라인이 최고다' 를 논할 수 없다는 점은 여전히 풀리지 않는 숙제인 것 같습니다.
다음 주 발표 논문도 비슷한 주제의 실험 위주인데, 발표해 주신 내용 참고하며 준비하는 시간 갖도록 하겠습니다. 좋은 발표 감사드립니다.
-윤성호