• 목록

<청취후기>
2월 10일 (월)
제목: ELFS: Entropy-based Loss Function Selection for Global Model Accuracy in Federated Learning
박상호, 나선우, 박성환, 장예슬, 이재우, 중앙대학교

해당 연구는 연합학습 시 edge-site에서의 private data의 Non-IID(Independent and Identically Distributed) 특징을 해결하는 방법론을 제안하고 있다. Non-IID란, 데이터가 서로 독립적이고 동일한 분포를 따르지 않는 경우를 의미하며, federated learning 기법 상 각 클라이언트의 데이터를 한 곳에 취합 및 분석할 수 없기 때문에 이렇게 학습된 모델들을 연합하는 과정에서 정확도 손실이 발생 가능하다. 따라서, 이를 해결하기 위해 단일의 loss function이 아닌 entropy calculation을 추가하여, 데이터 분포 차이를 고려한 손실함수를 설계하였다. 각 클라이언트는 private data의 entropy 를 계산하여 이를 기준으로 중앙 서버에서는 각 클라이언트로부터 획득한 파라미터에 가중치를 부여하여 글로벌 모델 업데이트 시 반영한다. 확인하지 못한 사항으로는 entropy 계산 시 각 private data가 서로 일정 수준 유사한 분포를 가지고 있어야 가능할 것으로 예상되는데, 3개 이상의 client가 가지고 있는 private data a, b, c가 서로 완전히 다른 분포를 가지고 있을 때에도 유효한 계산 방식일지에 대한 부분을 확인하지 못했다. 연합학습에 대한 수요가 증가하고 있어 개념적인 부분만 이해하고 있었으나, 관심을 갖게 되는 계기가 된 연구였다.