오늘 발표는 민정이가 의학 분야 도메인에서 사용되는 예측 모델들에 대한 reliability를 높이기 위해 calibration을 사용하는 내용을 발표하였다. 의학 분야에 AI를 적용할 때, 모델에 대한 신뢰도를 측정하는 것은 중요하게 다루어야 할 문제이다.  calibration이란 모델의 예측값이 실제 confidence를 의미한다. 예를 들어 개, 고양이를 분류하는 이진 분류 classifier를 가정해보자. classifier가 80% 확률로 개라고 예측한 이미지들을 모아서 해당 샘플들의 accuracy가 80%에 가깝게 나올수록 calibration이 높다고 할 수 있다. 만약 accuracy가 80보다 높으면 underconfidence한 모델이라고 볼 수 있고 80%보다 낮은 accuracy를 갖고 있으면 overconfidence한 모델이라고 볼 수 있다. 이 때, 논문에서는 reliability plot을 활용하여 prediction calibration 기법의 효과를 확인한다. reliability plot은 confidence와 accuracy 사이의 gap 차이를 가시화 해주는 plot이다. 이러한 plot는 한번에 해당 모델에 대한 신뢰도를 측정할 수 있는 좋은 지표가 될 수 있다. 이러한 접근법은 의학 분야에 적용된 AI 모델 뿐만 아니라  모든 도메인에 적용되는 AI 모델에 대해서도 의미 있게 활용될 수 있을 것 같다는 생각이 들었다. 현재 내가 연구하는 HPE 연구와 제조 관련 연구에도 적용하고자 하는 동기가 된 좋은 시간이었다.