• 목록

2023.01.25

세미나 주제1: 지난 산학과제 리뷰 (SECRET)
세미나 주제2: [Paper Review] Chip Placement with Deep Reinforcement Learning

주제2 요약: 금일 이번 방학의 최적화 연구 세미나를 처음으로 진행하였다. Google에서 딥러닝 학습용으로 개발한 NPU인 TPU라는 칩 설계 이슈를 다룬 세미나였다. 대규모 문제 사이즈에 다중 목적을 갖고 있고 다양한 고려사항으로 인하여 근사해를 도출하는데 있어 시간 복잡도가 높은 전형적인 최적화 이슈를 다루고 있다. 모든 최적화 이슈를 학습모델로 다루기에는 그 제약조건들을 모두 다루기 어렵기 때문에, 본 연구에서는 Macro, standard cell이라는 큰 모듈의 공간을 할당하는 연구를 수행하였다. chip의 성능을 위해 density를 높임과 동시에 에너지 소비를 낮추고, 그와 동시에 모듈 간 연결 정보의 복잡도에 따른 혼잡도는 줄여야 하는 minmax 문제이기에 그 복잡도가 더 할 수 밖에 없다. 체스 경기에 대한 상태 경우의 수가 10^123 이라면, 바둑은 10^360이고, 본 문제에서 다루는 TPU 솔루션 조합 경우의 수는 10^9000에 해당한다고 한다. 본 연구에서는 policy and value net과 feature embedding net 두 가지로 구성하여, 특정 macro를 어느 곳에 둘지 upsampling 구조의 policy net을 통해 action을 취하고, 이에 대한 value를 측정하며 이후 force-directed method라는 전통적인 heuristic method를 혼합하는 방식으로 모델을 구성하였다. feature embedding 부분에는 그래프 딥러닝을 적용함으로써 모듈 간 인접 여부가 아닌 실제 link로 연결되었는지 여부를 판단하여 차원 축소를 가능케 했다. 차원을 축소하면, 그 만큼 해를 탐색해야 하는 공간도 작아지므로 최적해를 푸는 시간과 효과, 효율 모두 개선될 수 있다. 본 연구는 대규모 최적화 문제를 풀기 위해서 심층강화학습을 활용한 대표적인 연구로 소개될 수 있다.