• 목록

6/2 (목) 오후 16:20~17:50 

세션 : D6. 경영공학 4
<심층 강화학습을 통한 페어 트레이딩 전략 최적화>

주식시장은 수많은 변인과 예측의 어려움에도 불구하고 오랜 기간 동안 패턴을 분석하여 미래의 움직임을 예측하고자 하는 시도가 이어져왔다. 머신러닝, 딥러닝 기법과 같은 최신 알고리즘 등을 활용하여 정확도를 높이고자 하는 연구가 지속되고 있지만, 결과는 불확실성을 담은 불완전 예측에 한계점을 가지고 있다. 따라서 본 세션의 발표는 강화학습을 이용하여 이러한 문제를 얼마나 해결할 수 있을 지 관심이 생겼다.
본 연구에서는 DDQN을 활용하여 3개의 기업데이터 셋, 경제 지표 등을 적용하였고 이에 대해서 수익률을 보였다. 이 페어 트레이딩에서 수익률이란 강화학습의 에이전트가 취할 수 있는 action 즉, position을 Long또는 Short으로 선택하여 매수 또는 매입 ( 또는 중립)을 유지하고 예측의 성공에 다라 Reward를 얻게 되면서 발생하는 수익이다. 매 틱, 분마다 변화하는 State에 대한 빠른 Action을 통해 Reward를 최대화할 수 있는 Policy를 찾는다는 점에서 이 기법이 타당성이 있을 수 있겠다는 생각이 들었다. 하지만 데이터에 대한 자세한 설명이 부족했다는 생각이 든다. 해당 데이터가 몇 년치의 주가 데이터라는 점만으로는 이 데이터의 특성이 어떠한지, 예를 들어 몇 년간 Trendy하게 상향 패턴을 그리는 지, 전체적으로 Seasonality한지 등 이러한 데이터 분석 설명이 있었다면 조금 더 좋았을 것이라 생각한다. 또한 simulate하는 trade시점이 궁금하였다. 일일 종가를 기준으로 하냐 혹은 시가를 기준으로 하냐, 중간의 어느 랜덤 시점을 기준으로 하는 지 명확하지 않았던 점이 아쉬웠다.
요약하자면, 주가예측보다 트레이딩 관점에서의 전략을 최대한 시킬 수 있는 방법론으로는 강화학습이 효과적일 수 있을 것이라는 가능성을 보였다. 하지만, 편향되지 않는 적절한 데이터셋에 대한 정의와 Trade하는 시점에 대해서 명확히 가져가야 한다고 보인다. 추가적으로 A3C, multi-step 등 의 기법을 적용한 실험과 CNN과 LSTM등과의 Hybrid 알고리즘에 대한 평가도 추가된다면 좋을 것이라 생각한다.