[20260728 통합세미나] Specialized and Foundation Models for Probabilistic D…
페이지 정보
본문
[일시] 2026.07.28.
[세미나 주제]
Specialized and Foundation Models for Probabilistic Demand Forecasting
[발표자]
김민재
[요약]
본 발표에서는 미래 수요를 단일 값이 아닌 확률 분포로 예측하는 문제를 다루고 서로 다른 전략을 취한 두 논문인 STZINB-GNN과 TiRex-2를 비교 분석하였다. 수요 예측은 값이 연속인지 정수인지 변동이 규칙적인지 산발적인지에 따라 가정할 분포와 손실이 달라지고 이에 따라 데이터 특성에 맞춰 모델을 설계하는 Specialized 계열과 대규모 사전학습 후 추가 학습 없이 적용하는 Foundation 계열로 분리되어 발전해왔다.
STZINB-GNN은 통행 수요를 0이 과다한 이산 카운트로 가정한 Specialized 계열이다. 5분 해상도에서 전체 칸의 88%가 0이 되는데 이 0은 결측이 아니라 관측이므로 채울 대상이 아니라 설명할 대상이다. 0의 발생 경로를 구조적 0과 NB에서 우연히 나온 0으로 분리한 ZINB를 세우고 DGCN과 TCN 두 브랜치가 각각 파라미터 (n, p, π) 한 벌씩을 내놓아 원소별 곱으로 융합한다. 노드를 지역이 아니라 O-D 쌍으로 둔 것이 기존 GNN 연구와의 차별점이다. TiRex-2는 특정 데이터를 겨냥하지 않고 사전학습한 Foundation 계열이고 xLSTM 위에 Time Mixer와 Variate Mixer를 12번 교대로 쌓고 32스텝 패치마다 99개 quantile을 출력한다. 값을 이미 아는 future-known covariate만 역방향으로 읽게 허용하면서 예측 대상은 자기 미래를 못 보게 막는 비대칭 group attention이고 이 인과성이 스트리밍의 전제조건이 된다.
[Q&A]
Q : 데이터에서 0인 항목을 그냥 빼버리면 굳이 π를 학습할 필요가 없지 않나요?
A : 0은 예측 대상 자체입니다. 여기서 0은 센서 고장이 아니라 실제로 통행이 없었다는 관측이고 수요가 낮은 지역을 가리키는 정보여서 빼면 이부분에는 수요가 없다는 예측을 못 하게 됩니다. 그리고 학습 데이터에서 0을 지울 수는 있어도 추론 시점에는 모든 O-D 쌍을 예측해야 하고 지금 이 칸이 구조적으로 0인가를 맞히는 것이 π의 역할입니다. 조건도 0인 칸이 고정되어 있지 않습니다. π는 O-D 쌍마다 시점마다 값을 가지고 정적인 마스크로는 시간 의존성을 담을 수 없습니다.
Q : π가 학습으로 얻어지는 값이라면 데이터셋이 조금만 바뀌어도 다시 학습해야 하는 것 아닌가요?
A : 맞습니다. STZINB-GNN은 데이터셋마다 인접행렬을 다시 만들고 (n, p, π)를 새로 학습해야 하는 모델입니다. 대신 그 데이터의 0 과잉 구조를 명시적으로 모델링해서 희박한 구간에서 확실한 이득을 얻습니다.
Q : 지역을 그래프의 노드로 두고 지역 간 관계를 본 것 같은데 edge 가중치는 어떻게 설정하나요?
A : 이 논문의 노드는 지역이 아니라 O-D 쌍입니다. 출발지나 도착지를 노드로 두면 쌍과 쌍의 관계를 표현할 수 없습니다. 노드 수는 출발지 개수 곱하기 도착지 개수여서 그래프는 완전연결입니다. 그래서 인접 여부라는 이진 개념은 없고 가중치 크기만 존재합니다.
Q : 공간과 시간 브랜치가 각각 분포를 뽑는 것까지는 알겠는데 fusion에서 둘이 어떻게 합쳐지나요?
A : 덧셈이 아니라 원소별 곱입니다. 곱을 쓰는 이유는 AND 게이트처럼 동작시키기 위해서입니다. 공간과 시간 양쪽에서 모두 0일 가능성이 높다고 판단해야 최종 π가 커집니다. 덧셈이면 한쪽만 커도 결과가 커져서 한 축의 판단만으로 결정됩니다.
Q : 이 방법론은 교통 도메인에서만 쓸 수 있는 건가요?
A : ZINB 가정 자체는 교통에 한정되지 않습니다. zero-inflated 계열은 원래 제조 결함 데이터에서 나왔고 선행연구도 통행 발생 카운트와 간헐적 수요 전반을 다룹니다. 구조적으로도 probability layer를 다른 분포로 바꾸면 일반화되도록 설계되어 있습니다. 논문에서도 0이 매우 많은 다른 과제로 확장 가능하다고 밝히고 있습니다.
[관련 논문]
STZINB-GNN: Uncertainty Quantification of Sparse Travel Demand Prediction with Spatial-Temporal Graph Neural Networks
TiRex-2: Generalizing TiRex to Multivariate Data and Streaming
[녹화영상]
https://us06web.zoom.us/rec/share/06hQtgPBqMvxZYZXXY5KIbFRcbOOwrylh56w6fKKdtBgO3zTQRjF4IBOpfxDYEfK.vhSyxVNH9XDRxPUJ
[세미나 주제]
Specialized and Foundation Models for Probabilistic Demand Forecasting
[발표자]
김민재
[요약]
본 발표에서는 미래 수요를 단일 값이 아닌 확률 분포로 예측하는 문제를 다루고 서로 다른 전략을 취한 두 논문인 STZINB-GNN과 TiRex-2를 비교 분석하였다. 수요 예측은 값이 연속인지 정수인지 변동이 규칙적인지 산발적인지에 따라 가정할 분포와 손실이 달라지고 이에 따라 데이터 특성에 맞춰 모델을 설계하는 Specialized 계열과 대규모 사전학습 후 추가 학습 없이 적용하는 Foundation 계열로 분리되어 발전해왔다.
STZINB-GNN은 통행 수요를 0이 과다한 이산 카운트로 가정한 Specialized 계열이다. 5분 해상도에서 전체 칸의 88%가 0이 되는데 이 0은 결측이 아니라 관측이므로 채울 대상이 아니라 설명할 대상이다. 0의 발생 경로를 구조적 0과 NB에서 우연히 나온 0으로 분리한 ZINB를 세우고 DGCN과 TCN 두 브랜치가 각각 파라미터 (n, p, π) 한 벌씩을 내놓아 원소별 곱으로 융합한다. 노드를 지역이 아니라 O-D 쌍으로 둔 것이 기존 GNN 연구와의 차별점이다. TiRex-2는 특정 데이터를 겨냥하지 않고 사전학습한 Foundation 계열이고 xLSTM 위에 Time Mixer와 Variate Mixer를 12번 교대로 쌓고 32스텝 패치마다 99개 quantile을 출력한다. 값을 이미 아는 future-known covariate만 역방향으로 읽게 허용하면서 예측 대상은 자기 미래를 못 보게 막는 비대칭 group attention이고 이 인과성이 스트리밍의 전제조건이 된다.
[Q&A]
Q : 데이터에서 0인 항목을 그냥 빼버리면 굳이 π를 학습할 필요가 없지 않나요?
A : 0은 예측 대상 자체입니다. 여기서 0은 센서 고장이 아니라 실제로 통행이 없었다는 관측이고 수요가 낮은 지역을 가리키는 정보여서 빼면 이부분에는 수요가 없다는 예측을 못 하게 됩니다. 그리고 학습 데이터에서 0을 지울 수는 있어도 추론 시점에는 모든 O-D 쌍을 예측해야 하고 지금 이 칸이 구조적으로 0인가를 맞히는 것이 π의 역할입니다. 조건도 0인 칸이 고정되어 있지 않습니다. π는 O-D 쌍마다 시점마다 값을 가지고 정적인 마스크로는 시간 의존성을 담을 수 없습니다.
Q : π가 학습으로 얻어지는 값이라면 데이터셋이 조금만 바뀌어도 다시 학습해야 하는 것 아닌가요?
A : 맞습니다. STZINB-GNN은 데이터셋마다 인접행렬을 다시 만들고 (n, p, π)를 새로 학습해야 하는 모델입니다. 대신 그 데이터의 0 과잉 구조를 명시적으로 모델링해서 희박한 구간에서 확실한 이득을 얻습니다.
Q : 지역을 그래프의 노드로 두고 지역 간 관계를 본 것 같은데 edge 가중치는 어떻게 설정하나요?
A : 이 논문의 노드는 지역이 아니라 O-D 쌍입니다. 출발지나 도착지를 노드로 두면 쌍과 쌍의 관계를 표현할 수 없습니다. 노드 수는 출발지 개수 곱하기 도착지 개수여서 그래프는 완전연결입니다. 그래서 인접 여부라는 이진 개념은 없고 가중치 크기만 존재합니다.
Q : 공간과 시간 브랜치가 각각 분포를 뽑는 것까지는 알겠는데 fusion에서 둘이 어떻게 합쳐지나요?
A : 덧셈이 아니라 원소별 곱입니다. 곱을 쓰는 이유는 AND 게이트처럼 동작시키기 위해서입니다. 공간과 시간 양쪽에서 모두 0일 가능성이 높다고 판단해야 최종 π가 커집니다. 덧셈이면 한쪽만 커도 결과가 커져서 한 축의 판단만으로 결정됩니다.
Q : 이 방법론은 교통 도메인에서만 쓸 수 있는 건가요?
A : ZINB 가정 자체는 교통에 한정되지 않습니다. zero-inflated 계열은 원래 제조 결함 데이터에서 나왔고 선행연구도 통행 발생 카운트와 간헐적 수요 전반을 다룹니다. 구조적으로도 probability layer를 다른 분포로 바꾸면 일반화되도록 설계되어 있습니다. 논문에서도 0이 매우 많은 다른 과제로 확장 가능하다고 밝히고 있습니다.
[관련 논문]
STZINB-GNN: Uncertainty Quantification of Sparse Travel Demand Prediction with Spatial-Temporal Graph Neural Networks
TiRex-2: Generalizing TiRex to Multivariate Data and Streaming
[녹화영상]
https://us06web.zoom.us/rec/share/06hQtgPBqMvxZYZXXY5KIbFRcbOOwrylh56w6fKKdtBgO3zTQRjF4IBOpfxDYEfK.vhSyxVNH9XDRxPUJ
첨부파일
-
20260708_Specialized and Foundation Models for Probabilistic Demand Forecasting.pdf (2.6M)
DATE : 2026-08-07 11:31:45
- 이전글[20260804 통합세미나] Efficient Adaptation of Pre-trained Diffusion Models for Image Restoration 26.08.07
- 다음글[20260721 통합세미나] Modern WSI Survival Prediction with Pathology Foundation Models 26.07.30
댓글목록
등록된 댓글이 없습니다.