• 목록

<청취후기>
6월 24일 (월)
세션 : C1. Gen AI Landscape
제목: Beyond LLM: /비즈니스로서의 생성 AI
 본 발표는 LLM 뿐만 아니라 전체 생성형 AI 시장에 대한 분석을 통해 이후에 생성형 AI 시장의 흐름에서 시장이 어떻게 변화할 수 있을 것인가에 대한 방향성에 대해 소개했다. 아직까지는 전체 인구 수에 비해서 Gen AI를 사용하는 사용자는 적은 편에 속하긴 하지만, 과거에 컴퓨터, 스마트폰이 인간의 삶에 침투한 것보다 AI의 침투가 더 빠르게 진행되고 있는 것을 보아 결국 AI는 인간의 삶에 스며들게 될 것이며, 사용자는 Gen AI를 마치 하나의 플랫폼처럼 다루게 될 것이다. 이때 발표자는 현재 AI의 application 발전이 model layer, app layer, platform layer의 방향으로 발전되고 있으며 궁극적으로 platform 이 전체 시장을 연결하는 주체가 될 것이라고 여겨진다. 뤼튼에서 제공하고 있는 가장 대표적인 서비스 중 하나는 LLM으로 이들은 상당히 다양한 모델을 제공하면서 사용자가 그 용도에 맞게 선택, 사용할 수 있도록 선택의 폭을 열어놓았다. 하지만, 실제 사용자는 기술적으로 해당 서비스에 대해서 판단할 때 모델을 직접 선택하여 바라보는 경우는 많지 않다는 분석 결과가 나왔다고 밝혔다.
 결국 비즈니스로서 생성 AI를 다루는 기업의 입장에서는 누가 먼저 더 localize한 서비스를 제공하면서 그 비용과 속도 측면에서 사용자를 만족시킬 수 있을 것인가에 대한 고민이 Gen AI 시장에서 우위를 선점할 수 있는 방법이 될 것이라고 생각한다. 단순히 좋은 성능을 내는 모델을 개발하는데에서 그치지 않고 이를 비즈니스 측면에서의 성과를 만들어내기 위해서는 사용자가 거리낌 없이 접하면서 그들의 니즈를 만족시킬 수 있는 서비스를 구축하는 것이 중요하다고 생각하게 되었다. 평소에 성능이 좋은 모델에 대해서만 고민하다가 이를 활용한 서비스 측면에서 고민해볼 수 있는 기회가 되어 기억에 남는 발표였다.

세션 : C2. Gen AI Fundamentals
제목: How to Tame Your Large Generative Models?
 본 발표는 거대 생성 모델을 통한 모델의 성능 개선이 과연 옳은 것인가 하는 고민에서 시작되어 앞으로 모델의 성능 개선에서 어떤 방식을 활용할 수 있을까에 대한 고민을 기반으로 진행된 연구에 대한 소개가 진행되었다. 생성 모델에서 특정 weight는 여러가지 이유에 따라서 삭제되어야 하는데, 제안 방법론에서는 pruning을 진행하되, binary encoding 또는 signed function을 통한 tunneling 기법을 통해서 오히려 성능은 개선되면서 더 가벼운 모델을 생성할 수 있는 기법에 대해서 제안한다. 이러한 방식은 기존의 weight를 학습하는 방법론과는 다르게 binary encoding 등의 tunneling에 대한 mask를 적용하는 기법으로 사용될 수 있기 때문에 multi-domain에 대한 적용이 가능하다는 장점이 있다.
 이어서 소개된 생성 모델의 위한 연합 학습 방법론에 대한 연구에서는 연합 학습 분야에서 challenge로 여겨지는 "통신 비용", "정보 보안", "학습 안정성", "성능 저하 방지", "모델 크기" 의 측면에서 위의 기법을 적용하여 성능의 개선 및 훨씬 더 efficient 한 결과를 보일 수 있다고 언급된다.  이때의 위의 연구에서 언급하는 mask를 공유하는 기법이 기존의 weight를 공유하는 기법에 비해서 훨씬 더 가벼운 정보를 공유하면서도 직접적인 데이터에 대한 노출 없이 활용할 수 있다는 측면이 상당히 인상적이었다.
 본 발표를 통해서 기존에 모델 경량화 측면에서 트렌드처럼 사용되는 기법 외에도 다른 기법들에 대해서 생각해보고 새로운 방향에서의 아이디어를 얻을 수 있었다는 점에서 상당히 인상적으로 기억에 남았다.