SKT, 딥러닝 모델부터 A.X 4.0 확장
- 자연어 이해 및 생성 기술 기반 마련, 국내 생태계와 상생에 기여
- KoBERT부터 A.X 4.0까지… 감성 대화서 지식 추론 국산 LLM 확장
SKT는 지난 21일 과학기술정보통신부가 추진한 ‘독자 AI 파운데이션 모델’ 프로젝트 참여를 통해, AI 자립 노력이 실현 계기가 될 것이라고 24일 밝혔다.
SKT는 이미 한국어에 최적화된 초거대 언어 모델(LLM)을 독자 기술로 개발, 운영하는 등 국내 AI 생태계 기술 자립을 이끌고 산업 전반서 실질적으로 활용하기 위한 기반을 꾸준히 구축해오고 있다.
생성형 AI 기술이 전 세계적으로 주목받기 시작한 2018년부터 한국어 중심의 AI 기술 연구를 지속해 자연어 이해 및 생성 기술의 기반을 마련하는 한편, 주요 모델을 오픈소스로 공개, 국내 생태계와의 상생에도 기여해왔다.
또한 감성 대화, 통화 요약, 지식 기반 응답 등 다양한 분야에서 생성형 AI 기술을 고도화하며, 이를 실제 고객 접점에 지속적으로 적용해오고 있다.
■ 국산 생성형 언어 모델의 출발점, 한국어 AI 기술의 초석
SKT는 2019년, 국내 최초의 한국어 딥러닝 언어 모델인 ‘KoBERT’를 자체 개발해 공개하고, 이를 고객센터 챗봇 등에 적용한 바 있다. KoBERT는 기존 해외 모델과 달리 한국어의 조사, 어순, 띄어쓰기 등 언어 구조를 반영해, 문맥 이해와 의미 분석에서 높은 정확도를 보였다.
이후 2020년 4월에는 국내 최초로 GPT-2를 한국어로 구현한 ‘KoGPT2’를 공개했으며, 같은 해 10월에는 뉴스 및 문서 요약에 특화된 ‘KoBART’를 출시하는 등 지속적인 기술 개발로 자연어 처리 역량을 향상시켰다.
이러한 과정은 한국어 기반 생성형 언어 모델의 초석을 다졌다는 점에서 큰 의미를 지닌다. SKT는 KoBERT, KoGPT2, KoBART 등 주요 모델을 오픈소스로 공개하며 기술 경쟁력을 확보하고 국내 AI 생태계 발전에도 기여해왔다. 이후에도 한국어 고유의 언어 구조와 표현 방식을 정밀하게 분석해 국내 언어 환경에 최적화된 AI 역량을 꾸준히 강화하고 있다.
■ 일상 속의 AI, 고객과 함께 발전한 A.X 시리즈
SKT는 개발한 기술을 상용 환경에 적용하기 위한 고도화도 병행했다. 2022년에는 자체 개발한 GPT-3 기반 한국어 특화 버전을 에이닷(A.) 서비스에 적용, 사용자 요청에 따라 일상 대화와 다양한 작업 수행이 가능하도록 구현했다. 이어서 감성 대화에 특화된 ‘A.X 1’ 모델을 추가 적용하며, 정서적 교감 기능을 강화하기도 했다.
2023년에는 복잡한 문맥 이해와 지식 기반 응답이 가능한 ‘A.X 2’을 선보였다. 표준형과 경량형으로 구성된 이 모델은 대화 흐름을 보다 깊이 있게 파악하고 정보 제공 능력을 고도화해 이용자들로부터 호평을 받았다.
이어 2024년에는 새로운 아키텍처를 기반으로 추론 속도와 전반적인 성능을 향상시킨 ‘A.X 3.0’을 선보였다. A.X 3.0은 340억(34B) 파라미터의 표준형과 70억(7B) 파라미터의 경량형으로 구성되었으며, 같은 해 4월 에이닷 전화의 통화 요약 기능에 적용된 데 이어 8월에는 AI 에이전트 기능에도 적용되며 상용 서비스에 활용됐다.
A.X 1부터 3.0까지의 모든 모델은 구조 설계부터 데이터 수집, 학습까지 모든 과정을 SKT가 직접 수행한 ‘프롬 스크래치(From Scratch)’ 방식으로 개발되었다. 대규모 한국어 데이터를 기반으로, 단순한 질의응답을 넘어 사용자 의도와 맥락을 파악해 보다 논리적이고 유용한 대화가 가능하다.
■ 성능과 효율 중심으로 진화하는 한국어 특화 LLM 지향
7월 공개한 A.X 4.0은 외부 지식 기반 추론 기능이 대폭 강화됐다. 대규모 학습(CPT, Continual Pre-Training) 방식으로 학습되어 데이터 보안, 로컬 운영 가능성, 한국어 처리 효율성 측면에서 강점을 갖추고 있다. A.X 4.0은 현재 에이닷의 통화 요약 등 실제 서비스에 적용되어 정확성과 응답 신뢰도를 한층 높이고 있다.
또한 SKT는 비슷한 시기에 70억(7B) 및 340억(34B) 파라미터 규모의 두 가지 'A.X 3.1' 모델을 프롬 스크래치 방식으로 개발해 공개했다. 두 모델 모두 추론 모델로의 확장 가능성을 고려해 코드와 수학 성능을 대폭 향상시킨 것이 특징이다.
이처럼 SKT는 독자 기술을 기반으로 한 A.X 3 계열의 프롬 스크래치 모델과 CPT 방식의 외부 지식 학습을 적용한 A.X 4 계열의 대규모 모델을 병행 개발하는 ‘투 트랙 전략’을 추진하고 있다. 이를 통해 다양한 서비스 환경과 용도에 최적화된 AI 모델 포트폴리오를 지속적으로 확장해 나가고 있다.
SKT는 앞으로도 한국어에 최적화된 LLM 기술을 지속적으로 고도화해 나가며, 초거대 AI의 산업화와 일상화를 선도하고, 국내 AI 생태계 활성화를 위한 기술 공유와 협력을 확대해 나갈 계획이다.
Related Materials
- 대형 언어 모델 (LLM) 시장 규모, 업계 점유율, 통찰력 및 예측 - Verified Market Reports, 2024년
- 세계의 대규모 언어 모델(LLM) 시장 : 세계 및 지역별 분석 - 용도별, 아키텍처별, 모델 사이즈별, 지역별 - 분석과 예측(2024-2034년) - BIS Research, 2024년
- 글로벌 생성형 AI 특허 현황 - KIAT 정책브리프, 2024년
- 생성형 AI에 대한 전세계 시장 조사 결과: 생성형 AI의 이용은 중국이 선도, 구현과 활용 성숙도는 미국이 견인 - SAS, 2024년
CheifEditor
CheifEditor
CheifEditor
