5
0
5
0
사회
KAIST, 챗GPT 등 학습 최적화 시뮬레이션 개발
    입력 2025.03.13 08:09
    0

[ 아시아경제 ] 챗 GPT와 딥시크 등 초거대 인공지능(AI) 모델의 GPU 사용률을 높이고, 학습 비용을 절감할 수 있는 학습 최적화 시뮬레이션(최적의 병렬화 구성 도출)이 국내에서 개발됐다. 학습 과정을 어떻게 병렬화하고 분산시키느냐에 따라 학습 시간과 비용이 크게 달라진다는 점에서 이번 연구 성과에 의미 부여가 가능하다.

대형 언어 모델은 수만 개의 데이터센터용 GPU를 갖춘 대규모 분산 시스템에서 학습되며, GPT-4의 경우 모델을 학습하는 데 소모되는 비용은 1400억원에 육박하는 것으로 추산된다.

KAIST는 전기 및 전자공학부 유민수 교수 연구팀과 삼성전자 삼성종합기술원이 공동으로 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측해 최적화할 수 있는 시뮬레이션 프레임워크(이하 vTrain)를 개발했다고 13일 밝혔다.

대형 언어 모델 학습 효율을 높이려면 최적의 분산 학습 전략을 찾는 것이 필수다. 하지만 가능한 전략의 경우의 수가 방대하고, 실제 환경에서 전략별 성능을 테스트하는 데 막대한 비용과 시간이 소요되는 점은 최적의 분산 학습 전략을 찾는데 걸림돌이 된다.

대형 언어 모델을 학습하는 기업이 일부 경험적으로 검증된 소수의 전략만 사용하는 이유도 다름 아니다. 이는 GPU 활용의 비효율성과 불필요한 비용 증가를 초래하지만, 대규모 시스템을 위한 시뮬레이션 기술이 부족해 기업이 관련 문제를 효과적으로 해결하지 못하는 영향이 크다.

이에 공동연구팀은 vTrain을 개발해 대형 언어 모델의 학습 시간을 정확히 예측하고, 다양한 분산 병렬화 전략을 빠르게 탐색할 수 있도록 했다.

(왼쪽부터) KAIST 전기 및 전자공학부 유민수 교수, 방제현 박사과정, 최유정 박사. KAIST 제공

이를 다중 GPU 환경에서 다양한 대형 언어 모델 학습 시간 실측값과 비교했을 때, 단일 노드(8개 A100 GPU)에서 평균 절대 오차(MAPE) 8.37%, 다중 노드(최대 512개 A100 GPU)에서 14.73%의 정확도로 학습 시간을 예측할 수 있음을 검증했다.

공동연구팀은 vTrain이 다양한 병렬화 기법을 정량적으로 평가하고, 학습 시간을 예측할 수 있는 기능을 제공해 데이터센터 환경에서 최적의 분산 학습 전략을 수립하는 데 기여할 것으로 기대한다.

이를 통해 GPU 자원을 최대한 효율적으로 활용하고, 학습 비용을 절감하는 동시에 대규모 AI 시스템 운영의 효율성을 한층 높일 수 있을 것이라는 게 공동연구팀의 설명이다.

특히 공동연구팀은 vTrain 프레임워크와 1500개 이상의 실제 학습 시간 측정 데이터를 오픈소스로 공개해 AI 연구자와 기업이 이를 자유롭게 활용할 수 있도록 했다.

유민수 KAIST 교수는 “vTrain은 프로파일링 기반의 시뮬레이션 기법으로 기존에 경험적 방식보다 GPU 사용률을 높이고, 학습 비용은 절감할 수 있는 학습 전략을 탐색했다”며 “공동연구팀은 오픈소스를 공개해 기업이 초거대 인공지능 모델 학습 비용을 효율적으로 절감할 수 있을 것으로 기대한다”고 말했다.

한편 이번 연구는 한국연구재단과 정보통신기획평가원, 삼성전자의 지원을 받아 수행됐다. 연구 결과는 미국 전기전자공학회(IEEE)·전산공학회(ACM) 공동 마이크로아키텍처 국제 학술대회(MICRO)에서 지난해 11월 발표됐다.

대전=정일웅 기자 jiw3061@asiae.co.kr
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제(www.asiae.co.kr) 무단전재 배포금지>
    #시간
    #대형
    #최적화
    #개발
    #학습
    #모델
    #전략
    #GPT
    #분산
    #시뮬레이션
포인트 뉴스 모아보기
트렌드 뉴스 모아보기
이 기사, 어떠셨나요?
  • 기뻐요
  • 기뻐요
  • 0
  • 응원해요
  • 응원해요
  • 0
  • 실망이에요
  • 실망이에요
  • 0
  • 슬퍼요
  • 슬퍼요
  • 0
댓글
정보작성하신 댓글이 타인의 명예훼손, 모욕, 성희롱, 허위사실 유포 등에 해당할 경우 법적 책임이 발생할 수 있습니다.
    최신순
    추천순
    답글순
등록된 댓글이 없습니다.
사회 주요뉴스
  • 1
  • 평생교육바우처 800명 지원, 인천 동구 학습 기회 확대
    스타데일리뉴스
    0
  • 평생교육바우처 800명 지원, 인천 동구 학습 기회 확대
  • 2
  • 남양주시, 제 25회 정순왕후 선발대회 대표 참가자 모집
    아시아경제
    0
  • 남양주시, 제 25회 정순왕후 선발대회 대표 참가자 모집
  • 3
  • 연천군, 수요응답형 '똑버스' 대광리역까지 확대 운행
    아시아경제
    0
  • 연천군, 수요응답형 '똑버스' 대광리역까지 확대 운행
  • 4
  • 양평군, 이제 공원과 산책로에도 주소 생긴다
    아시아경제
    0
  • 양평군, 이제 공원과 산책로에도 주소 생긴다
  • 5
  • 수업 중 역사 교사 ‘윤 대통령’ 욕설 논란에 교육 당국 “사실관계 조사”
    서울신문
    0
  • 수업 중 역사 교사 ‘윤 대통령’ 욕설 논란에 교육 당국 “사실관계 조사”
  • 6
  • 신상진 시장, 성남시장학회 장학증서 수여식 참석 지역 인재 격려
    아시아경제
    0
  • 신상진 시장, 성남시장학회 장학증서 수여식 참석 지역 인재 격려
  • 7
  • 광주시, 농어민 기회소득 지원사업 시행…내달 30일까지 신청
    아시아경제
    0
  • 광주시, 농어민 기회소득 지원사업 시행…내달 30일까지 신청
  • 8
  • 부산시, 가야대로 BRT 정류장 정원형 도시 숲으로
    서울신문
    0
  • 부산시, 가야대로 BRT 정류장 정원형 도시 숲으로
  • 9
  • 가동 1년 ‘경기 에듀-키퍼(Edu-Keeper)’, 교육 현장 책임·부담 완화
    서울신문
    0
  • 가동 1년 ‘경기 에듀-키퍼(Edu-Keeper)’, 교육 현장 책임·부담 완화
  • 10
  • 공전협, 3기 신도시 토지보상 지연 대책마련 촉구
    아시아경제
    0
  • 공전협, 3기 신도시 토지보상 지연 대책마련 촉구
트렌드 뉴스
    최신뉴스
    인기뉴스
닫기
  • 뉴스
  • 투표
  • 게임
  • 이벤트