디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

GPU 넘어 NPU가 주목받는 이유 ··· '관건은 와트당 성능, 그리고 효율성'

IT동아갤로그로 이동합니다. 2023.05.12 11:14:27
조회 2809 추천 8 댓글 11
[IT동아 남시현 기자] 글로벌 반도체 기업 엔비디아(Nvidia)의 주가가 5월 9일 기준 291달러를 돌파해 52주 최고가를 기록했다. 엔비디아 주가는 2021년 1월 경신한 최고가(355달러)에 다가섰고, 1년 상승률도 53.57%를 기록 중이다. 주가가 21년 1월 최고가를 경신한 이후 22년 1월에 122.08달러까지 추락했었는데, 1년 만에 다시 최고가에 근접한 것이다. 21년 엔비디아의 주가는 암호화폐 채굴로 인한 그래픽 카드 가격 상승이 견인했는데, GPU를 활용한 채굴이 막을 내리며 GPU 가격이 폭락하면서 주가도 함께 추락했다. 하지만 이번의 상승 동력은 그래픽 카드 가격이 아닌 전 세계적인 인공지능 개발 경쟁 덕분이다.

GPU, 왜 인공지능 개발의 핵심으로 떠올랐나



인공지능 개발은 반도체를 바탕으로 진행된다. 출처=셔터스톡



엔비디아가 인공지능 관련 산업의 주축으로 떠오른 이유는 그래픽 처리에 쓰이던 GPU(Graphics Processing Unit)가 인공지능 개발에 쓰이기 시작해서다. GPU는 연산을 처리하는 수천 개의 코어로 구성된 반도체로, 병렬 방식으로 연산을 처리해 그래픽 데이터를 산출한다. 2010년 초까지만 해도 GPU는 컴퓨터 그래픽 처리를 위한 용도로만 쓰였는데 , 2006년 처음으로 CPU의 응용 프로그램 계산에 GPU의 연산 처리 성능을 사용하는 GPGPU(General-Purpose computing on Graphics Processing Units, GPU 상의 범용 계산) 개념이 등장하면서 활용도가 확장하기 시작했다.

GPU가 연산 처리 용도로 쓰이면서 기존에 CPU로 진행하던 과학, 의학 등의 분야는 물론, 서버나 미디어 등 대규모 데이터 처리와 인공지능 개발을 위한 기계학습, 심화 학습(딥 러닝) 분야 등에서까지 그래픽 카드가 쓰이기 시작했다. 엔비디아가 그래픽 카드 기업에서 인공지능 기술 기업으로 거듭난 이유가 바로 GPGPU의 활용성 덕분이다.


엔비디아 A2 텐서 코어 GPU. 출처=엔비디아



엔비디아가 GPGPU의 개념을 제시한 지 17년이 지난 만큼 GPU가 인공지능 개발에 핵심 요소로 자리 잡았지만, 지난해 11월 오픈 AI가 챗GPT를 공개하면서 또 한 번 전기를 맞이한다. 그간 구글, 메타 등의 기업들은 기술적 완성도와 안정성을 이유로 인공지능 기술을 점진적으로 공개해 왔으나, 후발 주자였던 오픈AI에서 활용이 쉽고 대중성까지 갖춘 챗GPT로 인공지능 시장 선점에 나서면서 인공지능에 대한 대중의 관심이 대단히 높아졌다.

오픈AI가 시장 선점에 나서자 인공지능에 투자해 온 기업들 역시 경쟁적으로 인공지능 기술을 공개하기 시작했고, 인공지능 개발의 핵심인 GPU가 전략 자산으로 떠올랐다. 미국 정부가 엔비디아와 AMD에 중국, 러시아에 대한 GPU 수출을 제한하는 명령을 내릴 정도다. 그만큼 GPU가 향후 미래산업에 미치는 영향력이 큰 상황이다.

범용성 좋은 GPU, 성능 좋으나 최적의 효율은 못내


GPU가 인공지능 개발에 사용되는 이유는 단순 연산을 처리하는 데 최적의 반도체라서다. 인공지능 개발은 기본적으로 많은 양의 단순 사칙 연산을 필요로 한다. CPU는 복잡한 단일 연산 처리에는 뛰어난 반면 다중 처리에는 비효율적이다. 반대로 GPU는 단순 연산을 다중으로 처리하는 데 적합한 구조라서 인공지능 개발에 쓰이는 것이다. 그렇다면 GPU는 어떤 곳에 쓰이고 있을까. 지난 3일 엔비디아가 발표한 8열 GPU 시스템인 DGX H100를 살펴봤다.


보스턴 다이내믹스의 로봇 자율주행 및 행동 개발에도 GPU가 사용되고 있다. 출처=애커BP



엔비디아 DGX H100은 보스턴 다이내믹스 산하 연구기관에서 로봇의 자율 주행 및 행동에 대한 연구에 활용되며, 존스홉킨스 대학교 응용물리학 연구소에서도 대규모 언어 모델 훈련에도 쓰인다. 영국 스타트업 ‘시세로(Scissero)’는 법률 처리용 GPT 기반 챗봇 구현을 위해 쓰고, 독일의 번역기술 기업 딥엘(DeepL)은 다수의 DGX H100를 도입해 번역 기능을 고도화할 방침이다. 이외에도 슈퍼컴퓨터 제어나 언어 분석, 의료 및 학술 기관에서도 DGX H100 시스템을 도입할 예정이다.

이처럼 GPU는 연산 처리의 최적화를 통해 대용량 데이터 처리가 필요한 다양한 산업군에서 범용성 있게 활용되며, 기술력도 생산성 모두 검증됐다는 장점이 있다. 하지만 GPU가 단순 연산 처리에 최적화된 구조인 까닭에 특정 인공지능 개발 환경에 부적합하다는 한계가 있고, 또 전력 소모량과 비용이 높다는 게 단점이다. 범용성과 성능은 좋으나, 투자 대비 효율이 떨어진다.

NPU, 인공지능 개발에 초점 맞춘 전용 반도체



퓨리오사 AI의 인공지능 처리용 반도체, 워보이(Warboy). 출처=퓨리오사 AI



그래서 등장한 게 인공지능 처리에 특화된 반도체, 신경 처리 장치(Neural Processing Unit, 이하 NPU)다. NPU는 GPU와 마찬가지로 병렬 처리에 최적화된 구조로 되어있으나, 인공지능을 개발하는데 필요한 제어 및 산술 논리 구성 요소를 갖춰 인공 신경망과 같은 예측 모델에서 기계 학습, 심화 학습 알고리즘을 실행하는데 최적화돼 있다. 덕분에 GPU와 동일한 인공지능 작업이 주어질 때, GPU 대비 전력 소모는 적고 더 많은 결과물을 산출한다.


퓨리오사 AI의 워보이는 동급 열설계 전력의 엔비디아 A2 텐서 코어 GPU와 비교해 특정 테스트에서 앞선 모습을 보여준다. 출처=퓨리오사 AI



올해 1분기 양산을 시작한 퓨리오사 AI의 NPU, ‘워보이(Warboy)’와 동급의 열 설계 전력을 갖춘 ‘엔비디아 A2 텐서 코어 GPU’를 비교한 자료를 살펴봤다. AI 가속기의 성능을 변별력 있게 시험하는 MLPerf v2.0 테스트 중 ‘오프라인 상태에서의 물체 처리 감지율’ 항목을 살펴보면, 엔비디아 A2가 4천856점을 획득할 때 워보이는 8천762점을 획득한다. 제품 가격 대비 객체 감지 성능을 고려하면 워보이의 투자 대비 성능이 세 배 가량 높다.

퓨리오사 AI 관계자는 "엔비디아 A2로 만 대 규모의 서버를 구축했을 때, 워보이는 5천542대의 서버로 동일한 데이터를 처리할 수 있다. 전력 소비량은 매달 8.9MWh (서버당 2KW 전력 소모 기준)를 줄일 수 있고, 전력량에 비례해 총 운영비용은 매달 1천700만원을 줄일 수 있다”고 설명했다.


이미지 처리에 대한 최적화를 통해 다른 엔비디아 GPU와 비교해 와트당 이미지 처리량이 많다. 출처=퓨리오사 AI



인공지능 처리에 투입되는 와트당 성능도 NPU가 우세하다. 몇 년 전부터 인공지능 업계는 학습에 필요한 데이터를 압축해서 처리하거나, 여러 채널 중 중복 데이터만 처리하는 등의 기법을 사용하고 있다. 학습 및 추론 속도를 높이기 위한 목적도 있으나, 데이터 처리 자체가 곧 시간과 자본이기 때문이다. 하지만 GPU는 설계 구조상 새로운 모델을 효율적으로 운용하기 어려운 반면, NPU는 알고리즘을 반영해 효율적으로 구동된다. 엔비디아 A100이 1와트당 2.1매, 엔비디아 A2가 5.8매의 이미지를 처리할 때, 워보이는 1와트당 8.5매의 이미지를 처리할 수 있다.

‘투자 대비 효율’ 중요해질수록 NPU 도입 대세 될 것



엔비디아의 DGX H100 시스템, 범용적인 용도를 제공하지만 그만큼 비용 부담이 커지는 상황이다. 출처=엔비디아



GPU가 다각적으로 활용할 수 있는 인공지능 개발 도구인 건 맞지만, 다양한 활용도 자체가 역으로 발목을 잡고 있다. 엔비디아 DGX H100 등 GPU 기반 도구의 성능 상한선은 높으나, 매달 임대 비용이 3만 7천 달러(한화 약 4천900만 원대) 수준에 이른다. 이베이에서 판매되고 있는 엔비디아 H100 의 가격도 지난해까지 3만 6천 달러(약 4천700만 원대) 선이었지만 현재 4만 5천달러(약 6천만 원대)까지 상승했다. 생성형 인공지능 용도로 GPU 수요가 증가하는 데다가, 다양한 분야에서 GPU를 필요로 하는 만큼 가격은 꾸준히 오를 수밖에 없을 것이다.

반대로 NPU는 인공지능 개발에 최적화된 설계를 갖추고 있으며, 동급의 GPU보다 처리 속도도 높고, 전력 소모대 성능비도 우수하다. 다목적이라는 이유로 수요가 몰려 가격이 오르는 GPU와 달리, 목적에 맞게 제품을 구매하면 되니 가격경쟁력도 충분하다. 물론 수십 년 간 개발되어 온 GPU와 다르게 이제 막 발돋움한 분야라 갈 길은 멀지만, 앞으로 많은 부분에서 GPU의 역할을 대신할 것이라는 의견은 우세하다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ '일을 위한 일'에 발목 잡힌 직장인들…"AI 우려보다 기대가 커"▶ 놀이에서 첨단기술 요람으로…게임 뒤에 숨은 ‘기술력’이 혁신 이끈다▶ "이름도, 가격표도 부적절"…지포스 RTX 4070에 냉담한 시장 반응



추천 비추천

8

고정닉 3

2

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 연예인 말고 매니저 했어도 잘했을 것 같은 계획형 스타는? 운영자 25/01/13 - -
4800 [투자를IT다] 2025년 1월 3주차 IT기업 주요 소식과 주가 흐름 IT동아갤로그로 이동합니다. 01.17 5414 0
4799 [시승기] 뛰어난 경제성 지닌 ‘디 올 뉴 그랜저 3.5 LPG’ IT동아갤로그로 이동합니다. 01.17 78 0
4798 LG유플러스 콘텐츠 리뷰 플랫폼 ‘원로우(1ROW)’, 아쉬움 남는 이유 IT동아갤로그로 이동합니다. 01.17 70 0
4797 [생성 AI 길라잡이] 초보자도 쉽게 사용하는 영상 제작 서비스, 하이퍼AI IT동아갤로그로 이동합니다. 01.17 69 0
4796 [IT애정남] 주광색? 주백색? LED 색상은 어떻게 구분할까요 [3] IT동아갤로그로 이동합니다. 01.17 4559 1
4795 BYD 승용 브랜드 공식 출범…2000만 원대 SUV 출시로 승부수 띄워 [1] IT동아갤로그로 이동합니다. 01.16 2027 0
4794 [KTVF 2024] 온도감응 라벨로 저온유통 신뢰성 끌어올리는 '뉴처' [2] IT동아갤로그로 이동합니다. 01.16 5121 0
4793 [주간스타트업동향] CIT, 투명 안테나·디스플레이 CES 2025 혁신상 수상 外 IT동아갤로그로 이동합니다. 01.16 138 0
4792 [KTVF 2024] 인포플러스 “금융 인프라 구축 경험 기반으로 동남아시아 금융 문제 해결” IT동아갤로그로 이동합니다. 01.16 102 0
4791 [신차공개] GV60 부분변경 디자인 공개·뉴 MINI 에이스맨 사전계약 실시 IT동아갤로그로 이동합니다. 01.15 2021 0
4790 라이카 카메라 출시 100주년··· '카메라 넘어 사진의 역사 기록한다' [4] IT동아갤로그로 이동합니다. 01.15 1917 2
4789 [2024 서울콘] 김현우 SBA 대표, "서울의 매력 담은 서울콘, 절반 일정에도 뚜렷한 성공" IT동아갤로그로 이동합니다. 01.15 128 0
4788 [KTVF 2024] 구루컴퍼니 “웹툰·웹소설로 기업 앱 재방문율·체류시간 늘린다, 보물섬” IT동아갤로그로 이동합니다. 01.15 591 0
4787 [자동차와 法] 주요국의 자율주행차 관련 법·제도 현황 살펴보니 IT동아갤로그로 이동합니다. 01.14 320 0
4786 [리뷰] 어디서든 실시간 위치 확인 돕는 '갤럭시 스마트태그 2' IT동아갤로그로 이동합니다. 01.14 273 0
4785 2025년 저궤도 위성통신 시대 개막할까…국내외 기업 동향은 IT동아갤로그로 이동합니다. 01.14 152 0
4784 스페이스앤빈 큐브위성 공모전 성료··· '공모 결과, 2026년 우주 발사로 연계' IT동아갤로그로 이동합니다. 01.14 171 0
4783 지난 병원 방문 기록 열람하려면 이렇게! [이럴땐 이렇게!] IT동아갤로그로 이동합니다. 01.13 752 0
4782 [생성 AI 길라잡이] 영상 생성 인공지능 서비스 '소라(Sora)' 써보니 IT동아갤로그로 이동합니다. 01.13 1799 1
4781 [생활 속IT] 카카오톡 톡서랍 플러스, PC에 다운로드하고 싶다면? IT동아갤로그로 이동합니다. 01.13 176 0
4780 [주간투자동향] 잉카엔트웍스, 111억 원 규모 투자 유치 外 IT동아갤로그로 이동합니다. 01.13 4861 0
4779 [투자를IT다] 2025년 1월 2주차 IT기업 주요 소식과 주가 흐름 IT동아갤로그로 이동합니다. 01.11 277 0
4778 [생활 속 IT] 유튜브, 스마트폰과 TV 연결해서 보는 3가지 방법 IT동아갤로그로 이동합니다. 01.10 357 0
4777 5인 이상 승용차 소화기 비치 의무화...제품 구매 시 유의할 사항은? [5] IT동아갤로그로 이동합니다. 01.10 7534 1
4776 [KTVF 2024] 머니가드서비스 “안전한 금전거래 지원, 머니가드” IT동아갤로그로 이동합니다. 01.10 261 0
4775 [KTVF 2024] 전기차 무선 충전의 새 시대 준비하는 '와이파워원' [2] IT동아갤로그로 이동합니다. 01.10 701 0
4774 [CES 2025] 역대 최대 규모의 서울통합관 속 '혁신상' 받은 기업 5곳 살펴보니 IT동아갤로그로 이동합니다. 01.10 259 0
4773 [CES 2025] 인공지능으로 경험하는 '홈 라이프스타일' 제안한 LG전자 [1] IT동아갤로그로 이동합니다. 01.10 2224 0
4772 [CES 2025] 역대급 규모로 104개 기업과 함께한 SBA "맞춤형 지원 통해 21개 혁신상 성과" IT동아갤로그로 이동합니다. 01.10 231 0
4771 [CES 2025] 세계 무대에 선 국내 반도체·AI 스타트업, CES에서의 행보는? IT동아갤로그로 이동합니다. 01.09 318 0
4770 [CES 2025] ‘AI 거울’·‘바늘 없앤 주사’·’당뇨 관찰 로봇’…진화하는 헬스케어 IT동아갤로그로 이동합니다. 01.09 266 0
4769 2025년 가상자산 시장 ‘AI·RWA 부상할 것’ [5] IT동아갤로그로 이동합니다. 01.09 5196 0
4768 [CES 2025] 현대차그룹, 투자·협업 중인 스타트업 10개사 전시 지원 IT동아갤로그로 이동합니다. 01.09 231 0
4767 [CES 2025] 토요타 ‘우븐 시티 1단계’ 완성·BMW ‘파노라믹 iDrive’ 공개 [2] IT동아갤로그로 이동합니다. 01.08 639 0
4766 [CES 2025] 홈 AI, 네오 QLED 8K 등으로 경쟁력 세우기 나선 삼성전자 IT동아갤로그로 이동합니다. 01.08 414 0
4765 [주간스타트업동향] HR 플랫폼 플렉스, 비용 관리 서비스 출시 外 IT동아갤로그로 이동합니다. 01.08 229 0
4764 [CES 2025] 인텔, 코어 울트라 200HX·H·U로 라인업 확장 나서 IT동아갤로그로 이동합니다. 01.08 436 0
4763 [ETF 기본기 다지기] ETF 거래를 위한 계좌 개설하기 IT동아갤로그로 이동합니다. 01.08 862 3
4762 [CES 2025] “이제는 물리적 인공지능 시대” 엔비디아의 시선은 로보틱스로 [3] IT동아갤로그로 이동합니다. 01.08 2202 0
4761 [리뷰] ‘모든 것이 사용자를 위해 존재한다’ 글로리어스 GMMK 3 프로 HE 65% 게이밍 기계식 키보드 IT동아갤로그로 이동합니다. 01.07 247 0
4760 올해 전기승용차 보조금 최대 580만 원…’안전·성능’ 기준 강화 IT동아갤로그로 이동합니다. 01.07 235 0
4759 [CES 2025] 이통3사, CES서 AI 의지 찾는다 IT동아갤로그로 이동합니다. 01.07 236 0
4758 [CES 2025] 퀄컴, AI PC 및 사물인터넷, 전장 협력 등으로 사업 다각화 IT동아갤로그로 이동합니다. 01.07 385 0
4757 [CES 2025] AMD, 9950X3D·라이젠 AI 맥스 등 공개··· '라인업 더 촘촘히' IT동아갤로그로 이동합니다. 01.07 793 1
4756 [CES 2025] CES 장식할 모빌리티 기술 살펴보니 IT동아갤로그로 이동합니다. 01.06 2027 0
4755 [생활 속 IT] 카카오톡 채팅방 맞춤법·번역 기능 유용할까 IT동아갤로그로 이동합니다. 01.06 2103 1
4754 대중 매체로 접하는 소식들, 팩트체크할 땐 이렇게! [이럴땐 이렇게!] [4] IT동아갤로그로 이동합니다. 01.06 5171 1
4753 [생활 속 IT] 테마별 명소 찾기 ‘카카오맵 테마지도’ IT동아갤로그로 이동합니다. 01.06 238 0
4752 공공 웹 관리도 AI가 대세, 이용객 불만까지 미리 알아챈다 IT동아갤로그로 이동합니다. 01.06 413 1
4751 2025년 사이버 보안 위협…“양날의 검이 된 생성형 AI” [15] IT동아갤로그로 이동합니다. 01.03 9618 7
뉴스 대성, 세븐틴 호시‧도겸과 ‘유라인’ 연대… “승관, 위기감 느낄 것” (‘집대성’) 디시트렌드 01.18
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2