Edge Device AI시대의 핵심 NPU 테스트

스타트업 NPU, LG 현업에서 직접 테스트 해 봤더니?!! (with 모빌린트)

일상을 똑똑하게 새로운 AI혁명의 중심, NPU

공상과학속에서나 존재하던 인공지능(AI)이 이제 우리 생활 곳곳에서 활약하고 있습니다. Exaone을 비롯해, GPT, Llama… 다양한 거대 AI 모델들이 작문, 전략 수립, 이미지 및 영상 제작 등 장르를 불문하고 활약하고 있고, 휴대폰에서 찍은 사진을 감쪽같이 고쳐 주기도 해요. 인류의 지식을 습득하더니 이제 거대한 지능이 된 AI. 이에 따라 AI연산을 위한 GPU를 만드는 엔비디아의 기업가치도 끝 모를 우상향을 하고 있죠. 하지만 AI 시대는 이제 서막에 불과하다는 사실! 제2의 AI 혁명은 누가 이끌게 될까요?

AI 모델에도 ‘스케일’이 있다

초거대 AI 모델과 경량화 AI 모델의 비교: 초거대 AI는 강력한 컴퓨팅 파워와 중앙 클라우드를 통해 광범위한 기능을 제공하는 반면, 경량화 AI는 엣지 디바이스에서 저전력으로 특화된 기능을 수행하며 NPU의 중요성이 강조된다.

AI모델은 간단하게 나눠 보면 두 가지로 나눌 수 있습니다.

먼저 초거대 AI 모델인데요, 어마어마한 데이터를 학습한 인류 지식의 집합체, ‘슈퍼 두뇌’입니다. 이 모델은 전용 데이터센터(AIDC)와 클라우드의 힘을 빌려 엄청난 연산력을 자랑합니다. 이 엄청난 양의 데이터를 처리하기 위해 ‘병렬 컴퓨팅’이라고 하는 방법이 사용 되고, 여기의 핵심이 그 유명한 엔비디아의 GPU입니다. 엄청난 양의 연산을 하는 만큼, 엄청난 양의 전기를 소모합니다.

그런데 사실, 우리 일상에서 굳이 이런 Almighty한 AI가 필요할까요? 얼굴만 잘 식별하면 되는 안면 인식 기능, 신선도를 잘 체크해 주는 냉장고, 단순한 챗봇 대화 등.. 일상 속에서 필요한 AI기능은 의외로 간단합니다. 또한, 초거대 AI는 클라우드를 기반으로 하기 때문에 항상 인터넷에 연결되어야 하고, 그 와중에 아무리 통신이 빨라도 지연이 생길 수 있죠. 개인정보다 기밀정보 등 중요한 데이터가 클라우드에 오간다는 점도 좀 찜찜하고요.그래서 요즘 핸드폰, 노트북, 자동차까지, 각자 필요한 기능만 떼어내 똑똑하게 처리하는 ‘경량화 AI’가 주목받고 있습니다. 그리고 여기서 핵심 역할을 하는 게 바로 저전력 똑똑이 칩, NPU(Neural Processing Unit)입니다. NPU는 AI연산에 최적화 되어 있어, 빠른 속도는 물론 에너지도 적게 소모합니다. 이 덕에 경량화 된 AI 모델을 디바이스에서 바로 돌릴 수 있는 거죠. 그래서 우리 생활 속 다양한 디바이스, 심지어 자동차와 스마트 시티까지, NPU는 앞으로 무궁무진하게 확장 될 AI시대의 핵심이라고도 할 수 있습니다.

슈퍼스타트 PoC, AI NPU의 다양한 가능성을 검증하다

이렇게 주목받는 미래 분야, 슈퍼스타트가 그냥 지나칠 수 없겠죠? 스타트업과 LG가 함께 혁신을 실험하고, 가능성을 검증하는 슈퍼스타트 PoC에서 글로벌 AI 컴퓨팅 시장을 선도하는 혁신 K 스타트업! 모빌린트와 LG의 NPU 담당 실무진이 함께 NPU의 새로운 가능성을 직접 확인해보았습니다

Aries(에리스) 및 Regulus(레귤러스) 칩셋: AI 모델 성능 평가 및 특화된 기능 제공. Vision, 음성, LLM 등 다양한 AI 환경에서의 테스트와 멀티 모델 추론 테스트로 최적의 성능 확인.

이번 테스트에 적용 된 NPU모델은 언어, 영상,음성에 특화 된 모빌린트의 Aries(에리스) 와 영상에 특화 된 Regulus(레귤러스) 입니다. 이 두가지 chip을 바탕으로 vision, 음성, LLM등 다양한 AI 모델 환경에서 테스트를 진행했습니다.

오픈 소스는 기본! 커스텀 모델까지 척척

실제 모델 적용 결과 적은 전력 사용으로 높은 성능을 자랑하는 제품임을 확인 할 수 있는 비교표

오픈 소스 기반 모델들은 Aries, Regulus NPU에서 모두 원활하게 동작하는 것을 확인 했어요. 특히, 모빌린트 NPU에 최적화된 모델일수록 적은 전력으로도 더 뛰어난 처리 속도(FPS) 를 보여주었습니다.

하지만, 오픈소스 최적화는 기본 of 기본! 다양한 상황과 디바이스에 맞게 커스터마이징된 AI 모델에서도 성능이 나와야 진짜라고 할 수 있죠. 그래서 LG의 AI 모델 Exaone을 대상으로 테스트를 진행했습니다. 모빌린트 NPU SDK(Software Development Kit)를 통한 컴파일링 후, 보유 데이터셋을 적용해 AI 모델 정확도, AI 모델 동작 속도, 그리고 Power를 측정했더니? 그 결과도, 기존 대비 에너지 효율은 높고, 구동은 원활 했음이 확인되었습니다.

사용자 맞춤형 서비스까지 별이 다섯 개!

특히, NPU는 디바이스별, 경량화 모델 별 맞춤형으로 적용되는 경우가 많아, 사용자가 쉽게 커스터마이징 할 수 있는지 여부가 몹시 중요합니다. 그래서 SDK(Software Development Kit)의 편의성은 물론, 즉각적인 고객 대응이 Chip 제조 기술 만큼이나 중요한데요, 이번 프로젝트에 함께 했던 LG 현업 담당자의 평가에 의하면, SDK의 UI/UX 편의성은 물론, 실제 적용을 방문 컨설팅 까지 원활하게 이루어져서 오픈소스가 아닌 커스텀 AI 모델에 대해서도 적용이 원활했다는 매우 긍정적인 평가를 받았습니다.

더 넓게 더 깊게 확장 될 AI 혁신의 중심, NPU

이제 AI는 데이터센터에만 머물지 않습니다. 휴대폰, 노트북, 가전, 자율주행 자동차, 휴머노이드 등등 우리 주변의 모든 디바이스에서 더 빠르고 똑똑하게 함께 할거에요. 그에 따른 시장성도 무궁무진합니다. 이런 변화의 한가운데서 있는 NPU. 결국 더 경쟁력 있는 NPU의 확보가 새로운 AI혁명의 주도권과 직결된다는 뜻인데요, 이번 PoC를 통해 검증된 모빌린트 NPU의 다양한 가능성을 바탕으로 LG가 함께 우리 모두의 Better Life를 만들어 나가기를 슈퍼스타트가 응원합니다.