사실 몇 년 전부터 HW나 반도체 기업을 중심으로 엣지AI(EdgeAI), 온디바이스 AI(On-Device AI), Everywhere AI 등 의 용어나 개념으로 시장이 형성되고 있었고, 2023년 10월에는 구글(Google)이 출시한 스마트폰인 픽셀8(Pixel8)에 제미나이(Gemini)가 탑재면서 전 세계적인 관심도가 생기고 있었습니다.
여기에 더해 최근 삼성전자에서 공개한 갤럭시 S24와 갤럭시링으로 인해 온디바이스 AI에 대한 관심이 매우 뜨거워진 상태라고 할 수 있습니다. (* 갤럭시 S24 시리즈는 삼성이 내놓는 최초의 온디바이스 AI 폰으로 삼성이 자체개발한 AI모델인 '삼성 가우스'가 탑재되어 서비스를 제공함.)
심지어 국내 주식시장은 온디바이스 AI라는 테마로 묶이는 기업의 주가들이 급상승하는 현상을 보여주고 있는데요. 과연 온디바이스 AI가 무엇이길래 이렇게 시장이 뜨거운 반응을 보이고 있는지에 대해 말씀드리겠습니다.
1. 온디바이스(On-Device) AI란?
일반적으로 우리가 알고 있는 AI들은 서버(Server)-클라이언트(Client) 구조처럼, 각 디바이스에서 수집된 데이터나 입력된 명령들을 클라우드화 된 서버에 전송하여 알고리즘에 의해 처리된 결과 값을 다시 받아보는 형태로 작동하게 됩니다.
우리가 익히 알고 자주 사용하는 ChatGPT를 떠올려보더라도, 웹페이지에 접속하여 프롬프트를 입력해서 활용하거나 API를 통해 프롬프트를 전달하고 결과를 받아보는 형태로 사용하게 됩니다. 그렇기 때문에 AI를 활용하기 위해서는 AI가 작동하는 클라우드 서버에 접근할 수 있어야 하고, 이를 위해 인터넷이 연결된 환경에서만 사용이 가능하다고 할 수 있습니다.
만약에 인터넷이 연결되지 않은 공간이나, 연결이 되었다 하더라도 방화벽으로 서버 접속이 차단되어 있는 환경이라면 생성형 AI를 사용할 수 없다는 것입니다.
반대로 온디바이스 AI(On-Device AI)는 디바이스에 AI가 탑재되어 자체적으로 데이터를 수집하고 연산하여 결과 값을 만들어 낼 수 있는 것이라고 할 수 있습니다. 즉, 서버에 연결되지 않고도 스스로 작동할 수 있는 AI라는 것입니다.
예를 들어, 이번에 공개된 갤럭시 S24의 기능인 통화 중에 실시간으로 통역을 지원해 주는 기능이라던지, 사용가 입력한 노트를 요약/정리하고 녹음된 음성을 STT로 분석하여 스크립트를 생성하는 기능들이 인터넷 환경에 접속하지 않더라도 기기 자체적으로 지원해 줄 수 있다는 것입니다. 그렇기 때문에, 비행기와 같이 인터넷 연결이 제한되는 공간에서도 AI가 탑재된 디바이스를 통해서 AI를 사용하는 게 가능하다는 것입니다.
2. 온디바이스 AI(On-Device AI)의 장점
온디바이스 AI는 무슨 장점이 있길래 시장이 뜨거운 관심을 보이는 것일까요?
다시 클라우드 기반의 일반적인 AI로 돌아가서 생각을 해보겠습니다. 우리가 ChatGPT나 클로바X 등 생성형 AI를 서비스를 활용할 때 어떻게 해야 할까요? PC나 스마트폰으로 해당 웹페이지나 애플리케이션에 접속해서 프롬프트를 입력하고 그 결과가 회신되기를 기다려야 합니다. 어떤 날에는 대기시간이 길어지거나 이상한 결과를 받아보고는 프롬프팅에 많은 시간을 소비하게 되기도 합니다.
만약에 인터넷이 연결되지 않는다면 어떻게 될까요? 인터넷에 접속할 수 없는 환경에 있는다던지, 서버나 네트워크에 장애가 발생한다면 AI를 활용할 수 없는 상태가 되어버립니다. 또한 프롬프트를 입력하고 결과를 기다리는 시간(데이터를 클라우드로 보내고 응답을 기다리는 대기시간)이 길어지면 사용자의 만족도는 저하되고 맙니다. 그리고 가장 중요한 것은 데이터들이 외부에 있는 서버에 전송되는 상황에서는 해킹 등과 같은 데이터 유출의 위험에 노출될 수밖에 없는 구조라고 할 수 있습니다.
그리고 서비스를 제공하는 업체의 경우에는 서비스가 확대되고 사용자가 많아질수록, AI가 더 정확하고 정교해지기 위해 모델이 복잡해질수록 서비스를 제공/유지하는 데 발생하는 인프라 비용이 기하급수적으로 늘어나게 되는 한계가 발생하게 됩니다. 심지어 인프라 비용뿐만 아니라 소모되는 에너지양도 증가함에 따라 최근 중요하게 여겨지고 있는 ESG 관점에서도 악영향을 주게 되는 것입니다.
[ 클라우드 기반 AI의 한계점 ]
1) 인터넷 의존 : 서버와의 연결이 필수로 되어야 하는 구조이기 때문에, 인터넷 환경에서만 사용이 가능.
2) 지연 시간 : 데이터를 중앙 서버에 보내서 처리한 결과를 받아와야 하기 때문에, 대기시간이 발생하게 되고 이로 인한 사용자 경험의 저하될 수 있음.
3) 개인정보 보호 : 사용자가 입력한 데이터들이 외부 서버로 전송되기 때문에 개인정보 유출의 위험 발생.
4) 인프라 운영 비용 증가 : 수많은 학습데이터를 활용하여 추론하는 과정에서 인프라 자원을 많이 사용하게 되고 이로 인해 운영비용 및 에너지 소모가 급격하게 증가함.
이런 클라우드 기반의 AI의 한계점 때문에 온디바이스 AI가 주목받고 있는 것입니다. 앞서 말씀드린 것과 같이 온디바이스 AI는 사용자의 기기 내부에서 직접적으로 AI 알고리즘이 작동하여 정보를 처리합니다. 그렇기 때문에 ① 인터넷 연결이 없어도 기기가 독립적으로 작동하므로 언제 어디서나 안정적인 성능을 제공합니다. 또한 ② 중앙서버를 거치는 과정이 없기 때문에 지연이 없이 빠른 속도로 처리할 수 있습니다. 그리고 ③ 사용자의 데이터가 기기를 떠나지 않기 때문에 개인정보 보호에 있어서도 훨씬 안전합니다. 마지막으로 ④ 클라우드 서비스에 드는 비용과 데이터 전송 비용이 절감되며, 에너지 효율성 또한 높은 편입니다.
그리고 높은 보안성을 전제로 향후에는 초개인화된 AI를 활용할 수 있다는 강점도 있습니다. 스마트폰이나 웨어러블 디바이스를 통해 수집되는 초개인화된 데이터를(대화 형태, 취미, 나이, 건강, 습관, 기호 등) AI 모델이 학습해서 사용자의 요청에 더 최적화된 답을 찾아 알려줄 수 있게 될 수도 있습니다.
다만 이를 위해서는 디바이스라는 제한된 성능과 공간을 어떻게 활용해야 할지가 핵심이 될 것이고, 그 핵심으로 AI반도체 기술이 대두됨에 따라서 관련 기업들이 크게 주목을 받고 있습니다.
3. 온디바이스 AI 시장 예측
시장조사 업체인 Global Market Insght(GMI)가 2022년 발표한 리포트에 따르면, 2023년부터 2032년까지 연평균 25% 수준으로 성장률을 기록하며 2032년에는 약 700억 달러 규모의 시장으로 증가할 것이라고 예측했다. 또한 스마트폰과 태블릿 같은 모바일 디바이스뿐만 아니라, 웨어러블 기기, 자율주행 자동차, 로봇 등 디바이스의 유형을 가리지 않고 다양한 곳에 적용되어 활용할 것으로 예상하고 있습니다.
마찬가지로, 이번에 갤럭시 S24라는 온디바이스 AI 스마트폰을 출시한 삼성전자는 이후로도 갤럭시워치, 갤럭시버즈, 갤럭시북 등 모든 갤럭시 라인업에 온디바이스 AI를 탑재할 계획을 갖고 있다고 합니다.
삼성 외에도 구글, 애플, 샤오미, 화웨이 등 다수의 빅테크 기업들도 자신들의 제품 라인업에 온디바이스 AI를 탑재할 예정이라고 합니다.
[ 주요 빅테크 기업의 온디바이스 AI 준비현황] * 매일경제 기사 참고
| 업체명 | LLM | 온디바이스 AI 준비현황 |
| 삼성전자 | Gauss | 갤럭시 S24에 가우스를 탑재하여 온디바이스 AI서비스를 제공 자체 구축한 LLM인 가우스는 언어모델, 코드모델, 이미지모델 등 3가지로 구성됨. |
| 애플 | Ajax | 자체 보유한 LLM인 Ajax를 기반으로 애플GPT(가칭) 개발중 2024년 발표될 iOS 18에 LLM을 적용할 것으로 전망됨 |
| 화웨이 | Pangu | 화웨이의 디바이스에 내장된 AI비서(Celia)가 자체 클라우드 LLM이 Pangu와 연결됨 자체 OS인 HarmonyOS 4에 LLM을 탑재할 것을 발표 |
| 샤오미 | MiLM | AI모델 경량화를 위한 연구팀을 설립하고 개발/투자를 진행학 있음 모바일 비서 Xiao AI에 자체 LLM인 MiLM을 탑재하여 테스트 중 |
증권가의 전망으로는 내년부터는 모바일 기기와 PC를 시작으로 웨어러블 기기, 드론, 로봇 등 거의 대부분의 제품에 온디바이스 AI가 본격적으로 탑재될 것이라고 합니다.
ChatGPT를 기점으로 AI시장이 너무나도 급변하고 있다고 생각됩니다. 빅스비나 시리, 또는 스마트홈의 여러 비서들까지 만족할만한 수준으로 활용된 지가 얼마 되지 않은 것 같은데 이제 AI까지 탑재된다고 하니 무척이나 기대가 됩니다.
물론 초기 단계에서는 그 성능이 기대에 못 미칠 것이 자명하지만, 얼마나 빠른 시일 내 우리 일상에서 익숙하게 활용될 수 있을지 기대하며 지켜봐야겠습니다.
[참고자료]
1) 차세대 딥러닝 기술 '온디바이스(On-DevicE) AI'란? (삼성반도체, 2019.12)
2) [CES 결산] ① 끝없는 진화, 일상 파고든 혁명…온디바이스 AI 시대 예고 (연합뉴스, 2024.01)
3) 인터넷 필요 없는 손안의 비서, 2024년은 ‘온디바이스AI’ 전쟁 (매일경제, 2024.01)