CapWords의 매력적인 디자인 이야기
‘CapWords’는 3살짜리 아이의 아이디어에서 출발한 앱으로 다양한 최첨단 기술을 많이 활용합니다.
2025년 Apple 디자인 어워드의 기쁨과 재미 부문에서 수상의 영광을 안은 ‘CapWords’는 공식적으로는 물론 중국 소재의 HappyPlan Tech 설립자 Ace Lee가 출시했지만 사실 애니메이션 스티커를 통해 단어를 가르치는 AI 기반의 언어 학습 유틸리티라는 아이디어는 훨씬 더 어린 ‘동료’에게서 얻었습니다.
Lee는 “제 딸과 함께 보내던 어느 한 순간 아이디어가 떠올랐어요. 매일 유치원에서 집으로 걸어오는 길에 딸이 여러 사물을 가리키며 ‘이건 영어로 뭐라고 해요?’라고 제게 묻곤 했죠. 어느 날, 도로 표지판을 가리키며 ‘이건 뭐라고 해요?’라고 물었어요. 저는 답을 몰랐죠. 번역 앱을 열었더니 로봇 같은 목소리로 ‘Signpost’라고 답하더군요. 딸은 그저 조용히 ‘아’라고 했어요. 그 순간 저는 무언가 빠져 있다는 걸 알 수 있었죠.”라고 말합니다.
빠진 요소는 바로 유대감이었습니다. 일반적으로 아이들은 감정 없이 차가운 로봇 목소리를 좋아하지 않습니다. Lee는 함께 산책을 할 때마다 딸이 사실 그 자체에 반응하는 것이 아니라, 두 사람의 자연스러운 유대감 속에서 느껴지는 따뜻함에 반응하고 있다는 것을 깨달았습니다.
사용 가능한 플랫폼: iPhone, iPad
팀 규모: 3명
소재지: 베이징
수상 경력: Apple 디자인 어워드 수상작(2025), App Store 어워드 최종 후보작(2025)
이러한 이유로 ‘CapWords’는 놀라움과 발견의 느낌을 우선시합니다. 커피 머그잔, 트래픽 콘, 컵케이크, 표지판 등 무엇이든 사진을 찍으면 앱이 AI를 사용해 해당 사진을 스티커로 변환하고 각 사물의 이름과 발음을 알려 줍니다. 스티커는 앱 내에 바로 수집됩니다. 사진을 클릭하고, 애니메이션을 시청하며, 피드백을 받는 적극적인 참여 덕분에 3세 이상 사용자의 기억 유지에 도움이 됩니다. 앱 개발을 지원한 Lee의 친한 친구, Clu Soh는 “‘CapWords’는 청각, 촉각, 시각 신호 등 실제 물리학에 기반합니다. 따라서 매우 효과적이죠.”라고 말합니다.
사실, 스티커는 Lee의 딸이 앱 개발 로드맵에 기여한 또 다른 핵심 요소였습니다. Lee는 “저희 딸은 2살 때부터 온갖 곳에 스티커를 붙이곤 했어요. 냉장고, 소파, 심지어 제 얼굴에까지요. 마치 예술 작품을 만드는 것처럼 굉장히 진지했어요. 바로 이 모습에서 현실 세계에서 사물을 ‘떼어 내’ 수집하는 아이디어를 얻었죠.”라고 웃으며 말합니다.
스티커처럼 떼어 내는 과정은 팀에 첫 번째 기술적 과제를 안겨 주었습니다. Soh는 “기기에서 실행되고 사진에서 사물을 잘라 내는 모델을 연구하는 것으로 시작했지만, 각 모델마다 문제가 있었어요. 이미지를 미리 다운로드하거나 사용자가 앱을 실행할 때 다운로드해야 했는데, 시간과 저장 공간이 필요했죠. 또한 사물의 가장자리가 명확하지 않아 깔끔하게 잘라 낼 수 없는 경우도 있었어요.”라고 말합니다.
‘CapWords’ 설립자 Ace Lee는 앱이 지향하는 언어 학습 철학의 토대가 되는 실제 스티커에 시간을 투자했습니다.
다행히, VisionKit에서 빠른 해결책을 찾았습니다. Soh는 “앱 내부에 대규모 모델을 통합할 필요 없이 정말 훌륭히 작동했습니다. 덕분에 사물을 스티커처럼 쉽게 떼어 낼 수 있었죠.”라고 말합니다.
다음 단계는 각 스티커의 사물을 식별하는 방법을 구상하는 것이었습니다. 개발 팀은 당시에 막 출시된 ChatGPT-4에 이 과제를 맡겼습니다. Soh는 “아직 앱이 존재하지도 않을 때였죠. 하지만 VisionKit으로 잘라 낸 다양한 사물을 ChatGPT에 계속 제공하면서 ‘이건 뭐야? 중국어, 프랑스어, 스페인어 등 우리가 배우고 싶은 모든 언어로 알려줘.’라고 물었어요.”라고 말합니다.
토대가 마련되자 팀은 다른 Apple 프레임워크를 활용하기 시작했습니다. “AVAudioEngine을 사용해 오디오를 재생하고 Neural Voice를 사용해 소리를 더 자연스럽게 만들었어요. iOS API의 공간 인식 기능은 플래시 카드 기능에 큰 도움이 되었죠. 물론, CloudKit을 사용하면 사용자 데이터를 iPhone 및 iPad와 동기화할 수 있어요.”
게다가 ‘CapWords’는 사용자가 생성한 이미지를 저장하지 않습니다. 사진은 일회성 인식을 위해 AI 모델에 전송된 다음 삭제됩니다. 이미지는 로컬에 저장되지 않으며, 아무것도 서버에 업로드되지 않습니다. ‘CapWords’가 서버를 보유하지 않는 데는 그럴 만한 이유가 있죠.
머그잔과 같은 일상 사물의 사진을 찍으면 ‘CapWords’가 AI를 활용해 이를 스티커로 변환하고 해당 사물의 정의와 발음을 알려 줍니다.
하지만 ‘CapWords’는 Apple 디자인 어워드의 기쁨과 재미 부문에서 수상했습니다. 교육용 앱에서 달성하기 쉬운 성과는 아니죠. 이러한 성과를 거둘 수 있었던 이유는 대체로 사진이 스티커로 변환되는 순간에 있습니다.
“이미지를 캡처한 다음 앱에서 처리하면 사용자가 수집하려는 사물인지 여부를 확인하게 됩니다. 이러한 확인 단계 덕분에 시스템이 API에서 결과를 얻는 시간을 벌 수 있죠. 백엔드에서 프로세스는 캡처 → 배경 제거 → 확인 → 결과 표시 등 여러 단계로 나눠져요.”라고 Soh는 말합니다.
하지만 대부분의 사용자는 이를 알아차리지 못한다고 Soh는 말합니다. 이러한 프로세스가 진행되는 동안 백그라운드에서 시스템이 돌아감과 동시에 앱에서는 사용자의 관심을 끄는 ‘마이크로 애니메이션’을 표시하기 때문입니다.
놀랍게도, 처음에 딸과 표지판에 대한 대화를 나눈 후 앱을 출시할 때까지 전체 과정에 4개월이 걸렸습니다. 기술적 관점에서 이 앱은 단연 인상적이지만, 놀라움과 호기심을 그냥 지나치지 않은 덕분에 진정으로 빛나는 앱이 완성되었습니다. 아이의 눈으로 바라보고 고민한 결과죠. Soh는 심지어 최고의 찬사를 들었다고 말합니다. 바로 한 친구의 딸이 Pokémon Go를 그만두고 ‘CapWords’를 즐겨 사용하기 시작했다는 겁니다. 그는 “저희가 계획했던 바는 아니었어요. 하지만 덕분에 ‘CapWords’는 단지 아이들 또는 어른들만 사용하는 앱이 아니라, 온 가족이 함께 즐길 수 있는 앱이라는 걸 알 수 있었죠. 부모님과 자녀가 주변 환경을 둘러보고, 단어를 캡처하고, 결과를 함께 다시 살펴볼 수 있어요.”라고 웃으며 말합니다.
“사람들이 언어를 배우는 기쁨을 재발견하는 데 우리 앱이 도움이 된다는 사실을 알게 되어 영광입니다.”라고 ‘CapWords’ 설립자이자 메밀국수를 좋아하는 Ace Lee는 말합니다.
‘CapWords’는 출시 첫날부터 가족을 한데 모으는 데 큰 역할을 했습니다. “모든 사물을 수집하고 이름을 붙이다 보니, 마치 지구에 사는 외계인이 된 기분이라는 이야기를 들었어요. ‘CapWords’를 ‘내가 사용해 본 가장 따뜻하고 인간적인 AI’라고 하는 사용자도 있었죠.”라고 Lee는 말합니다. “사람들이 교과서가 아니라 일상생활 속에서 언어를 배우는 기쁨을 재발견하는 데 우리 앱이 도움이 된다는 사실을 알게 되어 영광입니다.”
원본 버전은 2025년 12월 4일(태평양 연안 표준시)에 게시됨
