DockKit의 새로운 기능

안녕하세요 Dhruv Samant입니다 저는 DockKit 팀의 엔지니어입니다 오늘은 DockKit과 관련된 멋진 업데이트 사항과 혁신 기능을 공유해 드리겠습니다 작년에 Apple은 iPhone 콘텐츠 생성 및 영상 통화 경험을 한 차원 더 향상하는 혁신적인 프레임워크인 DockKit을 도입했습니다 이제 최초의 DockKit 기반 스탠드를 Apple Store에서 구입할 수 있습니다 DockKit 스탠드를 설정하고 사용을 시작하는 방법을 간략히 살펴보겠습니다

시작하려면 탭하여 iPhone을 DockKit 기기와 페어링하세요

페어링 카드에서는 페어링 프로세스를 완료하는 단계별 지침을 제공합니다

페어링되면 iPhone을 도킹하기만 하면 됩니다

이제 됐네요, DockKit 기기가 준비되었습니다

이제 iOS 카메라 앱을 실행할 수 있으며 Dock가 자동으로 저를 프레임 안에 유지해 줍니다

저는 돌아다닐 수 있고 Dock는 저를 매끄럽게 따라옵니다

DockKit 추적 기능은 FaceTime에서도 작동합니다 실제로, 이제 카메라를 사용하는 모든 앱이 사용자를 추적하고 프레임 안에 유지합니다 DockKit 기기와 사용자 친화적인 API로 이제 특별한 개인 맞춤형 경험을 디자인할 수 있으며, 여기에는 비디오 캡처, 화상 회의부터 교육과 의료까지 포함됩니다 이러한 기기 덕분에 고객은 이제 콘텐츠에 집중할 수 있습니다 프레임 안에 있는지 걱정할 필요 없이요 올해, DockKit에 대한 멋진 업데이트 사항이 있습니다 바로 스마트 피사체 추적입니다 머신 러닝을 활용하는 스마트 추적 기능으로 DockKit 추적 경험을 향상합니다 이 세션에서는 스마트 추적이란 무엇이고, 어떻게 작동하며 애플리케이션에서 이를 어떻게 사용하는지 살펴보겠습니다 다음으로, 버튼 제어기로 초점을 옮겨 DockKit 액세서리의 새로운 카테고리를 발표합니다 또한 DockKit 기능을 지원하는 새로운 카메라 모드를 소개합니다 마지막으로, DockKit 액세서리의 배터리를 쉽게 모니터링하는 방법을 살펴봅니다 좋습니다! 시작해 보죠

스마트 피사체 추적이란 무엇일까요? 스마트 피사체 추적은 비디오 장면에서 해묵은 과제인 초점의 대상 문제를 해결하는 것을 목표로 합니다 다른 피사체들이 배경에 있는 상태에서 피사체들이 서로 또는 카메라와 상호작용하는 시나리오를 상상해 보세요 추적하고 초점을 유지해야 할 가장 관련성 높은 개인을 결정하는 것은 극히 어려울 수 있습니다 예를 들어, 이 간단한 장면에서 카메라 담당자 앞쪽에서 서로 상호작용 중인 2명의 피사체에 초점을 맞추고 뒤쪽에 있는 사람은 무시하려고 할 가능성이 큽니다 장면이 더 복잡해질수록 이러한 결정을 내리기 위해 더 정교한 방법이 필요합니다 바로 이러한 경우에 스마트 피사체 추적을 고려합니다

고급 알고리즘과 머신 러닝을 사용하여 스마트 피사체 추적은 장면을 실시간으로 분석합니다 개인의 얼굴이나 사물과 같은 주요 피사체를 식별한 다음 추적할 가장 관련성 높은 사람을 결정합니다 이때 움직임, 음성, 카메라 근접성 등 다양한 요인에 기반합니다 이러한 추적은 매끄럽고 원활하게 이루어지므로 수동 개입 없이 콘텐츠를 만드는 데 집중할 수 있습니다

이제 이를 가능하게 해 주는 기본 알고리즘과 프레임워크를 살펴보겠습니다

iPhone의 이미지 인텔리전스를 사용해 한 장면에서 여러 피사체의 궤적을 추정하는 iOS 17의 다인용 추적기를 더욱 발전시켜 iOS 18에서 새로운 스마트 추적 파이프라인을 개발했습니다 이 파이프라인은 다인용 추적기의 데이터를 가져오고 고급 Subject Selection Machine Learning Model을 통해 이를 처리합니다

이 모델은 신체 포즈, 얼굴 포즈 주의 집중, 말하기 신뢰도 등 다양한 속성을 분석하여 장면에서 초점을 맞춰야 할 가장 관련성 높은 피사체를 결정합니다

그런 다음 피사체 프레이밍 모듈에서 선택된 피사체를 입력으로 받고 고급 알고리즘을 사용해 프레임을 적용하는 시각적으로 가장 매력적인 방식을 결정합니다

최종 장면이 계산되면 모터 위치 및 속도 피드백을 사용하여 DockKit 액세서리에 전송할 최종 액추에이터 명령을 만듭니다

이 스마트 추적 시스템은 수많은 시나리오를 매우 잘 처리하지만 카메라 담당자가 전문적으로 조작할 수 있어야죠 따라서 모든 DockKit 기기에 Watch 제어기를 도입했습니다

Watch 제어기를 사용하면 사용자가 iOS 카메라 앱에서 추적과 프레임 적용을 더 정밀하게 제어할 수 있습니다 DockKit 액세서리를 수동으로 제어하여 샷을 더 세밀하게 조절할 수도 있습니다

이제 말로만 설명하는 대신에 눈으로 직접 확인해 보죠!

여기에 DockKit 스탠드와 제 iPhone이 있습니다 이 기기에서는 새로운 스마트 추적 파이프라인이 실행 중입니다

프레임 안의 유일한 사람이므로 저를 추적하기로 쉽게 결정합니다

이제 제 친구 Steve를 초대해 저와 함께 무대를 공유하도록 해 보겠습니다 안녕하세요, Steve

이제 Steve도 관심 인물이며 스마트 추적 기능이 저희 둘 모두를 선택하고 추적할 것입니다 이제 제 Apple Watch를 사용해 Steve의 얼굴을 탭하기만 하면 DockKit이 이제 Steve만 추적합니다

Steve, 그 방향으로 몇 걸음 가 보시겠어요?

보시는 것처럼, DockKit이 이제 Steve만 추적하고 있습니다

Steve는 저의 좋은 친구이지만 이제 Steve를 선택 해제하여 데모를 계속 진행하려고 합니다 이렇게 하려면 Watch를 스와이프해 DockKit 액세서리를 수동으로 움직이고 제 얼굴을 탭하여 다시 저를 추적하기 시작할 수 있습니다

이것은 DockKit 시스템 추적에 도입한 멋진 변경 사항입니다 앱에 코드를 더 추가할 필요가 없죠 하지만 개발자에게 제어권이 더 있으면 좋겠습니다 이를 위해 Apple은 앱에서 머신 러닝 신호에 대한 접근 권한을 제공합니다 따라서 고객이 만족할 만한 혁신적이고 독특한 기능을 만들 수 있습니다

애플리케이션이 DockKit 스마트 추적을 사용 중인 경우 중요한 속성이 있는 추적 대상 피사체의 요약을 확인할 수 있죠

추적 상태 비동기 시퀀스로 추적 요약을 쿼리할 수 있습니다 추적 상태에는 해당 상태가 캡처된 시점을 나타내는 시간과 추적된 피사체 목록이 포함됩니다 추적된 피사체는 사람 또는 사물일 수 있습니다

추적된 피사체에는 식별자, 얼굴 직사각형, 현저성 순위가 포함되죠 피사체가 사람인 경우 말하기 신뢰도와 카메라 바라보기 신뢰도 속성도 제공합니다

현저성 순위는 장면에서 가장 중요한 피사체에 대한 평가를 나타냅니다 순위는 1부터 시작하여 단조 증가합니다 순위가 낮을수록 해당 특정 피사체의 중요도가 더 높습니다 예를 들어, 순위 1은 순위 2보다 현저성이 더 높습니다

말하기 신뢰도는 말하고 있는 사람의 가능성 점수입니다 신뢰도 점수 0은 그 사람이 말하지 않고 있음을 나타내고 신뢰도 점수 1은 그 사람이 말하고 있음을 나타냅니다 마찬가지로 lookingAtCameraConfidence는 카메라를 직접 바라보는 사람의 가능성 점수입니다

이제 앱에서 이러한 매개변수를 어떻게 사용해 맞춤형 추적 기능을 생성할 수 있는지 살펴보겠습니다

항상 활성 화자를 추적하는 앱을 작성 중이라고 가정해 보죠 먼저, 추적 상태를 비동기 시퀀스로 쿼리하고 변수 trackingState에 저장합니다 DockKit이 업데이트를 제공할 때마다 이 변수를 업데이트합니다 이제 활성 화자를 추적하기 위해 먼저 사람인 모든 추적된 피사체 목록을 가져온 다음 신뢰도가 80%를 넘는

모든 말하는 사람으로 필터링하는 함수를 사용합니다

그런 다음 이 목록을 selectSubjects API에 전달하면 이렇게 DockKit이 이제 장면의 모든 활성 화자를 추적합니다

이는 머신 러닝 신호를 활용해 사용자에게 가장 중요한 사항을 확인하고 혁신적이고 독특한 기능을 손쉽게 디자인할 수 있기 때문에 유용합니다

이렇게 하면 앱에서 스마트 추적의 이점을 누릴 수 있습니다

DockKit 액세서리에 대한 버튼 지원도 추가합니다 자사 및 타사 애플리케이션에 대해 버튼이 어떻게 작동하는지 살펴보겠습니다 카메라와 FaceTime의 경우 DockKit은 즉시 사용 가능한 3가지 유형의 액세서리 이벤트인 셔터, 뒤집기, 확대/축소를 지원합니다 셔터 이벤트로는 사진이나 비디오를 빠르게 캡처할 수 있죠 뒤집기 이벤트로는 전면 카메라와 후면 카메라 간에 매끄럽게 전환할 수 있습니다 확대/축소 이벤트로는 장면을 확대하거나 축소할 수 있습니다 이러한 이벤트도 앱에 제공하여 사용자 경험을 향상하는 맞춤형 동작을 구현할 수 있게 합니다 카메라 셔터 및 뒤집기 이벤트는 토글 이벤트로 해당 이벤트와 연관된 값이 없습니다 카메라 확대/축소 이벤트에는 상대적 요인이 있습니다 예를 들어, 값이 2.0이면 이미지 크기는 2배가 되고 시야는 절반이 됩니다 이러한 요인을 원하는 대로 처리할 수 있습니다 액세서리는 버튼을 식별하는 ID와 버튼이 눌렸는지 여부를 나타내는 불리언 값을 포함하는 맞춤형 버튼 이벤트도 전송할 수 있습니다

따라서 유연성이 향상되므로 고객이 높이 평가할 만한 맞춤형 동작을 디자인할 수 있게 됩니다 이를 기반으로, 버튼 지원의 이점을 크게 누릴 수 있는 새로운 DockKit 액세서리를 소개합니다 바로 짐벌입니다

짐벌은 역동적인 스포츠와 사진 촬영의 판도를 바꿔 놓습니다 운동하는 사람을 자동으로 추적할 수 있어 수동으로 패닝하고 기울일 필요가 없습니다

이러한 새로운 DockKit 짐벌은 카메라 움직임을 안정화하여 전문가 수준의 매끄러운 비디오를 만드는 데 도움이 됩니다 짐벌을 실제로 어떻게 사용하는지 살펴보죠!

제게 DockKit 짐벌이 있네요

이미 iPhone과 페어링한 상태입니다 휴대폰을 도킹하기만 하면 마법처럼 짐벌에 연결됩니다

이제 카메라 앱을 열 수 있고 짐벌이 저를 매끄럽게 추적합니다

이제 이 짐벌로 멋진 새로운 작업을 할 수 있죠 손에 들고 있어도 저를 추적합니다

짐벌의 뒤집기 버튼을 눌러 후면 카메라로 전환해서 제 멋진 방을 보여 드리겠습니다

여기 누가 있나 보세요 Steve네요, 반가워요 Steve 이제 녹화 버튼을 눌러 비디오 녹화를 시작하고 스크롤 휠을 사용해 Steve를 확대할 수 있습니다

짐벌 덕분에 DockKit은 역동적인 핸드헬드 경험을 선사합니다 이러한 새로운 버튼으로 이러한 경험을 구현할 수 있습니다 앱의 버튼 제어기를 어떻게 활용할 수 있는지 살펴보겠습니다

파노라마 촬영을 위한 카메라 앱을 작성하고 있다고 가정해 보죠 ID가 5인 맞춤형 버튼이 있는 DockKit 짐벌이 있고 이 버튼을 활용하여 짐벌 회전을 시작 및 중지하고 파노라마를 촬영합니다 먼저, 파노라마 회전을 시작 및 중지하는 2개의 함수를 작성합니다

그런 다음 액세서리 이벤트를 구독합니다 사용자가 Dock에서 버튼 5 이벤트를 트리거하면 해당 이벤트가 앱에 전달됩니다

버튼 5가 눌리면 DockKit 액세서리가 일정한 속도로 회전하기 시작합니다 버튼이 눌리지 않으면 회전이 중지됩니다 이제 코드 몇 줄만으로 DockKit 액세서리를 사용한 멋진 카메라 경험을 디자인할 수 있습니다 스마트 피사체 추적 기능과 원격 제어 관련 작업을 활용해 iOS 18에서 DockKit 지원을 iOS 카메라 앱의 새로운 카메라 모드인 사진, 파노라마, 시네마틱 모드로 확장함을 발표하게 되어 기쁩니다 이제 카메라 앱에서 사진 모드에 대해 피사체를 추적할 수 있습니다 Apple Watch 또는 DockKit 짐벌을 사용하여 피사체와 풍경을 포착할 수 있습니다

파노라마 모드에서는 버튼을 한 번만 누르면 사물과 환경의 광대한 풍경을 멋진 파노라마 촬영으로 자율적으로 담아낼 수 있습니다

시네마틱 모드에서는 초점에 맞춘 사람을 영화처럼 추적할 수 있죠

iOS 18에서는 앱 내에서 DockKit 액세서리의 배터리를 모니터링할 수 있는 기능도 추가했습니다 이 데이터를 활용하여 맞춤형 동작을 구현하고 사용자에게 관련 상태 메시지를 표시할 수 있습니다 비동기 시퀀스 배터리 상태를 구독할 수 있습니다 Dock는 여러 배터리에 대한 충전 상태를 보고할 수 있습니다 배터리는 이름으로 식별되며 현재 배터리 백분율과 충전 상태를 보고합니다 예를 들어, 전원에 연결된 Dock는 배터리 잔량을 50%로, 충전 상태를 충전 중으로 보고할 수 있습니다

AI 카메라맨 역할을 하는 스마트 추적 기능을 도입하여 자율적으로 장면에서 피사체를 선택하고 추적할 수 있게 했습니다

Apple Watch를 사용해 카메라맨을 수동으로 제어하거나 API를 사용해 카메라맨에게 지시할 수도 있습니다 빠른 속도의 스포츠 사진 촬영을 위해 DockKit 짐벌도 도입했습니다

이러한 새로운 API와 액세서리로 DockKit을 위한 새로운 멋진 사용 사례가 실현되기를 바랍니다 DockKit의 혁신 잠재력은 막대합니다 이 여정으로 어떤 성과를 거두게 될지 정말 기대됩니다!