애플, 표시등 없는 ‘앰비언트 모드’로 상시 감지…OS엔 메타데이터만 전달한다

애플이 12일(현지시각) 홈뷰와 아이폰 18 프로 등에 적용한 보안 구조 ‘Secure Exclaves’의 작동 방식을 상세히 공개했다. 카메라와 마이크 원본 데이터를 운영체제(OS)와 앱은 물론 애플도 접근할 수 없는 격리 공간에서 처리하는 방식이다. 13일 판매를 시작하는 A18 기반 스마트 디스플레이 홈뷰가 대표 사례로 소개됐다.

얼굴·음성 지문만 남기고 원본은 폐기

홈뷰는 얼굴과 목소리로 등록된 최대 6명을 알아본다. 공용 화면에서 캘린더·메시지·애플 뮤직 같은 앱의 개인 콘텐츠를 사용자별로 띄우기 위한 기능이다. 이를 위해 기기는 백그라운드에서 카메라 프레임과 마이크 입력을 계속 처리한다.

맥루머스에 따르면 애플은 홈뷰를 예로 들어 흐름을 설명했다. 기기는 시야에 사람이 있는지 확인하려고 최소한의 시각 처리를 계속 수행한다. 이때 카메라 프레임은 연속 스트림으로 ‘카메라 exclave’(격리된 실행 공간)에 전달된다. 여기에는 얼굴·음성 인식 모델과 신원 데이터베이스를 갖춘 ‘사람 인식 exclave’가 함께 동작한다.

사람이 화면에 들어오면 카메라 exclave는 메인 OS에 사람이 있을 수 있다는 사실만 알린다. 이미지 데이터는 격리 공간 밖으로 나가지 않는다. 오디오 exclave도 소리에 대해 같은 방식으로 움직인다.

사람 인식 exclave는 얼굴·음성 지문을 등록된 사용자 신원 데이터베이스와 대조해 신뢰도 점수를 낸다. OS가 받는 것은 사람 식별자와 위치, 신뢰도뿐이다. 실제 오디오나 영상은 넘어가지 않는다. 이 단순한 신호가 캘린더·메시지처럼 신원에 의존하는 기능을 켜고, 원본 센서 데이터는 폐기된다.

사이버인사이더는 홈뷰가 애플 뉴럴 엔진의 보호된 대기열을 이용해 얼굴·음성 지문을 만든다고 전했다. 애플은 처리가 끝나면 원본 오디오와 영상을 폐기한다고 밝혔다. 홈뷰의 카메라 LED 표시등도 이 exclave가 보호한다.

항상 켜진 표시등은 소용없다…앰비언트·액티브 두 모드

애플이 이런 구조를 만든 이유는 주변 영상·소리를 상시 감지할 안전한 방법이 필요했기 때문이다. 기반 작업은 iOS 18부터 시작됐다. 애플 기기는 카메라와 마이크가 실제로 작동할 때 표시등을 켜 왔지만, 상시 감지에는 맞지 않는다고 애플은 설명했다. 표시등이 계속 켜져 있으면 사용자가 백그라운드 감지와 실제 녹음·녹화를 구분할 수 없기 때문이다.

그래서 Secure Exclaves에는 두 가지 모드가 있다. 표시등이 없는 ‘앰비언트 모드’에서는 센서가 특정 신호에 반응할 수 있지만 시스템에는 소량의 메타데이터만 전달한다. ‘액티브 모드’에서는 OS가 센서 전체 데이터를 받고, 표시등이 오디오·비디오 접근 사실을 사용자에게 알린다.

표시등 자체는 오래전부터 있었다. 달라진 점은 이제 Secure Exclaves가 이를 뒷받침한다는 것이다. 표시등이 켜졌는지 확인하기 전에는 exclave에서 나머지 OS로 데이터가 넘어가지 않는다.

사이버인사이더는 이 구분이 사용자에게 의미가 있다고 짚었다. 표시등이 꺼져 있어도 격리 환경 안에서는 백그라운드 감지가 소리나 이미지를 처리하고 있을 수 있다. 표시등은 전체 센서 데이터가 그 환경을 벗어날 수 있는 순간, 이를테면 시리 세션이나 페이스타임 통화가 활성화된 때를 알려 준다.

적용 범위는 홈뷰에 그치지 않는다. 시리 리캡과 라이브 리와인드는 대화 요약용 주변 소리를 녹음하거나 말하는 사람의 마지막 15초를 자막으로 만든다. 아이폰 18 프로·프로 맥스·듀오의 화면 속 카메라·마이크 표시등과 맥북 네오의 카메라 표시등도 보호 대상이다.

‘Hey Siri’ 음성은 표시등 확인 뒤에야 넘어간다

사이버인사이더가 소개한 아이폰 18 프로의 ‘Hey Siri’ 흐름은 이 원리를 잘 보여 준다. 저전력 칩이 호출어 가능성을 먼저 듣고, 짧은 오디오 버퍼를 exclave로 넘겨 두 번째 확인을 거친다. 호출어가 맞다고 확인되면 시리의 메인 시스템 서비스는 깨우라는 신호만 받는다.

호출어를 포함한 버퍼 오디오는 나머지 요청과 함께 나중에 풀린다. 보호된 컨트롤러가 마이크 표시등이 화면에 보이는지 확인한 뒤에야 가능하다. 표시등은 세션 내내 켜져 있고, 세션이 끝난 뒤에도 최소 3초는 유지된다.

한 보도에 따르면 애플 보안 엔지니어링·아키텍처(SEAR) 팀과 코어 OS 팀은 ‘Secure Exclaves and Ambient Sensing’이라는 글을 애플 보안 연구 블로그에 올렸다. 이 글은 호출어를 처음 듣는 단계에 항상 켜진 프로세서(AOP)가 쓰인다고 설명한다. 사용자가 활성 상호작용 상태에 들어가고 마이크 표시등 표시와 보안 점검이 끝난 뒤에야 시리 서비스로 오디오 전송이 허용된다.

화면 표시등은 OS가 그리기만 하는 것이 아니다. 같은 보도에 따르면 화면 표시등이 있는 기기에서는 전용 디스플레이 exclave가 실제 화면 픽셀의 색상·모양·지속 시간·밝기를 검사한다. 사이버인사이더도 이 exclave가 하드웨어로 점의 픽셀이 충분히 밝고 가려지지 않았는지 확인한다고 전했다. 악성 소프트웨어가 표시등을 숨기거나 위조하는 것을 막기 위한 장치다.

홈뷰에서는 보호된 컨트롤러가 LED를 직접 구동한다.

OS 커널보다 높은 권한…마이크로커널은 수학적으로 검증

격리를 떠받치는 계층도 공개됐다. Secure Exclaves는 메인 프로세서에서 별도의 실행 환경으로 돌아간다. 사이버인사이더에 따르면 ‘Secure Page Table Monitor(SPTM)’라는 구성요소가 메인 OS 커널보다 높은 권한 수준에서 동작하며, 커널이 exclave의 비공개 메모리를 매핑하지 못하게 막는다.

구성요소 사이 통신은 스위프트로 작성된 메시징 시스템이 맡는다. 사전에 정의된 인터페이스를 통해서만 각 격리 영역이 주고받을 수 있는 내용이 제한된다. 한 보도는 이를 Secure IPC라고 부르며, 각 샌드박스가 명시적으로 허용된 자원에만 접근할 수 있다고 소개했다.

같은 보도에 따르면 Secure Exclaves는 애플이 자체 제작한 L4 마이크로커널을 쓴다. 시스템 구성요소는 기본적으로 다른 구성요소나 하드웨어 자원에 접근할 수 없고, 명시적 권한을 받은 뒤에야 상호작용한다. 애플은 메모리를 격리하는 일이 ‘심각한 엔지니어링 과제’였다고 밝혔다.

검증 방식도 눈에 띈다. 애플은 Secure Exclaves의 기반이 되는 마이크로커널의 일부를 수학적 증명으로 검증한다고 밝혔다. 사이버인사이더에 따르면 이 작업에서 커널을 위태롭게 할 수 있는 논리 버그가 발견됐다. C언어 구현이 정해진 기능 명세와 일치하는지 확인해 일반 소프트웨어 테스트가 놓칠 수 있는 저수준 문제를 찾아낸다는 설명이다.

다만 애플은 이 형식 검증이 점진적으로 진행 중이며 마이크로커널의 모든 부분을 아직 포함하지는 않는다고 강조했다. 전체 기술 세부 내용은 애플 보안 웹사이트에서 볼 수 있다.