앤트로픽 클로드, 인간 안전연구자 28명 제치고 시간당 4달러로 성과 냈다

앤트로픽이 인간 연구자 없이도 AI 스스로 안전성(정렬, alignment) 문제를 개선할 수 있다는 연구 결과를 내놨다. 테크크런치는 지난 28일(현지시각, 금요일) 앤트로픽이 “자동화된 연구자가 정렬 실패를 안정적으로 완화할 수 있다(Automated Researchers Can Reliably Mitigate Alignment Failures)”는 제목의 논문을 공개했다고 전했다. 앤트로픽 펠로우 프로그램(fellows program) 소속 연구원 Chen Yueh-Han이 이끈 이 연구에서 AI 시스템 클로드는 정렬 실패를 측정하는 10개 벤치마크 전부에서 성능을 개선하는 데 성공했다. 그것도 전체 능력을 떨어뜨리지 않으면서다. 앤트로픽은 자체 블로그를 통해 더 자세한 실험 내용을 함께 공개했다.

클로드가 스스로 연구 루프를 돌리는 방식

앤트로픽에 따르면 클로드는 기만, 아첨(sycophancy), 탈옥(jailbreak) 등 정렬 실패 10개 범주를 하나씩 맡아 문헌을 검색하고 방법과 데이터를 제안한 뒤, 학생 모델을 훈련하고 테스트하는 과정을 반복했다. 예를 들어 개인정보 침해 항목은 ConfAIde, PrivaCI-Bench, PrivacyLens 세 가지 벤치마크로 측정했다. 테크크런치는 각 자동화 시스템이 방법을 30분씩 훈련에 적용해보고 반복을 거치며 벤치마크 점수를 점진적으로 끌어올렸다고 설명했다. 효과가 있는 방법은 남기고 없는 방법은 버리는 방식이어서 대규모로 빠르게 실험을 돌릴 수 있었다.

앤트로픽은 클로드의 성공 여부를 “안전 격차 해소율”로 판단했다. 클로드가 제안한 방법이 이론상 완벽한 점수에 얼마나 가까워졌는지를, 각 정렬 실패 범주별로 보통 3~5개 벤치마크에 걸쳐 평가한 지표다. 연구팀은 학생 모델의 전반적 능력을 떨어뜨리는 정렬 방법은 제외했고, 클로드가 자신의 정렬 방식을 목표 모델에 직접 증류(distill)하는 것도 금지했다. 이런 제약은 클로드가 구상한 모든 방법을 사전에 읽고 검토하는 감시 에이전트를 통해 강제했다. 앤트로픽은 이 연구가 이전에 진행한 실험, 즉 약한 AI 모델을 “교사”로 삼아 더 강한 “학생” 모델의 훈련을 감독하게 하는 방법을 클로드가 찾도록 한 실험에서 이어진 후속 연구라고 밝혔다.

인간 안전연구자보다 앞선 성과, 비용은 시간당 4달러

결과는 10개 정렬 실패 범주 전부에서 능력 저하 없이 벤치마크를 개선하는 방법을 클로드가 찾아낸 것으로 나타났다. 이 방법들은 클로드가 연구 루프에서 한 번도 보지 못한 검증용 벤치마크와, 적대적 다중 턴 시나리오를 시뮬레이션하는 오픈소스 도구 페트리(Petri)에서도 효과를 유지했다. 나아가 클로드가 최적화 대상으로 삼았던 모델보다 최대 4.7배 큰 모델에서도 방법이 그대로 작동했다.

앤트로픽은 최대 8시간이 주어진 인간 안전연구자 28명과 클로드를 비교했다고 밝혔다. 클로드는 이들보다 높은 점수를 냈고, 기만 항목에서는 클로드의 최선 방법이 인간의 최선 제안보다 20% 더 나은 성능을 보였다. 다만 앤트로픽은 인간 참가자들이 제출한 방법을 반복 개선할 기회가 없었다는 점을 지적하며, 이를 직접적인 우열 비교라기보다는 클로드가 유망한 정렬 방법을 먼저 찾아내고 인간이 이를 다듬어가는 협업 워크플로의 근거로 봐야 한다고 설명했다.

테크크런치가 인용한 논문 원문은 더 단정적이다. “최선의 자동화 정렬 연구자(AAR)는 평균 6시간 안에 경험 많은 인간이 제안한 방법을 뛰어넘는다”며 “인간이 제시한 연구 방향은 더 강한 성능으로 이어지지 않는다”고 적었다. 비용 차이도 논문에 명시됐다. 자동화 연구자는 API 추론 비용으로 시간당 약 4달러가 드는 반면, 앤트로픽이 인간 연구자에게 지급하는 비용은 시간당 150달러에 달한다.

약한 모델이 더 강한 모델을 정렬시키다

앤트로픽은 한발 더 나가 “클로드가 인간보다 정렬 연구를 잘하게 되면, 더 강력한 후속 모델의 정렬까지 클로드에게 직접 맡길 수 있을지”를 시험했다. 이를 위해 능력 지표인 에포크 역량 지수(Epoch Capabilities Index)에서 클로드 오푸스 4.8보다 약한 것으로 평가되는 클로드 소넷 5에게, 아직 대부분의 프로덕션 정렬 훈련을 거치지 않은 초기 오푸스 4.8 체크포인트의 정렬 실패를 고치는 임무를 맡겼다.

60시간 동안 클로드 소넷 5는 50개 넘는 해법을 실험했고, 그 결과 프로덕션 모델과 거의 맞먹는 정렬 점수를 달성했다. 최종 채택된 해법은 단순한 템플릿이나 공개 데이터셋으로 만든 훈련 예시 2000여 개로 구성됐다. 앤트로픽은 이 방식이 실제 프로덕션 정렬 절차보다 약 1만5000배 더 효율적이라고 밝혔다.

방법론을 보면 연구 에이전트들은 대체로 기존 문헌에서 선호되는 기법으로 수렴한 뒤 이를 여러 차례 반복하며 개선했다. 아첨 문제의 경우 제안된 방법의 98%가 “모델이 자신의 비아첨적 답변으로 스스로를 훈련시키는” 이미 발표된 기법 하나에 몰렸다. 다만 클로드는 프롬프트 기반의 통상적 접근 대신 활성화 스티어링(activation steering, 생성 과정에서 모델 내부 표현을 조정하는 기법)을 활용해 아첨 패턴에서 모델을 더 정교하게 떼어내고 깨끗한 훈련 예시를 만들어냈다.

테크크런치는 이 결과를 재귀적 자기개선(recursive self-improvement)으로 가는 한 단계로 짚었다. 모델이 스스로 정렬 훈련을 개선할 수 있다면 훈련 방식 전반을 개선하는 데까지 나아갈 수 있고, 그 경우 인간 AI 연구자가 머지않아 쓸모없어질 수 있다고 테크크런치는 전했다.

클로드도 부정행위를 한다…감시와 한계

앤트로픽은 클로드가 원격 API에서 테스트 정답을 빼내 결과를 취사선택하는 방식으로 부정행위를 저지를 수 있다는 사실을 최근 파악했다고 밝혔다. 이를 잡아내기 위해 클로드 오푸스 4.8에게 10개 정렬 실패 전반에 걸친 연구 에이전트 대화 기록 약 1600건을 감시하도록 시켰고, 그 결과 39건(2.4%)에서 부정행위 시도가 발견됐다. 앤트로픽은 오푸스 4.8의 부정행위 시도가 여전히 모델의 추론 과정에 드러나는 경향이 있어 감시 체계가 대부분의 부정행위를 잡아냈을 것으로 조심스럽게 낙관하고 있다고 밝혔다. 다만 이런 감시 가능성(monitorability)이 향후 더 강력한 모델에서도 유지될지는 미지수라며, 이를 지키는 일이 앞으로 매우 중요하다고 강조했다.

앤트로픽은 이번 실험의 한계도 함께 짚었다. 연구에서 다룬 정렬 실패는 정치적 편향처럼 프로덕션 단계에서 실제로 문제가 되는 항목보다 범위가 좁았고, 최근에야 나타났거나 매우 드물게 발생해 아직 벤치마크조차 없는 실패 유형도 있다고 설명했다. 또 사전에 정해둔 일부 능력만 저하되지 않았는지 확인했을 뿐이어서, 채택된 방법이 측정하지 않은 다른 능력을 해쳤을 가능성도 배제할 수 없다고 밝혔다. 페트리 같은 평가 도구 역시 실제 세계의 정렬 실패를 가늠하는 대리 지표일 뿐이며, 정렬 성과가 다른 과제에 대한 대규모 강화학습 이후에도 유지되는지는 이번 실험에서 검증하지 않았다고 덧붙였다. 테크크런치도 자동화 시스템의 성과가 벤치마크가 실제 정렬 목표를 얼마나 잘 반영하느냐에 좌우된다는 점, 그 벤치마크와 문헌 기반을 유지·확장하는 데 여전히 많은 작업이 필요하다는 점을 한계로 짚었다.