오늘부터 전 세계 최초로 한국에서 전면 적용... 안 지키면 과태료 부과

22일 오전 0시. 전국의 AI 개발자들이 일제히 시계를 쳐다봤다. 세계에서 두 번째로 포괄적인 AI 규제법이 시행되는 순간이었다. 네이버 하이퍼클로바X, 카카오 카나나 같은 국내 대표 생성형 AI부터 금융권 신용평가 시스템까지 수많은 AI 서비스가 새로운 규칙을 따라야 하는 시대가 열렸다.

인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI기본법)이 이날부터 전면 시행에 들어갔다. AI 관련 부분 규제가 아닌 포괄적 법령으로는 세계 최초 시행이다. 유럽연합(EU)이 2024년 AI법을 통과시켰지만 고위험 AI 규제 적용 시점을 단계적으로 늦춘 상황을 고려하면, 실제로 전면 적용하는 국가는 한국이 가장 이른 사례가 될 가능성이 크다.

정부는 딥페이크, 허위 사실 유포, 인권 침해 등 고도화된 AI의 폐해로부터 사회를 지킬 규범이 필요하다며 업계 우려를 고려해 정부의 사실 조사권이나 과태료 부과를 1년 이상 유예하는 등 '연착륙'을 시도하겠다는 입장이다.

AI기본법은 AI의 건전한 활용을 위해 국가가 AI 업계를 지원하는 한편 폐해가 예상되는 위험한 AI의 활용은 예방하는 데 방점을 뒀다. 진흥책으로 과학기술정보통신부 장관이 3년마다 AI와 관련 산업의 진흥, 국가 경쟁력 강화를 위해 AI기본계획을 세워 시행하도록 했다. 국가인공지능전략위원회는 법정 위원회로 승격됐다.

국가와 지방자치단체가 AI 사업자의 창의 정신을 존중하며 관련 제품·서비스의 연구개발을 지원하도록 했다. 규제책으로 정부는 AI가 국민 생활에 미치는 잠재적 위험을 최소화하고 안전한 이용을 위한 제도를 정비하도록 했다. AI 안전성·신뢰성 확보를 위한 기술 개발, 교육, 홍보를 지원해야 한다.

AI기본법은 AI 기술·산업 등과 관련해 다른 법률에 특별한 규정이 있는 경우를 제외하고는 이 법에서 정하는 바에 따른다며 AI에 관한 포괄적이고 상위적인 지위를 가짐을 명시하고 있다. AI 등 디지털 서비스에 적용할 수 있는 대표적 기존 법규인 전기통신사업법과 정보통신망법이 AI 발전을 따라가지 못하며 규제 공백이 있다는 문제의식이 AI기본법을 낳았다.

AI 업계가 AI기본법 중 영향이 가장 크다고 꼽는 조항은 고영향 AI, AI 사용 표시(워터마크), 설명 가능 의무 등으로 압축된다.

고영향 AI는 의료, 에너지, 채용, 대출 심사 등 국민의 생명이나 권리에 큰 영향을 주는 분야의 AI를 말한다. 시행령에 따르면 고영향 AI로 판단되기 위해서는 AI가 법에서 정하는 10개 영역(에너지, 먹는물, 의료, 원자력, 범죄수사, 채용, 대출심사, 교통, 공공서비스, 교육)에서 활용됐는지 여부를 비롯해 위험의 중대성 등을 고려한다. 다만 최종 의사결정 과정에 사람이 개입하는 경우 고영향 AI 대상에서 제외된다.

현재로서는 완전 자율주행 단계인 레벨 4 이상 차량 정도만 이에 해당한다는 것이 정부 설명이다. 그러나 업계는 눈부신 속도로 발전하는 AI 기술 고도화에 따라 의료, 에너지, 채용 등 분야에서 고영향 AI 규제를 받는 서비스의 출현이 그다지 먼 미래의 일이라고 보기 어렵다는 입장이다.

고영향 AI 사업자는 사람이 관리하는 체계를 만들고 안전성 확보 조치에 나서야 한다. 구체적으로 위험관리방안을 수립·운영해야 하는데, 이는 위험관리정책 및 위험관리 조직체계를 구축하는 것을 포함한다. 위험관리방안을 문서로 작성해 관리하고, AI 시스템의 수명주기 모든 과정에서 이를 준수해야 하며, 정기적으로 점검·갱신하고 변경 내역을 관리해야 한다.

고영향 AI 사업자는 AI 및 학습용 데이터 등에 대한 설명 방안을 수립·시행해야 한다. AI의 투명성 및 설명가능성을 확보하고, 학습용 데이터의 설명 방안은 '학습용 데이터에 관한 정보의 체계적 관리에 관한 내용'을 포함하도록 하고 있다. 홈페이지 게시 등으로 구체적인 설명 방안을 정해야 한다.

이용자보호방안도 마련해야 한다. 고영향 AI가 국민의 생명이나 권리에 미치는 영향이 크기 때문에 이용자 피해를 최소화하기 위한 방안을 사전에 준비하도록 한 것이다. 안전성·신뢰성 확보 조치 내용을 확인할 수 있는 문서를 작성·보관해야 한다. 이를 안전신뢰문서로 정의하면서 AI 사업자는 이를 문서로 작성해 관리하고, 주기적으로 점검하며 최신의 기술, 방법론 등이 적용될 수 있도록 규정했다.

AI기본법은 고영향 AI 서비스 사업자가 서비스 제공 전 기본권에 미치는 영향을 자율적으로 평가하도록 권고했다. 평가에는 영향을 받는 기본권 및 영향 완화 방안이 포함돼야 한다. 영향평가는 법적 의무 사항은 아니지만, 금융·의료·고위험군 산업에 대해 사실상 필수적 절차로 자리잡을 가능성이 있다. 국가기관이 고영향 AI 제품·서비스를 구매할 때 영향 평가를 완료한 제품을 우선 고려하도록 규정돼 있기 때문이다.

AI기본법에 따라 고영향 AI나 생성형 AI를 이용한 제품·서비스를 제공하려면 AI에 기반해 운용된다는 사실을 이용자에게 사전에 알려야 하고 생성형 AI 결과물은 표시해야 한다. AI 사용 표시, 즉 워터마크 의무다.

특히 콘텐츠 업계가 우려하는 조항인데 AI를 부분적으로 활용했어도 'AI에 의한 창작물'이라고 표시되면 콘텐츠의 가치가 평가절하될 수 있다는 이유에서다. 당초 시행령에는 AI를 활용한 영상 콘텐츠 등에서의 생성물 표시를 기계만 알아볼 수 있는 메타데이터로 넣는 것도 허용했지만 생성형 AI 기술이 활용됐음을 1회 이상 안내 문구, 음성 등으로 알리도록 강화하는 방향으로 시행령이 수정됐다. 비가식적 표시로는 딥페이크물 등을 구별할 수 없다는 우려가 나와서다.

과기정통부는 "AI 생성물에 대한 워터마크 적용은 딥페이크 오용 등 기술의 부작용을 막기 위한 최소한의 안전장치이자 글로벌 주요 기업들이 도입하고 있는 세계적인 추세"라며 최소 1년 이상의 충분한 계도 기간을 운영하겠다고 했다.

영화 제작사가 AI 서비스를 이용하면 AI 서비스 개발이 아닌 이용의 주체일 뿐이어서 표시 의무를 지지 않고 AI 사용 표시를 임의로 삭제할 수 있다는 점도 논란이다. 시행령에서 비가식적 워터마크가 허용됐다가 음성·문자 알림 규정이 추가된 사례에서처럼 규제 실효성이 의문시될 수 있다. 개정 필요성이 대두될 경우 사업자들이 다시 불확실성에 노출된다는 지적이 나온다.

AI기본법은 또 AI에 영향을 받는 이가 AI 최종 결과 도출에 활용된 주요 기준 및 원리 등에 대해 기술적·합리적으로 가능한 범위에서 명확하고 의미 있는 설명을 제공받을 수 있어야 한다고 규정했다. 이른바 설명 가능(Explainability)한 AI여야 한다는 건데 선언적 규정으로도 해석된다. 블랙박스로 묘사될 정도로 복잡한 AI 생성·추론 과정을 명시할 수 있는 기술은 현재 전 세계적으로도 구글 정도만 보유하고 있다는 게 AI 업계 중론이어서다.

안전성 확보 의무도 시행령에 명시됐다. 안전성 의무 확보 대상이 되기 위해서는 학습에 사용된 누적연산량이 10의 26승 부동소수점 연산(FLOPs) 이상, 최첨단 기술 적용, 위험도가 사람의 기본권에 광범위하고 중대한 영향을 미칠 우려가 있는 경우 등을 모두 충족해야 한다.

과기정통부 장관은 AI기본법이 정한 AI 생성 사실 표시, AI 위험 관리 체계 구축, 고영향 AI 사업자 책무 등을 위반했거나 위반했다는 신고·민원이 접수된 경우 해당 사업장에서 장부·서류·자료 등을 조사할 수 있는 사실 조사권을 가진다. AI 사용 여부를 고지하지 않은 경우나 해외 AI 업체가 국내 대리인을 지정하지 않은 경우 과태료 최대 3000만원을 부과할 수 있다.

다만 법 시행이 이제 갓 싹트는 국내 AI 업계의 발전 가능성을 저해할 수 있다는 우려가 쏟아지자 정부는 사실 조사권 발동과 과태료 부과를 1년 이상 유예하겠다고 밝혔다.

그럼에도 규제법이 생겼다는 사실 자체와 아직 산업적으로 여물지 않은 AI를 다루면서 규정 여러 곳에서 빈틈이 존재한다는 점에서 AI 업계는 우려를 감추지 않는다. 법규 대응 여력이 큰 대기업보다 중소·스타트업계의 걱정이 더 크다.

AI기본법이 시행령만 421페이지에 달하는 등 규정이 방대하고 복잡한 것도 문제로 꼽힌다. AI라는 신기술을 새로운 법에 담으려다 보니 당국이 대형 로펌 변호사 등으로 꾸려진 법제정비단과 법을 만들었는데, 중소·스타트업들은 로펌에 법 해석을 자문할 비용적 여력이 충분하지 않다는 호소도 많았다. 이에 과기정통부는 하위법령 제정에 참여한 전문가로 구성된 지원 데스크를 운영하기로 했다.

AI 기술을 적극 도입하고 있는 게임업계에서도 AI기본법 시행이 혼란스럽다는 반응이 나온다. 지난해 11월 발표된 'AI 투명성 확보 가이드라인'에 따르면 게임은 '예술적·창의적 표현물'로 인정돼 전시·향유를 저해하지 않는 방식으로 고지 또는 표시가 가능하다. 그러나 구체적인 표시 방법, 적용 범위에 대해서는 언급이 없어 여전히 불확실성이 크다는 이야기가 나온다.

2024년 확률형 아이템 정보 공개를 의무화한 개정 게임산업법이 시행될 당시에는 문화체육관광부가 구체적인 확률 표시 방법과 기준을 제시해 업계의 혼선을 줄인 바 있다.