AI로 뭐든지 만들어낼 수 있는 세상이다. 음악, 동영상, 사진, 이야기, 지식까지 AI로 만들 수 없는 것을 찾는 것이 빠를지 모른다. 이제 AI는 놀라움을 넘어 익숙함이 되었고, 점점 안전과 법의 문제로 옮겨가고 있다. 2026년부터 ‘AI 생성물 표시제’가 시작된다고 하는데, 올해 어떤 사건 사고가 있었는지 먼저 알아보자.

[정신건강]

지난 8월, 미국 캘리포니아에서는 ChatGPT와 매일 대화하다 16세 청소년이 자살하는 사건이 발생했다. ChatGPT가 사용자를 심리적으로 조종할 수 있는 위험이 있고, 구체적인 자살 방법을 안내받은 청소년들이 실제로 목숨을 잃는 사례까지 나와 7건의 집단 소송으로 이어졌다. 이에 OpenAI는 미성년자 보호 모드를 9월부터 도입했다. 미성년자라면 부모와 자녀 계정을 연결할 수 있다. 노골적인 콘텐츠, 바이럴 챌린지, 성적이거나 폭력적인 내용, 아름다움에 대한 과도한 이상화를 줄였다고 한다. 아이가 자해할 수도 있다는 잠재적인 신호를 알아채고 부모에게 알림을 보내는 기능도 추가됐다. 하지만 성인이어도 심신이 약해진 상태에서는 AI의 위험한 조언에 영향을 받을 수 있다는 지적도 있다.

8월엔 OpenAI에서 새로운 안전 훈련 전략을 도입했다. 예전엔 위험하다고 판단되는 소재라면 단순히 “죄송하지만, 이 요청에는 답할 수 없습니다”라고 거절하는 방식이었다면, 이제는 ‘유용하면서도 안전한’ 방향으로 대응한다는 의미다.

자해 방법이나, 폭발물 제작 방법 같은 위험한 질문에 대해 요청 내용의 위험 요소를 분석해서, 가능한 유익하고 안전한 방향으로 답변을 유도한다. 위 내용은 폭발물 제작 방법에 대해 물어봤을 때 GPT의 답변이다.

[딥페이크]

AI로 딥페이크 콘텐츠를 만드는 것이 매우 쉬워졌다. 전 세계적으로 딥페이크로 가장 많이 사칭 된 인물은 테일러 스위프트라고 한다. 트럼프 대선 시기에는 테일러 스위프트가 트럼프를 지지하는 듯한 이미지를 트럼프가 본인 SNS에 게재했으니, 얼마나 AI로 인해 도덕적 기준이 흔들렸는지 생생히 알 수 있다.

프랑스에선 최근 파리에 쿠데타가 발생했다는 딥페이크 영상이 각종 SNS를 통해 퍼졌는데, 무장한 군인이 지나가고, 기자는 마크롱 대통령이 실각했을 가능성이 있다고 말한다. 영상은 1,300만 명이 시청했다고. SNS에 확산되는 속도가 워낙 빠르다 보니 이제 딥페이크 영상은 사회적 문제로 퍼지기 쉬워졌다.

딥페이크는 연예인을 넘어 일반인 대상으로도 심각한 피해를 주고 있다. 이번 달에는 학원 선배, 강사, 고등학교 교사를 대상으로 얼굴을 나체사진에 합성하고, 자극적인 문구를 결합해 SNS에 게시한 학생이 징역 3년을 선고받았다. 성폭력범죄의 처벌 등에 관한 특례법상 허위 영상물 편집에 해당한다.

[허위광고]

AI 이미지로 광고한 것이 화제가 된 것은 지난 5월, 이니스프리가 색조 화장품 상품 소개에 AI 이미지를 사용하고도 알리지 않은 사건이다. 색조 화장품이라 미묘한 차이로도 상품 판단에 크게 영향을 미칠 수 있어, 사전 고지가 없는 경우 논란이 불가피하다.

지난 9월부터 식품의약품안전처가 AI 허위 광고에 대한 단속을 강화했다. 예시는 더 심각한 건강보조식품. ‘S대 출신 전문의’라는 자막과 함께 자극적인 설명으로 광고하는 영상이다. 이제 고연령층이 아니어도, AI를 빠삭하게 알고 있어도 가짜인지 구분하기 어려운 수준이다. 대한의사협회에서도 적극적으로 조사하고 있지만 이를 모두 밝혀내기란 쉽지 않다.

[2026년부터 AI 생성물 표시제 실행]

내년 1월부터 정보통신망법이 개정된다. 게시자가 콘텐츠를 올릴 때 AI로 만든 콘텐츠라면 AI라는 것을 반드시 표시해야 한다. 게시자뿐만 아니라 플랫폼도 이를 관리하고 고지할 책임이 생기고, 과징금도 대폭 상향되어 징벌적 손해배상제를 도입하게 된다. 특히 식품, 의약품, 의료기기를 집중적으로 심의한다고. 메타는 작년부터 인스타그램, 페이스북 등에서 AI 광고에 대한 안내를 강화하고 있다. 아마도 대부분의 플랫폼에서 이와 같은 표기를 하게 될 것으로 보인다.

미국에서는 지난 5월, 연방 정부 차원에서 딥페이크를 규제하기 시작했다. 딥페이크 콘텐츠를 당사자 동의 없이 게시하거나, 게시하겠다고 위협하는 모든 행위를 불법으로 규정했다. 당사자 동의 없이 유포하면 최대 3년 징역이다. SNS 플랫폼들은 피해자의 신고 접수 후 48시간 이내에 해당 콘텐츠를 삭제해야 한다는 의무 조항도 담겨있다.

분명 AI는 도구로 출발했지만, AI로 생성한 결과물에 대해 인간이 책임져야 한다. 정신건강과 허위 사실, 허위 광고로 인해 너무 빨리 사회적 문제로 확산되고 있다. 이제 ‘AI는 실수할 수 있다’는 가벼운 안내로는 부족하다. 무서운 속도로 발전하고 있는 기술에 맞춰 윤리적 기준과 행동, 법적인 규제가 강화되어야 한다.