[강펀치] 김명주 "딥페이크, 민주주의 위협…총선 당락 바꿀 수도"

2024.02.23 방영 조회수 0
정보 더보기
▶방송 : 2월 23일 TV CHOSUN 유튜브 (10:20~11:20) ▶진행 : 강상구 부장, 류병수 차장 ▶대담 : 김명주 서울여자대학교 정보보호학과 교수 강상구> 오늘 손님 한 분 모실 건데 손님 들어오시고요. 여러분 먼저 그림 한번 보여드릴게요. 오늘 신문에 많이들 난 그림인데 사진인데 윤석열 대통령의 사진이에요. 근데 사실은 또 윤석열 대통령이 아닌 사진이기도 해요. 이걸 옛날에 쉽게 얘기하면 합성 영상이라고 우리가 흔히 말했던 건데 요즘에는 그렇게 쉽게 얘기를 안 하고 딥페이크라는 말을 쓰죠. 그런데 이거를 무슨 양심 고백 연설하면서 마치 윤석열 대통령이 말하는 것처럼 연출을 했는데 논란이 좀 있습니다. 그래서 오늘은 특별히 김명주 서울여자대학교 정보보호학과 교수님을 모시고 이 딥페이크라는 거 이게 지금 선거 다가오는데 이거 이런 영상을 계속 선거 때 쓰면 이거 사람들 진짜 이거 알 재간이 없어요. 정말 큰 혼선을 야기할 수도 있을 것 같아서 이거 어떻게 해야 될지 오늘 교수님하고 말씀 좀 나눠보도록 하겠습니다. 안녕하십니까? 반갑습니다. 김명주> 네 반갑습니다. 강상구> 제가 옛날에 우리가 하던 말로는 합성 영상이라고 그러는데 합성하고 딥페이크하고는 다른 거 거죠? 무식해서 질문 좀 드려봤습니다. 류병수> 어떻게 다른 겁니까? 김명주> 합성은 사람의 힘을 이용해서 이제 합성하는 사람의 실력에 따라서 합성 결과물이 그럴듯하게 나오기도 하고 망가지기도 하고 그러는 거고요. 이제 딥페이크 같은 경우는 이제 앞에 딥이라는 게 인공지능의 딥러닝 글자인데 인공지능이 알아서 하는 겁니다. 이 사진에 이 사람의 얼굴을 이 사람의 몸에다가 붙여 그러면 이제 그다음부터 얘가 알아서 쫙 붙이는 거죠. 영상도 마찬가지입니다. 영상도 그러다 보니까 사람의 개입이 전혀 없지는 않지만 거의 없고 그리고 나오는 품질이 정말 이제 말씀하신 것처럼 이게 진짜인지 가짜인지 사람의 육안으로는 도저히 판별이 안 되는 수준까지 올라와 있죠. 강상구> 그러면 예컨대 아까 윤석열 대통령의 영상이 있다 그러면 방법이 지금 말씀하신 설명을 듣고 보니까 옛날 같았으면 딴 거에다가 이렇게 사진을 딴 사람 몸에다가 윤 대통령 얼굴을 붙이고 이런 걸 이제 보통 합성이라고 하는 건데 저거 같은 경우는 둘 중에 하나겠죠. 누군가가 저렇게 서서 연설을 하는데 그거를 윤 대통령 형상으로 AI로 입히는 방법이 있을 거고. 또 다른 거는 윤 대통령이 다른 연설 영상에다가 이제 입 모양이나 표정 같은 거를 이 내용으로 바꾸는 방법이 있겠죠. 김명주> 지금 엊그제 나왔던 저거는 기존에 이제 AI 윤석열로 나왔던 것들을 편집한 걸로 알고 있어요. 짜깁기. 그러니까 짜집기 한 거기 때문에 원래 AI 윤석열 AI 이재명이라고 나왔던 이제 그 대상은 뭐냐면 이제 두 영상 다 원래 당사자는 찍지 않았죠. 당사자는 찍지 않고 선거운동본부에서 이렇게 스크립트를 써줍니다. 그러면 스크립트를 써주면 그 스크립트대로 음성이 윤석열 대통령 그 당시 후보자죠. 목소리가 나오고 그에 따라서 표정이 윤석열 후보자의 얼굴들이나 이런 것들을 다 학습한 다음에 거기에 맞게끔 제스처부터 얼굴 표정 입 모양까지를 다 생성해 주는 겁니다. 하나씩 하나씩 그러니까 이제 어떻게 보면 실제 있는 인물을 학습을 해서 실제 인물이 하지 않았던 말들을 계속 만들어내는 게 이제 지난번 AI 윤석열 케이스고요. 요즘은 이제 그런 실제 인물이 없이 가상의 인물로도 만들어내기도 하고 그렇게 합니다. 강상구> 그러니까 아주 고도화된 성대모사 성대모사의 최고도화 버전 정도라고 말할 수가 있겠네. 류병수> 근데 가장 궁금한 거는 어떻게 이거를 가려낼 수 있습니까? 김명주> 못 가려냅니다. 이게 문제죠. 너무나 비슷해서 가려낼 수 없는 게 문제고요. 이제 기술적으로는 예를 들면 딥페이크에서 얼굴을 바꾸게 되면 이렇게 요즘은 이제 화상이 되게 이제 해상도가 높잖아요. 그러니까 가만히 이렇게 들여다보면 이렇게 피부의 혈액의 흐름들 이런 것들을 볼 수가 있어요. 그래서 이제 보통 그래서 혈류 흐름을 가지고 판단하는 경우도 있고요. 그다음에 목소리도 보면 이 합성된 아까 합성이라는 표현을 하셨는데 사실은 합성이죠. AI가 만든 가짜 목소리하고 실제 사람의 목소리하고 주파수 비교를 해보면 사람 귀에는 똑같은데 이게 약간 미세한 차이가 있습니다. 그래서 이제 그런 혈액의 흐름이라든지 목소리 흐름을 가지고 찾아내는 기술이 있지만 요즘은 또 기술이 발달해서 그것도 피해 갑니다. 강상구> 그리고 솔직히 영상 보면서 누가 그거를 이게 얼굴에 지금 피가 흐르나 안 흐르나 그걸 누가 봐요? 김명주> 그렇죠. 그 프로그램이 있는데 이번에 이제 총선이 되면서 딥페이크 못하게 했잖아요. 그래서 선거운동본부에서 이제 그걸 조사하고 발견하는 팀을 구성했는데 이제 3단계로 하는데 2단계가 그런 프로그램을 이용하는 건데 말씀드렸던 혈액 흐름이라든지 목소리 이용하는 거는 비싸서 못 쓰고 있습니다. 그래서 이제 일반적인 것만 하는 거죠. 예를 들면 합성하게 되면 얼굴을 합성하게 되면 얼굴과 목의 경계선이 좀 이상하거나 이런데 이상한 것들은 육안으로도 이렇게 보면 볼 수 있고요. 저도 사실 몇 년 전에 그런 프로그램을 짜서 학생들하고 이 연구한 적이 있었는데 그 정도 수준은 사실은 이제 보편적인 건데 그 정도밖에 이용을 못 하는 게 강상구> 눈으로 봐서 알 수 있는 정도만 적발이 가능하다. 김명주> 제가 알고 있기로는 예산이 없다고 하는 것 같습니다. 강상구> 지금 얼마 전에 선관위에서 129건 적발했다는 김명주> 그 정도 수준입니다. 류병수> 그러니까 저도 교수님 보면 제가 딥페이크 이거 내용을 나오니까 저도 한번 봤는데 제 눈으로도 보이는 게 있더라고요. 어설픈 게 있어요. 근데 아까 나왔던 윤 대통령 거는 잘 모르겠더라고요. 진짜 저거는 김명주> 이제 이게 사용하는 소프트웨어에 따라서 그렇기도 하고 요즘은 이제 본인이 직접 제작도 하지만 외주를 줍니다. 돈을 줘서 돈을 많이 주면 진짜 같이해주고요. 류병수> 저거는 진짜 진짜 같이 저는 정말 진짜 같이 생각했어요. 저거는 그 교수님 보기에는 좀 이상하신가요? 김명주> 아니요. 제가 봐도 똑같습니다. 강상구> 저거를 저거는 다행히 게시물 자체에 이렇게 이게 페이크라는 거를 제목에 달아놨더라고요. 저거는 그나마 다행인데 저걸 진짜로 그냥 말 그대로 악의를 가지고 상대를 비방하려는 목적으로 저런 영상을 만들었다. 김명주> AI를 썼다는 사실을 빼버리는 거죠. 강상구> 그러니까 그거를 근데 적발해 낼 방법이 없는 거잖아요. 김명주> 정황상 그 영상 때문에 피해 보는 사람들이나 뭐 이렇게 감정적으로 소용돌이가 되는 사람들이 이제 이의 제기를 하는 거죠. 저거 문제가 있다. 그러면 이제 저 영상을 이제 어디에서 만들었고 누가 배포하는지를 이제 추적을 하는 겁니다. 추적해서 영상의 내용과 그 배포자의 관계를 가지고 야 이게 가짜일 확률이 크구나. 이제 그렇게 이제 심증을 가지고 접근하고요. 그러고 나서 이제 기술적인 확증을 해야 되기 때문에 아까처럼 소프트웨어를 사용해서 이러이러한 것 때문에 가짜다 당연히 중요한 건 뭐냐면 그 영상에 출연한 사람한테 물어보면 되는 거죠. 이거 찍었느냐, 안 찍었느냐라고 하는 건데 이제 그 단계까지 가면 이제 싸움이 벌어질 만큼 다 벌어졌다. 류병수> 이게 영상 찌라시 같은 거네요? 영상 찌라시 정교한 영상 찌라시. 김명주> 이게 너무나 만들기 쉽고요. 만드는 데 있어서 기술이 그렇게 필요하지 않습니다. 높은 수준이 아니고 애플 앱스토어 같은 데서 다운로드받아서 그냥 만들 수도 있고요. 그다음에 돈이 있으면 이렇게 요즘 이제 텔레그램을 통해서 말레이시아나 베트남이나 이런 거 알바하는 데가 있어요. 그래서 이제 영상 사진 같은 걸 주면 자기 돈 받고 이렇게 만들어주기도 하고 뭐 그런 부분들이 있기 때문에 너무나 빨리 만들고 쉽게 만드는데 이거를 이제 추적하는 데 너무 힘든 거죠. 기술적으로 추적하는 데 힘들고 특히 선관위는 어떤 문제가 있냐면 저게 문제가 AI 때문에 만든 거라고 막 태클을 걸었는데 보니까 아닐 수도 있잖아요. 그러니까 그거에 대비해서 굉장히 보수적으로 검토를 해요. 이게 진짜인데 가짜라고 오인할 수도 있잖아요. 이제 그런 것 때문에 결국 뭐냐 하면 만드는 거는 양심이 없는 사람들이 마구 무책임하게 만드는데 이쪽에서는 천천히 검토를 해야 되는 거죠. 하나씩 하나씩 그러니까 이제 이번에 선거 같은 경우에 아마 굉장히 큰 문제가 생기지 않을까? 류병수> 그러니까요. 교수님 이거 그렇게 되면 일반적인 피해도 정말 경계해야 되고 다 잡아내야 되고 정말 있어서는 안 될 일이지만 선거가 이제 코앞으로 다가왔는데 아까 말씀하신 대로 얘기를 들어보면 이게 진위 여부를 파악하는 데도 시간이 많이 걸리는 거잖아요? 그런데 선거는 지나가 버려요. 이렇게 되면 이게 지금 법적으로 어떻게 돼 있는지는 모르겠지만 이게 선거법으로 위반으로 선거법 위반인데? 김명주> 전통적으로 선거 사범들은 존재했잖아요. 상대편 후보를 근거 없이 비방했다거나 아니면 금전 살포했다거나 이러면 당선되더라도 수사를 받죠. 류병수> 당선자하고 관계가 없다면? 김명주> 그게 문제예요. 그러니까 왜냐하면 이게 딥페이크가 선거에 동원되면 엄청난 혼란이 생길 거를 여야가 다 알고 있어요. 그래서 합의해서 지난 12월에 공직선거법을 바꿨거든요. 문제는 뭐냐면 이제 열성 지지자들이죠. 이제 당과 상관이 없는 외곽에서 그냥 자기 정치 신념을 가지고 열심히 유튜브 활동도 하시고 정치 활동하시는 분들이 계시거든요. 이분들이 딥페이크를 쓸 줄 아세요. 쓸 줄 아시기 때문에 이제 이거를 만들어서 지금은 또 이게 대통령 선거하고 다르게 거의 한 250개 넘는 지역에서 산발적으로 벌어 이걸 이제 컨트롤하기 굉장히 힘들고 만들어서 이제 퍼뜨리는 거죠. 그러면 이제 문제는 뭐냐 하면 제3자가 이걸 받아보면 보통 이제 그 동영상이 자기 생각하는 거 하고 일종의 확증 편향이죠. 비슷하면 퍼 나릅니다. 그 막 퍼 나릅니다. 그러니까 만드는 사람보다 더 퍼 나르는 속도가 너무 빠른 거예요. 이제 그러면 선거는 말 그대로 하루 이틀 사이에 엄청난 변하는 거고 또 이게 이제 선거운동 마지막 날 특히 저는 전날이나 전전날 이게 많이 벌어질 거라고 보는데 이거를 상대편에서 대응할 수 있는 시간이 없거나 막 소용돌이 부는 순간에 이게 확 퍼지면 이른바 이제 중도층 내지는 강성이 아닌 사람들이 왔다 갔다 할 때 흔들립니다. 그래서 저는 이번에 이제 선관위에서 59명의 예비 조사자의 3명의 전문가를 가지고 한다고 그럴 때 이게 250개 넘는 선거구에 그다음에 열성 지지자들이 얼마나 기술을 잘 알고 있고 기술도 쉬운데 이거 참 문제 되겠다. 그래서 제가 이제 선거 전에 이제 이런 매스컴에서 이런 미디어 업체에서 이런 거 할 때마다 제가 막 적극적으로 나가서 나중에 큰일 당하는 것보다 좀 미리 좀 너무 지나치게 경고하는 거 아니야라는 소리를 들어도 알고 있는 게 좋겠다. 그 생각을 하는 거죠. 류병수> 당락 자가 당선자하고 낙선자가 이렇게 바뀌어버리는 상황이 생기는데 정작 당선된 사람은 선거법에 본인이 직접 지시하거나 주변에서 지시한 게 아니라면 그냥 당선인이 되고 아무 문제가 없는 거 아니에요? 김명주> 그게 지난번 작년에 5월달에 튀르키예의 대통령 선거가 그랬어요. 튀르키예 대통령이 20년간 집권을 해서 이제 정권 교체를 다들 희망하고 있었는데 이게 선거하기 몇 주 전에 동영상이 하나 돌았어요. 어떤 동영상이 있냐면 급격한 테러리스트 지도자가 야당 지도자를 지지하는 동영상이 돌았어요. 그러니까 이제 그걸 보고 국민들이 이거 야당이 되면 저 테러리스트 지도자하고 연관이 되겠다 싶어서 이제 그게 이제 막 갑론을박이 벌어지면서 결국 투표가 끝났는데 이제 끝나고 나서 보니까 이 격차가 5%도 안 되는 거였어요. 그래서 이제 그거 보면서 사실 이게 특히 근소한 박빙에서에서의 딥페이크라는 거는 엄청난 영향을 주겠다라는 생각을 하는 거죠. 류병수> 대선도 그런데 총선 같은 경우는 진짜 박빙이 많아서 200표, 300표로도 당락이 갈리는 경우 지역구가 상당한데 지난번에도 보면 인천 밑줄 같은 경우는 117표짜리도 있었거든요. 그러면 이 딥페이크는 이거 법적으로 지금 제재를 더 해야 되는데 교수님이 생각하시는 지금 이 예방이라든가 제재라든가 이런 방안들은 어떤 게 있나요? 김명주> 원래 AI 윤석열 이야기 나왔을 때는 앞에 AI가 붙었잖아요. 그러니까 사람들이 이거 AI구나 그러니까 윤석열 후보가 찍은 게 아니네라는 걸 알아요. 그걸 이제 보통 전공용어로 디스클로저라고 그래요. 폭로 만든 사람이 나는 AI로 만들었습니다라고 폭로하는 거죠. 그러면 이제 만든 사람이 그렇게 폭로하면 좋은데 의도가 이미 불순한데 폭로를 하겠습니까? 감추죠. 그래서 이제 국가나 이런 데서 요구하는 건 뭐냐면 아까 딥페이크 소프트웨어 자체가 그 소프트웨어가 만든다고 그랬으니까 소프트웨어가 만들 때마다 이거는 AI로 만든 거다라는 표시가 자동으로 달리게끔 했으면 좋겠다. 지금 워터마크 보이는 워터마크도 집어넣어주고 그다음에 이거는 가짜입니다라고 써주기도 하고 끝날 때도 써주고 그렇게 이제 하라는 거고요. 그게 유럽연합에서 이번에 AI 법이 이제 곧 통과가 될 텐데 그렇게 요구하고 있습니다. 그리고 작년 10월 말에 조 바이든 미국 대통령이 AI 행정명령을 발동했는데 그 안에도 똑같은 이야기가 있습니다. AI로 만든 음성 그다음에 영상 이미지는 그거로 AI로 만들었다는 걸 밝혀라. 그리고 워터마크를 심어라. 보이든 보이지 않든 그리고 심지어 이제 워터마크를 미국 상무부에서 만들어서 주겠다. 회사한테 그렇게까지 했는데 이제 문제는 우리나라는 없습니다. 강상구> 없는 것도 문제지만 아니 어차피 이게 지금 만드는 거면 그 워터마크를 법에 그렇게 돼 있다 한들 붙이겠냐고? 김명주> 빼냅니다. 그래서 이제 미국은 2019년부터 딥페이크 법을 만들 때 그거 빼내면 처벌하는 조항까지 넣었어요. 남의 영상에서 그 앞에 삭제하는 거 처벌하겠다. 근데 그 법이 통과하지 않았고요. 계속 논의가 있습니다. 왜냐하면 이게 표현의 자유하고 미국은 특히 강조하다 보니까 표현의 자유에 부딪히는 거예요. 그래서 이제 우리는 딥페이크 그럼 나쁜 이미지지만 최근에 보면은 이렇게 영화라든지 이런 데 드라마 같은 데 딥페이크를 써서 배우의 젊을 때의 모습 같은 거 만들어낸 거잖아요. 강상구> 해리슨 포드가 젊은 해리스 포드를 연기를 하죠. 김명주> 맞습니다. 인디아나 존슨에서 나왔던 것처럼 그러니까 이제 그런 창의적인 면도 있기 때문에 이걸 무조건 나쁘다고 간주할 수 없어서 이제 이제 법적으로 그러는 거고요. 우리나라도 지금 과기정통부에서 작년에 이제 그렇게 아까 말씀드렸던 것처럼 AI를 쓴다. 그다음에 워터마크를 넣어라 하는 것은 추천 사항으로 넣었어요. 법이 안 되다 보니까 추상을 넣고 네이버도 엊그제부터 우리들도 하겠다라고 이제 자율적으로 따라간 건 있습니다. 강상구> 근데 기사 보면 저 자세한 내용은 모르겠는데 아니 선관위는 되게 초보적으로 하고 이거 하려면 사실 네이버나 카카오가 해야 되는데 되게 소극적이다. 이런 비판적인 제목만 봤어요. 그 내용은 무식해서 잘 모르겠는데 그건 무슨 말이에요? 김명주> 어차피 지금 어느 나라든 규제에 대한 이야기는 하지 규제를 이행하지 않고 있거든요. 우리나라도 규제를 내놓기는 했지만 통과가 안 돼 있는 상태고 그러면 이 상태에서 우리나라 같은 경우에는 선거가 진행되는데 단점이 드러날 거 아니에요? 그러면 결국은 AI 툴을 제공하는 회사가 적극적으로 나서서 그런 것들을 빼줘야 되는데 미국은 어떻게 했냐면요. 오픈 AI라든지 이렇게 챗GPT 이런 마이크로소프트사에서 트럼프라든지 조 바이든과 관련된 키워드를 넣어서 영상 만드는 거는 자기들이 금지를 시켰어요. 아예 회사 자체에서 아예. 그런 데에서 정치적으로 딥페이크 영상을 못 만들게끔 요즘에 핫이슈가 되는 정치인들 키워드를 넣어서 만드는 것들을 이제 이제 일차적으로 금지를 시켰죠. 그런데 거기에서 우리나라 지방선거 국회의원들 명단을 갖고 있을 리 없고요. 그리고 지금은 이제 각자 프로그램을 다운로드받아 쓰는 거기 때문에 그래서 이제 하는 이야기가 이렇게 규제가 안 됐을 때는 결국은 기업이 자율 규제를 해야 되는데 자율 규제가 좀 너무 늦은 것 같으냐 이제 그런 비판인 것 같고요. 사실 딥페이크는 네이버나 카카오와 상관없이 앱들을 아까 다운로드 받아서 그냥 개인이 하는 거고 또 외주를 주는 거기 때문에 사실은 그런 큰 기업들의 외곽 지역에서 많이 벌어집니다. 그래서 큰 문제죠. 강상구> 사실 어제 아까 본 윤 대통령 영상도 화제였지만 그만큼은 아니지만 조인성 영상도 좀 화제이기는 했어요. 류병수> 네 맞아요. 조인성 연구상은 약간 좀 조인성이 아닌 것 같다는 느낌은 저는 들었어요. 김명주> 돈을 덜 들였거나 이제 그걸 가지고 노는 사람이 오랫동안 가지고 놀지 않았던 거죠. 그것도 이제 공들여서 하면 잘 나옵니다. 데이터도 강상구> 그러니까 이게 선거도 선거지만은 아니 이 사기 치는 데 쓰인 거잖아요. 김명주> 그렇죠. 네 그래서 뭐 요즘에 이제 무슨 부동산 뭐 이런 데 유명인들 얼굴을 이렇게 도용을 해서 마치 자기가 한 것처럼 하는데 그런 것도 마찬가지로 크게 보면 이제 나중에 피해자가 발생을 하면 사기가 됐든 명예훼손이 됐든 걸립니다. 그리고 중요한 거는 이제 당사자가 걸어야 하지 피해 당사자가 그런데 이제 보통 연예인들은 초상권이나 요즘 이제 퍼블리시티권이라고 하는데 연예인들은 어지간하면 소송을 안 걸어요. 자기 이미지가 있으니까 그래서 이제 이게 문제가 생겨도 가만히 있으니까 일반 사람들이 볼 때는 이게 문제가 생기면 당사자가 뭐라고 했겠지. 근데 조용히 있는 거 보니까 이게 사실인가 봐 하고 이렇게 들어가는 경우가 상당히 많이 있습니다. 그것도 굉장히 좀 사각 지역이죠. 강상구> 그러니까 그것도 사실은 일단 투자 사기였는데 그게 일단 그게 돈을 넣고 나면 그 돈은 금방 없어져버리잖아요. 절대 못 돌려받잖아요. 그거 돌려받는 경우가 거의 없잖아요. 선거도 일단 당선되고 나면은 어지간하면 끝이잖아요. 김명주> 보통 선거 당선도 100만 원 이하의 벌금이면 사실 유지가 되잖아요. 그러니까 그게 이제 학습이 돼서 어지간한 거는 일단 당선되고 보자.4 류병수> 3년, 4년 쭉쭉 끌어도 되고요. 김명주> 그렇죠. 대법원까지 가면 임기 내에 안 끝날 수도 있고 류병수> 저는 아까도 말씀드렸지만 제일 걱정되는 지점이 그거죠. 왜냐하면 진짜 후보자와 관계없는 극성 지지층이 만들어서 선거에 영향을 미치고 당락을 뒤바꿔 놓고 난 다음에 처벌은 만약에 받겠지만 열성 지지자가 딥페이크를 만든 사람이 처벌은 받겠지만 결과는 뒤바뀐 결과는 어떻게 할 수가 없는 김명주> 지금 가장 우려하는 시나리오입니다. 류병수> 그렇게 되면 정당의 분포도 바뀌는 거고 여야가 바뀔 수도 있는 거고 정치에 대한 정책이 바뀔 수도 있는 거여서. 김명주> 그래서 처음에 AI가 나왔을 때 사람들이 AI 위험하다 나중에 AI 때문에 인류가 멸망한다. 막 그런 이야기를 할 때는 사람들이 되게 SF 영화를 보고 이야기했어요. AI가 인간을 공격하는데 그런데 이제 챗GPT 나오고 딥페이크 나오면서 사람들이 야 이게 무슨 SF 영화가 아니라 당장 민주주의가 흔들린다. 그래서 특히 올해 같은 경우는 거의 한 76개국에서 큰 선거들이 있는데 이거 AI가 동원돼서 이렇게 소위 말해서 투표에 있어서 사실을 오도하기 시작하면 이건 민주주의가 흔들려서 제대로 미니가 반영 못 되겠다. 그래서 이제 지금 위험하다는 거는 그냥 인간의 기본 가치와 시스템이 흔들리는 것 때문에 위험하다는 이야기를 합니다. 강상구> 아니 근데 이게 AI 자체가 나쁜 것도 아니고 그리고 그것 때문에 사실 우리가 누리는 편의와 혜택도 많고 그래서 이거를 무조건 억누를 일은 절대로 아닌데 사실 자동차가 없었으면 교통사고도 없었을 테니까요. 김명주> 교통사고 나온 집 안에서 볼 때는 자동차는 없었어야 되는 존재죠. 강상구> 그러니까 이거를 어떻게 하면은 참 안전하고 빠르게 여행을 하면서도 교통사고는 없앨 수 있을까 어떤 방법이 있을까요? 김명주> 사실은 이제 그게 규제인데요. 규제 가운데 이제 행정적 규제도 있지만 법적인 규제가 제일 강하고요. 그런데 이제 얼 워런이라는 미국 연방 법관이 이제 이번 미란다 원칙을 만드셨던 법관인데 그분이 그런 이야기하셨어요. 법하고 윤리를 비교할 때 윤리는 바다고 법은 그 윤리라는 바다 위에 떠다니는 배다. 그런 이야기를 했는데 야 이거 문제 생기면 법으로 다 막으면 되는 거 아니야라고 생각하는데 그것 때문에 기술이 이제 저해되는 경우도 있고 하기 때문에 저는 윤리 운동을 굉장히 많이 중요하게 생각합니다. 그러니까 이게 기술이 발달하면 시민들의 역량이 같이 올라가야 되는 거거든요. 그런데 이제 기술만 쭉 올라가고 일반 이용자인 시민들이 잘 몰라 하면 이게 이제 문제가 생기기 시작하는 거예요. 그래서 제가 이제 자꾸 디지털 사회 특히 AI 사회는 시민들이 지금 스마트폰 안에 100개의 앱이 있으면 30~40개는 다 AI를 씁니다. 이미 다 모니터링 당하고 있고요. 유튜브나 넷플릭스 봐도 내가 좋아하는 광고가 왜 나올까? 다 AI가 다 나를 위해서 타겟팅을 했기 때문에 강상구> 초기 화면에 내가 볼 것들만 쫙 펼쳐져 놓죠. 김명주> 네 그래서 이용자가 좀 똑똑해야 된다는 생각을 해요. 똑똑한 소비자가 똑똑한 서비스를 만들기 때문에 그래서 쓰다가 보면 이제 이거 문제가 있네? 이거 우리 자녀들 때까지 내려가면 진짜 심각하겠다. 그러면 이제 야 이거 법으로 만들어서 제재를 해야겠다라고 해서 국회의원 설득도 하고 행정부에서 설득도 해서 법으로 만들고 이제 그런 시민단체가 나와야 되겠지만 또 더불어서 시민들이 또 공감을 해줘야 되죠. 그래서 이제 아까 얼 워런이 말했던 것처럼 윤리라는 바다가 충분히 물이 많으면 배가 스무드하게 움직이잖아요. 그런 것처럼 지금 딥페이크 이 방송하는 것도 일종의 윤리 운동입니다. 사실은 똑똑한 유권자 그래서 누가 딥페이크 영상을 해놓으면 딥페이크 영상을 써서 나온 후배들에 대해서는 좀 단호하게 대응을 할 수 있는 네 그런 여론도 굉장히 중요한 거고 그래서 야 디페이크 함부로 썼다가 유권자들한테 오히려 된소리 맞는다. 이런 것들이 형성이 돼야지. 야 유권자들 모를 때 빨리빨리 해서 그 사람들을 호도해서 표를 얻어 이게 문제가 되는 거죠. 그래서 저는 이제 앞으로 남아 있는 두 달도 안 된 기간 동안에 우리나라 미디어가 좀 지나칠 만큼 좀 이걸 유권자들한테 좀 많이 홍보하고 해 주는 게 굉장히 중요하다는 생각을 합니다. 강상구> 그러니까 법과 윤리라는 말씀을 들으니까 그 생각이 났어요. 그러니까 다리 진입로 하는데 꼭 이렇게 쫙 나머지 줄 서 있는데 그 맨 앞으로 가서 딱 새치기하는 사람들 있잖아요. 이거 법상 안 되는 거를 줄 선 사람들도 알고 새치기 한 사람도 아는데 새치기 한 사람은 있는 거잖아요. 김명주> 그렇죠. 그게 이제 점선이니까 본인은 합법적으로 들어갔다고 생각을 하거든요. 근데 뒤에 서 있는 사람들은 마음이 상처를 입죠. 강상구> 그러니까요. 그러니까 이게 누구는 할 줄 몰라서 안 하냐 이건 나쁜 짓이니까 안 하는 거다라는 게 딱 박혀 있어야 되는데 이제 작심하고 나쁜 짓을 하려는 사람들이 늘 제게 문제죠. 알겠습니다. 혹시 기왕에 나오신 김에 오늘 진짜 안 그래도 미디어에 기회 있을 때마다 이거 많이 강조하신다고 하는데 이 말씀은 꼭 하고 가고 싶다. 김명주> 보통 이제 저는 윤리 운동을 많이 하는데 윤리에서 굉장히 중요한 게 역지사지입니다. 네 다른 편의 입장이 되는 거지 딥페이크를 통해서 성희롱의 피해를 입은 사람도 있는데 처지를 바꿔놓고 생각해 보면 되는 거라서 함께 살아가는 사회에서 중요한 거는 상대편 입장으로 한번 생각을 해보고 행동하는 게 중요하다. 이게 AI에서도 똑같이 일어납니다. 강상구> 네 알겠습니다. 오늘 무식한 제가 참 공부 많이 했습니다. 근데 진짜 중요한 문제네요. 오늘 말씀 잘 들어 정말 잘 들었습니다. 감사합니다. 교수님 우리 김명주 교수님 이렇게 보내드리도록 하겠습니다. - Copyrights ⓒ 조선일보 & chosun.com, 무단 전재 및 재배포 금지 - * 뉴스제보 : 이메일(tvchosun@chosun.com), 카카오톡(tv조선제보), 전화(1661-0190)

TV조선 20240223 60

  • 2월 23일 '뉴스 퍼레이드' 오프닝 01:09
    2월 23일 '뉴스 퍼레이드' 오프닝
    조회수 1
    본문 링크 이동
  • 한동훈, ‘계양을’ 방문해 원희룡 지원…'비례' 국민의미래 창당 01:37
    한동훈, ‘계양을’ 방문해 원희룡 지원…'비례' 국민의미래 창당
    조회수 1
    본문 링크 이동
  • 민주, 하위 20% '반발' 속 추가 통보…임종석 포함 여부 주목 01:49
    민주, 하위 20% '반발' 속 추가 통보…임종석 포함 여부 주목
    조회수 1
    본문 링크 이동
  • 오늘 개혁신당 최고위…'김종인 공관위원장' 발표 가능성 00:18
    오늘 개혁신당 최고위…'김종인 공관위원장' 발표 가능성
    조회수 3
    본문 링크 이동
  • 한미일 외교장관 브라질서 회동…북한 위협 등 논의 00:27
    한미일 외교장관 브라질서 회동…북한 위협 등 논의
    조회수 0
    본문 링크 이동
  • [이슈분석] 반환점 돈 국민의힘 공천, 평가는? 22:14
    [이슈분석] 반환점 돈 국민의힘 공천, 평가는?
    조회수 0
    본문 링크 이동
  • '복귀 명령'에도 전공의 사직 1만명 육박…중형병원도 과부하 01:55
    '복귀 명령'에도 전공의 사직 1만명 육박…중형병원도 과부하
    조회수 0
    본문 링크 이동
  • [이슈분석] 의료공백으로 피해본 환자, 구제 방안은? 06:48
    [이슈분석] 의료공백으로 피해본 환자, 구제 방안은?
    조회수 0
    본문 링크 이동
  • [이슈분석] 드디어 베일벗은 미스트롯 'TOP10'은? 08:52
    [이슈분석] 드디어 베일벗은 미스트롯 'TOP10'은?
    조회수 1
    본문 링크 이동
  • 美 민간 탐사선 잠시뒤 달 착륙 시도…52년 만에 새 역사 쓸까 02:07
    美 민간 탐사선 잠시뒤 달 착륙 시도…52년 만에 새 역사 쓸까
    조회수 3
    본문 링크 이동
  • 베네수엘라 불법 금광 붕괴, 최소 15명 사망…안전장치 없이 채굴하다 참변 01:48
    베네수엘라 불법 금광 붕괴, 최소 15명 사망…안전장치 없이 채굴하다 참변
    조회수 0
    본문 링크 이동
  • [아침에 한 장] 우크라 전쟁, 벌써 2년 01:55
    [아침에 한 장] 우크라 전쟁, 벌써 2년
    조회수 0
    본문 링크 이동
  • [날씨] 전국 흐리고 아침까지 눈·비…빙판길 주의 01:01
    [날씨] 전국 흐리고 아침까지 눈·비…빙판길 주의
    조회수 5
    본문 링크 이동
  • 2월 23일 '뉴스 퍼레이드' 클로징 00:13
    2월 23일 '뉴스 퍼레이드' 클로징
    조회수 0
    본문 링크 이동
  • 전공의 병원 이탈 더 늘어…보건의료 위기경보 최고단계 상향 01:46
    전공의 병원 이탈 더 늘어…보건의료 위기경보 최고단계 상향
    조회수 0
    본문 링크 이동
  • 與, 마포을에 '운동권 출신' 함운경…정청래 겨냥 '자객공천' 03:13
    與, 마포을에 '운동권 출신' 함운경…정청래 겨냥 '자객공천'
    조회수 1
    본문 링크 이동
  • [신통방통] 이준석, 서울 '노원병' 출마 시사 05:05
    [신통방통] 이준석, 서울 '노원병' 출마 시사
    조회수 1
    본문 링크 이동
  • [신통방통] 원희룡 택한 이천수 08:34
    [신통방통] 원희룡 택한 이천수 "약속 지키는 남자"
    조회수 0
    본문 링크 이동
  • 이준석 04:14
    이준석 "대구 등 6곳 중 여론조사 통해 출마지역 결정"
    조회수 0
    본문 링크 이동
  • [티조 Clip] 함운경 vs 정청래… 03:13
    [티조 Clip] 함운경 vs 정청래…"진짜 민주화 가리자"
    조회수 0
    본문 링크 이동
  • [티조 Clip] 한덕수 01:46
    [티조 Clip] 한덕수 "보건의료 '심각' 발령"
    조회수 0
    본문 링크 이동
  • 이준석 01:30
    이준석 "위성정당 창당행사를 여당 당사에서 여는 건 개그 수준"
    조회수 0
    본문 링크 이동
  • [강펀치] 이준석 41:21
    [강펀치] 이준석 "결별 아닌 대선 바라보는 이낙연의 이탈"
    조회수 0
    본문 링크 이동
  • [강펀치] 김명주 23:52
    [강펀치] 김명주 "딥페이크, 민주주의 위협…총선 당락 바꿀 수도"
    조회수 0
    본문 링크 이동
  • [핫라인] 與, 민주당 탈당한 김영주 입당 물밑 추진? 01:55
    [핫라인] 與, 민주당 탈당한 김영주 입당 물밑 추진?
    조회수 5
    본문 링크 이동
  • [티조 Clip] 07:35
    [티조 Clip] "이재명 막지 못하면 나라가 망할 것"
    조회수 1
    본문 링크 이동
  • [영상] 01:36
    [영상] "北순항미사일 요격"…한미 양국 F-35A 스텔스기 연합훈련
    조회수 0
    본문 링크 이동
  • [뉴스특강] 05:00
    [뉴스특강] "반도체는 21세기의 석유"…AI 시대 겨냥한 '칩의 전쟁'
    조회수 0
    본문 링크 이동
  • [사건파일24] 20m 옹벽 붕괴…토사와 콘크리트 블록 쏟아져 04:05
    [사건파일24] 20m 옹벽 붕괴…토사와 콘크리트 블록 쏟아져
    조회수 0
    본문 링크 이동
  • [사건파일24] 정부, 보건의료재난 최고 단계 '심각' 격상 13:37
    [사건파일24] 정부, 보건의료재난 최고 단계 '심각' 격상
    조회수 0
    본문 링크 이동
  • [티조 Clip] 친명 여론조사 개입 의혹… 24:21
    [티조 Clip] 친명 여론조사 개입 의혹…"이재명 버릇 못 버려"
    조회수 0
    본문 링크 이동
  • 2월 23일 '뉴스 9' 예고 01:05
    2월 23일 '뉴스 9' 예고
    조회수 0
    본문 링크 이동
  • 서울의대 교수들, '주말 후 집단행동' 예고…정부 02:50
    서울의대 교수들, '주말 후 집단행동' 예고…정부 "특권의식 유감"
    조회수 1
    본문 링크 이동
  • 보건의료위기, 사상 첫 '최고 단계'… 01:39
    보건의료위기, 사상 첫 '최고 단계'…"큰 병원 가래서 왔는데" 환자들 발동동
    조회수 0
    본문 링크 이동
  • 2월 23일 '뉴스 9' 헤드라인 01:25
    2월 23일 '뉴스 9' 헤드라인
    조회수 0
    본문 링크 이동
  • 01:43
    "의사 대신 '관 삽입 시술' 해라"…불법 진료 '뒷감당' 내몰린 간호사들
    조회수 0
    본문 링크 이동
  • 01:56
    "의사는 환자 지키고 정부는 정책 연착륙시켜야"…커지는 중재 목소리
    조회수 2
    본문 링크 이동
  • [따져보니] 의사 고연봉 논란…필수의료 외면받는 이유는 03:03
    [따져보니] 의사 고연봉 논란…필수의료 외면받는 이유는
    조회수 0
    본문 링크 이동
  • 與 윤두현·최춘식 불출마…'친윤' 이철규, 상대후보 경선 포기 '단수공천' 01:42
    與 윤두현·최춘식 불출마…'친윤' 이철규, 상대후보 경선 포기 '단수공천'
    조회수 0
    본문 링크 이동
  • 한동훈, 광진·구로 이어 인천 계양을 원희룡 지원 사격…이재명, 내주 인천서 최고위 01:56
    한동훈, 광진·구로 이어 인천 계양을 원희룡 지원 사격…이재명, 내주 인천서 최고위
    조회수 0
    본문 링크 이동
  • 野 '하위 20%' 비명계 무더기 경선行…'비명 인재근' 지역에 친명 전략공천 02:00
    野 '하위 20%' 비명계 무더기 경선行…'비명 인재근' 지역에 친명 전략공천
    조회수 4
    본문 링크 이동
  • 이재명, 노웅래에 02:05
    이재명, 노웅래에 "안타깝지만 상황 안 바뀌어"…친명 "이재명 체포안 찬성, 하위평가 반영"
    조회수 2
    본문 링크 이동
  • 홍익표, 이재명에 01:54
    홍익표, 이재명에 "논란 여론조사업체 제외" 요구…비명계 설훈 "하위 20%" 7번째 셀프공개
    조회수 5
    본문 링크 이동
  • [총선설명서 서반장 vs 김반장] 한동훈 공천 '3대 뇌관' 03:29
    [총선설명서 서반장 vs 김반장] 한동훈 공천 '3대 뇌관'
    조회수 0
    본문 링크 이동
  • [총선설명서 서반장 vs 김반장] 이재명의 민주당 03:04
    [총선설명서 서반장 vs 김반장] 이재명의 민주당
    조회수 0
    본문 링크 이동
  • 01:31
    "자료 삭제" 전공의 지침 강제수사 착수…경찰, 온라인 업체 압수수색
    조회수 2
    본문 링크 이동
  • 훔친 택배 차 몰다 사고·피해차량 타고 도주…10㎞ 추적 끝 검거 01:29
    훔친 택배 차 몰다 사고·피해차량 타고 도주…10㎞ 추적 끝 검거
    조회수 7
    본문 링크 이동
  • '美 인도' 결정에 권도형 01:33
    '美 인도' 결정에 권도형 "한국 가겠다" 항소…100년형보다 40년형 선택
    조회수 8
    본문 링크 이동
  • 울진 '40㎝ 눈폭탄' 6개 마을 정전·고립…헬기 투입 구조 작업 01:46
    울진 '40㎝ 눈폭탄' 6개 마을 정전·고립…헬기 투입 구조 작업
    조회수 7
    본문 링크 이동
  • 오징어가 수산물시장에서 사라졌다…무슨 일이? 01:41
    오징어가 수산물시장에서 사라졌다…무슨 일이?
    조회수 14
    본문 링크 이동
  • [단독] 늘어나는 중국산 짝퉁, 불량제품 피해…한미 정부 공동 대응 나선다 01:45
    [단독] 늘어나는 중국산 짝퉁, 불량제품 피해…한미 정부 공동 대응 나선다
    조회수 16
    본문 링크 이동
  • 02:05
    "AI 이제 시작" 엔비디아發 훈풍에 미일 증시 '환호'
    조회수 1
    본문 링크 이동
  • '이준석 멘토' 김종인, 개혁신당 공천 맡는다…다섯번째 선거 지휘 01:49
    '이준석 멘토' 김종인, 개혁신당 공천 맡는다…다섯번째 선거 지휘
    조회수 4
    본문 링크 이동
  • '가짜 尹영상' 보니 '후보연설' 짜깁기…대통령실 01:58
    '가짜 尹영상' 보니 '후보연설' 짜깁기…대통령실 "명백한 허위조작, 강력 대응"
    조회수 0
    본문 링크 이동
  • 83살의 법학 박사 '만학도'…알고보니 이중근 부영그룹 회장 01:39
    83살의 법학 박사 '만학도'…알고보니 이중근 부영그룹 회장
    조회수 6
    본문 링크 이동
  • 美 민간 탐사선 달 착륙 성공…민간 주도 '우주개발 새장' 01:41
    美 민간 탐사선 달 착륙 성공…민간 주도 '우주개발 새장'
    조회수 2
    본문 링크 이동
  • 中 쑤저우서 '빙판 출근길'에 차량 100대 이상 연쇄 추돌 01:34
    中 쑤저우서 '빙판 출근길'에 차량 100대 이상 연쇄 추돌
    조회수 6
    본문 링크 이동
  • [앵커칼럼 오늘] 공부는 참 신기해 02:44
    [앵커칼럼 오늘] 공부는 참 신기해
    조회수 5
    본문 링크 이동
  • [날씨] 정월대보름, 대체로 흐려…밤부터 충청이남 눈·비 01:06
    [날씨] 정월대보름, 대체로 흐려…밤부터 충청이남 눈·비
    조회수 1
    본문 링크 이동
  • 2월 23일 '뉴스 9' 클로징 00:09
    2월 23일 '뉴스 9' 클로징
    조회수 2
    본문 링크 이동
  • 1 04:28
    "당대표 연임해주세요" 요청에 이재명 대표의 대답은?
    조회수 12
    본문 링크 이동
  • 2 01:52
    "'채 해병 특검' 거부권 반복 안돼"…총공세 나선 야권
    조회수 0
    본문 링크 이동
  • 3 북한, 미국의 '폭발없는 핵실험' 비난… 00:38
    북한, 미국의 '폭발없는 핵실험' 비난…"안보 불안정"
    조회수 0
    본문 링크 이동
  • 4 김정은, 후계자 시절 스승 현철해 2주기 묘소 참배 00:38
    김정은, 후계자 시절 스승 현철해 2주기 묘소 참배
    조회수 0
    본문 링크 이동
  • 5 육군총장, 미·일·호 지상군 수뇌부와 북한 억제 논의 00:32
    육군총장, 미·일·호 지상군 수뇌부와 북한 억제 논의
    조회수 0
    본문 링크 이동
  • 6 리얼미터 00:38
    리얼미터 "윤 대통령 지지율 31.4%…6주 연속 30% 초반대"
    조회수 0
    본문 링크 이동
  • 7 해병대원 특검법 거부권 전망 속 야, 용산으로…여 03:01
    해병대원 특검법 거부권 전망 속 야, 용산으로…여 "불공정 특검"
    조회수 0
    본문 링크 이동
  • 8 [영상] 북한 김정은 딸 주애 '파격 의상'…무엇을 노리는 전략일까 03:16
    [영상] 북한 김정은 딸 주애 '파격 의상'…무엇을 노리는 전략일까
    조회수 0
    본문 링크 이동
  • 9 尹, 내일 '채 상병 특검법' 거부권 전망...野 07:38
    尹, 내일 '채 상병 특검법' 거부권 전망...野 "수용 촉구" 압박
    조회수 0
    본문 링크 이동
  • 10 [뉴스포커스] 문 전 대통령 회고록 공방…김 여사 공개활동 본격화 28:07
    [뉴스포커스] 문 전 대통령 회고록 공방…김 여사 공개활동 본격화
    조회수 0
    본문 링크 이동
  • 11 해병대원 특검법 거부권 전망 속 야, 용산으로…여 02:59
    해병대원 특검법 거부권 전망 속 야, 용산으로…여 "법 불공정"
    조회수 0
    본문 링크 이동
  • 12 '타지마할 방문' 영부인 첫 단독 외교? 박지원 02:05
    '타지마할 방문' 영부인 첫 단독 외교? 박지원 "이희호는 유엔 연설…김정숙 특검? 김건희 방탄"
    조회수 2
    본문 링크 이동
  • 13 김계환·박정훈 동시 소환…'VIP 격노설' 대질할 듯 01:01
    김계환·박정훈 동시 소환…'VIP 격노설' 대질할 듯
    조회수 0
    본문 링크 이동
  • 14 김경수 복권? 역할론에 03:33
    김경수 복권? 역할론에 "더 배우고 노력해야할 처지"
    조회수 0
    본문 링크 이동
  • 15 김건희 '명품백' 특검에 김정숙 '타지마할' 특검 꺼낸 국힘 02:58
    김건희 '명품백' 특검에 김정숙 '타지마할' 특검 꺼낸 국힘
    조회수 0
    본문 링크 이동
  • 16 169일 만의 '공개활동' 김건희 여사…여론 눈치보기 끝? 05:43
    169일 만의 '공개활동' 김건희 여사…여론 눈치보기 끝?
    조회수 0
    본문 링크 이동
  • 17 [정치쇼] 김재섭 18:27
    [정치쇼] 김재섭 "총선백서, 대통령실은 성역? 조정훈 입장표명해야"
    조회수 1
    본문 링크 이동
  • 18 尹, 내일 '채 상병 특검법' 거부권 전망...野 06:37
    尹, 내일 '채 상병 특검법' 거부권 전망...野 "수용 촉구" 압박
    조회수 0
    본문 링크 이동
  • 19 [자막뉴스] 02:03
    [자막뉴스] "여사님이 결정적 역할" 김건희 여사, 169일 만에 등장한 곳은...
    조회수 0
    본문 링크 이동
  • 20 02:03
    "김 여사 문화적 안목, 결정적 역할"…169일 만에 대중 앞에
    조회수 0
    본문 링크 이동
  • 21 [이슈분석] 김정숙 '타지마할 방문 논란' 재점화 19:49
    [이슈분석] 김정숙 '타지마할 방문 논란' 재점화
    조회수 0
    본문 링크 이동
  • 22 [자막뉴스] 02:08
    [자막뉴스] "인도 측, 아내라도 대신 보내달라고..." 文, 회고록서 처음으로 입 열었다
    조회수 0
    본문 링크 이동
  • 23 황우여, 오늘 이재명 예방…尹, '해병대원 특검' 내일 거부권 전망 02:00
    황우여, 오늘 이재명 예방…尹, '해병대원 특검' 내일 거부권 전망
    조회수 0
    본문 링크 이동
  • 24 'VIP 격노설' 엇갈린 주장…김계환·박정훈, 21일 대질 가능성 00:33
    'VIP 격노설' 엇갈린 주장…김계환·박정훈, 21일 대질 가능성
    조회수 0
    본문 링크 이동
  • 25 북, 러시아 연해주와 여객열차 재개 논의한 듯 00:37
    북, 러시아 연해주와 여객열차 재개 논의한 듯
    조회수 0
    본문 링크 이동
  • 26 골프에 진심?‥스포츠 띄우는 이유 02:31
    골프에 진심?‥스포츠 띄우는 이유
    조회수 1
    본문 링크 이동
  • 27 [자막뉴스] 02:27
    [자막뉴스] "싸니까 막는거냐"...민심에 무너진 '해외 직구 금지' 논란
    조회수 3
    본문 링크 이동
  • 28 김건희 여사 사리반환 행사 참석…169일 만에 대중 앞에 02:34
    김건희 여사 사리반환 행사 참석…169일 만에 대중 앞에
    조회수 8
    본문 링크 이동
  • 29 김건희 여사 169일 만에 대중 앞에…'의혹 해명' 요구 02:12
    김건희 여사 169일 만에 대중 앞에…'의혹 해명' 요구
    조회수 0
    본문 링크 이동
  • 30 '해외 직구 차단' 논란‥사실상 '철회' 02:09
    '해외 직구 차단' 논란‥사실상 '철회'
    조회수 1
    본문 링크 이동
맨 위로

공유하기

닫기