Ttoro_Tech

[생성형 이미지 워터마크]_AITIMES_뉴스기사('23.10.05) 본문

Tech News/국외 기업

[생성형 이미지 워터마크]_AITIMES_뉴스기사('23.10.05)

Lee_Ttoro 2023. 10. 10. 09:24

https://www.aitimes.com/news/articleView.html?idxno=154142 

 

"눈에 안 보이는 워터마크도 무용지물"...실험 결과 모두 '세척' 가능  - AI타임스

딥페이크 등 인공지능(AI) 생성 이미지에 워터마크를 추가해 구별하려는 시도가 별 쓸모없다는 주장이 나왔다. 한 연구팀이 현재 사용 중인 \'눈에 보이지 않는\' 주요 워터마크를 모두 제거했다

www.aitimes.com

딥페이크 등 인공지능 생성 이미지에 워터마크를 추가해 구별하려는 시도

- 한 연구팀

'눈에 보이지 않는' 주요 워터마크를 모두 제거했다는 논문 발표

와이어드

  • 메릴랜드대학교 연구진이 현재 등장한 주요 워터마크의 실효성을 입증하는
  • '대규모 언어 모델에 대한 워터마크의 신뢰성'이라는 논문을 온라인(arXiv)에 게제

연구진

  • 눈에 보이는 워터마크는 물론 육안 식별이 불가능한 워터마크를 탐지하고 제거하는 실험을 진행
  • 그 결과 소헬 페이지 매릴랜드대 컴퓨터 과학 교수

 

우리가 워터마크를 모두 깨뜨렸다.
현재로서 신뢰할 수 있는 워터마킹이 없다.

  • 연구진은 이처럼 워터마크를 제거하는 것을 '세척(washing out)' 이라고 부름
  • 캘리포니아대학교 산타바바라 캠퍼스와 카네기 멜론 연구원들이 진행한 실험에서도 같은 결론이 나옴
  • 당시 발표한 논문 역시
보이지 않는 워터마크는 모두 취약하다
  • 라고 지적

 

이에 따라 일부에서는 외부 공격에 더 강한 눈에 보이는, 즉 교란이 심한 워터마크를 개발할 수도 있다는 희망을 보였으나,

이번 연구에서는 더 강력한 워터마크 유형도 조작할 수 있다고 지적

 

AI 탐지 스타트업 - 리얼리티 디펜더 - 벤 콜먼 CEO

워터마크는 언뜻 훌륭하고 유망한 솔루션처럼 들리지만,
쉽게 위조하거나 제거, 무시할 수 있다.

  • 이 문제는 당장 발등에 떨어진 불이 될 수도 있다는 지적
  • 내년 대선을 앞두고 미국에서는 딥페이크에 대한 경계수위를 높이고 있으며, 이에 따라 OpenAI나 구글, 메타 등 주요 생성 AI 기업은 딥페이크 이미지에 워터마크를 심겠다는 'AI 안전 서약'까지 한 상태

구글 딥마인드

  • 8월 말 새로운 워터마킹 도구 '신스 ID(SynthID)'베타 버전을 출시하며, 이 도구는 완벽하지 않다라고 밝힌 바 있음
  • 또 이런 문제로 인해 지폐를 발행할 때 번호를 매기는 것과 같은 방법을 사용해야 한다는 주장도 나오고 있음

연구진

  • 이번 연구가 더 강력한 워터마크를 만드는 데 유용한 정보가 되길 바란다고 밝힘
  • 논문 공동 저자인 톰 골드스타인 메릴랜드대 교수
아무리 강력한 워터마크를 만들어도 정교한 공격자는 항상 등장할 것
하지만 워터마크가 낮은 수준의 공격에도 충분히 견딜 수 있는 것으로도 충분히 유용할 것