LOADING.

NVIDIA의 내용인식 채우기 기능이 딥러닝을 이용해 놀라운 결과물을 만들었다

원문 기사 : https://www.dpreview.com/news/6361970567/nvidia-s-content-aware-fill-uses-deep-learning-to-produce-incredible-results

어도비 포토샵의 내용인식 채우기 기능은 원하지 않거나 짜증나게 하는 사물을 지우는 데에 있어 현재 산업 표준처럼 쓰이고 있다. 그러나 이 기능이 뭔가를 지우는 데에 쓰인다는 게 언제나 사실은 아닐 수도 있다. 왜냐하면 어도비는 현재 발전된 딥 러닝 기반의 “Deep Fill 기능을 만드는 중이며, NVIDIA는 이 기능 중에서 AI 기반 스팟 힐링 도구를 시연했다. 그리고 결과는 매우 놀라웠다.

독자 여러분이 위의 2분짜리 시연 영상에서 보고 있는 것처럼, 이 프로토타입 도구는 기본적인 작업, 이를테면 장면으로부터 줄같은 것을 제거하는 것은 물론, 보다 더 복잡한 작업, 예를 들면 도서관 장면에서 책과 책장을 재건해 내는 것까지도 해낼 수 있다.

이 도구 뒤에 숨은 비밀은 바로 NVIDIA가 이 도구를 제작하는 데에 활용한 “최신 딥 러닝 방법론” 이다. 이 도구는 해당 이미지 내의 픽셀들을 마스킹한 부분을 재건해 내는 데에 활용하는 데에서 그치지 않고, 장면을 분석하여 작업이 끝났을 경우 이 장면이 어떻게 보여야 하는지도 이해한다. 이런 점은 더욱 정밀하고 현실과 같이 느껴지는 결과물을 만드려고 할 때, 심지어 원본 이미지가 ‘완전히 재앙에 가까운’ 상태일 때에도 도움이 된다.

이 딥 러닝 도구의 가장 완벽한 예시는 NVIDIA 팀 멤버들이 출판한 ‘부분적인 중첩 적분을 사용한 불규칙한 구멍이 있는 이미지의 복원’ 이라는 이름의 문서에서 볼 수 있다. 하단의 비교 이미지에서 보여지듯이, NVIDIA의 도구는 인물 사진의 상당부분이나 심지어 대부분이 제거되었을 때도 이를 복원한다는 점에서 포토샵을 박살내버린다.

좌측부터 우측으로: 손상된 이미지, 어도비의 내용인식 도구로 복원한 결과물, NVIDIA의 결과물, 그리고 원본 이미지

전술한 문서의 논고(섹션 5.1)에 의하면, NVIDIA는 “이 딥러닝 모델은 어떠한 형태든, 위치나 크기든, 이미지 경계로부터 어느 정도 떨어져 있든 강력한 수준으로 처리할 수 있다. 더욱이, 우리의 성과물는 이 구멍의 크기가 증가하여도 끔찍하게 악화되지 않는다.” 라고 말하고 있다.

NVIDIA는 그러나 아래의 이미지 비교에서 보여지는 것처럼 “우리의 방법론이 갖는 하나의 제한이 있다면, 문 위의 봉처럼 드문드문 사물이 배치된 구조의 이미지 중 몇몇에서는 복원에 실패하기도 한다는 것이다.” 라고 기재하였다.

좌측부터 우측으로: 손상된 이미지, NVIDIA의 결과물, 그리고 원본 이미지.

현 단계에서 존재하는 이러한 단점 외에는, 이 도구는 – 이게 프로토타입이든 뭐든 간에 – 현재 시장에 존재하는 모든 도구들의 한계를 뛰어넘는 모습을 보인다. 도대체 언제, 어떤 때에 이 도구가 출시되서 시장 전체를 독식하게 될지는 일언반구도 없었지만, 그럼에도 우리는 (실제로 시장에서 볼 수 있길) 기원한다.

 

댓글 남기기

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d 블로거가 이것을 좋아합니다: