업스케일링 : VR/XR 시장의 필수조건과 확장 가능성
Morning Meeting Note 텔레그램 : https://t.me/morning_note

지난 번 포바이포 얘기를 할 때 가장 많이 이야기했던 것은 업스케일링임. 물론 포바이포가 업스케일링 하나만으로 대변되는건 아니지만 중요한 포인트라고 생각. VR이 확산되려면 연령대와 성별에 관계없이 확산이 되어야 하는데, 게임만으로는 접근할 수 없는 시장으로 생각되었음.

단적으로 3~40대 여성에게 이 게임이 대박이에요. 라는 말보다 이걸로 좋아하시는 드라마나 좋아하시는 아이돌의 공연을 화질 쩔게 볼 수 있어요가 좋은 포인트가 될 것. 물론 이건 기기를 파는 업체들의 세일즈 영역이겠지만, 새로운 시장이 열린다면 이 분야가 중요한 세일즈 포인트가 될 것.

✅ 결론
VR을 위해서는 업스케일링이 없으면 안된다!는 아님. 그러나 초기 부족한 콘텐츠를 메우기 위해서든, 아니면 비용과 용량, 시간적인 문제에서든 중요한 축으로 자리잡게 될 것.
포바이포를 VR/XR 소프트웨어 분야에서 산업성장의 가장 큰 수혜로 보고 있음.
다음 단계에도 아이디어를 넓혀가면 새로운 분야가 계속 나올 것으로 흥미있게 보고 있는 분야임

✅ 업스케일링의 필요성
TV에서 4K, 8K가 나왔지만 그걸 실감하지 못했던 것은 컨텐츠의 부재가 제일 큰 영향. 아무리 TV가 좋아도 거기에 담을 고화질 콘텐츠가 없었음. 그나마 과거 드라마들을 고화질로 올려서 특정 채널에서 방송해주는 정도.
가장 큰 이유는 필수가 아니었기 때문. 4K TV에서 FHD TV를 본다고 해도 조금 아쉬운 정도이지 불편함을 느끼지 않음.

✔️그러나 VR에서는 조금 다른 얘기가 됨. VR을 끼고 영상을 볼 때는 화질 낮은 영상을 본다면 멀미가 나고 장기간 이걸 사용할 수가 없음. 그럼 그냥 재미있는 장난감으로 끝남.
물론 큰 화면으로 본다라는 만족도는 줄 수 있겠지만 시장의 확장에는 한계가 있음.

업스케일링이 필요하다는 것은 알고 있지만 그 동안 어려움이 컸음. 이걸 해결해준 것이 ai 업스케일링.
AI가 저해상도 이미지를 보고 고해상도 이미지를 예측하는데 이 과정에서 수많은 이미지를 학습.

❗️ [AI 소개서] ①‘AI 업스케일링’ 화질 개선 손품으로 2주, AI는 단 3시간
https://it.chosun.com/news/articleView.html?idxno=2023050600560

기사에 따르면 AI가 접목되기 전 비AI업스케일링은 전통적 방식으로 고인력, 저효율 작업.

그러나 AI 도입으로 업스케일링의 작업의 효율은 기하급수적으로 증가. 포바이포는 사람이 작업하면 편당 2주 걸리는 작업에 3시간이 걸리지 않게 된다고 함. MS, 엔비디아에서도 업스케일링 기술을 지원.

✅ 엔터에서의 활용
"손에 잡힐 듯 생생해"…가상 현실에 찾아온 K팝 걸그룹 [긱스]
https://n.news.naver.com/mnews/article/015/0004914493?sid=101

VR은 엔터로의 확장은 모두가 예상하고 있는 미래임. 신규로 만드는 콘텐츠는 처음부터 VR을 감안하고 만들 수 있겠지만 업스케일링은 쓰일 수 있는 분야가

❗️ H.O.T. '아이야!' MV 고화질로..SM 리마스터링 프로젝트
https://entertain.naver.com/read?oid=108&aid=0003031049

이런 리마스터링을 통해 과거 뮤직비디오를 4K로 올리는 시도가 SM에서 나왔음. 90년대 뮤직비디오를 4K로 올리는데 솔직히 컴퓨터 화면으로는 체감이 크진 않을 수 있지만 쓰일 수 있는 분야가 매우 다양함

❗️ SES 뮤직비디오
https://www.youtube.com/watch?v=fBge8oUfFwU

처음에 얘기했듯 드라마나 영화 또한 중요한 시장으로 자리잡을 수 있음.

✅ 산업분야 확산.
좀 더 전문적으로 보기 위해서는 LG CNS 홈페이지에서도 자세히 잘 나와있음

❗️ 240p 저화질 영상 ‘8K 고화질’로 바꾸려면? ‘AI 업스케일링’
https://www.lgcns.com/blog/cns-tech/ai-data/4743/

딱딱한 내용일 수 있지만 읽어보면 재미있게 볼 수 있음. 단편적으로 사진만 나와있지만 1911년 뉴욕을 촬영한 흑백 영상이 컬러로 바뀌고 4K, 60fps로 복원이 됨.
또한 엑스레이 사진을 고화질로 만들어 의학적 판단에 도움을 주기도 하고 낮은 화소로 촬영된 cctv 영상을 업스케일링 후 범죄 용의자의 신원 파악하거나 차량 번호판 식별도 가능하다는 것. 즉 이 분야가 VR/XR 뿐만 아니라 산업으로도 확대가 가능하게 됨.

우리가 첩보 영화에서 봤던 CCTV를 불러와서 확대시키는 모습이 현실이 될 수도 있음.
이렇듯 저해상도를 고해상도로 올리는 기술은 다양한 분야에서 필요하고 관련 시장을 VR에만 한정시키지 않으면 더 많은 상상을 할 수 있게 됨.