윤준탁의 웹 3.0 레볼루션

생성형 AI 단상.

단순히 서비스를 이용하는 사용자에서 기획과 일부 개발까지 해보면서 느끼는 점이 많아서 나중을 위해서 정리. (개인적인 의견이므로 AI 전문가분들의 의견과 지식에 수준이 미치지 못할 수 있습니다.)

1. 챗GPT, 미드저니와 같은 생성형 AI가 인공지능 시대를 이끌면서 관련 서비스가 우후죽순 생겨났다.

2. Foundation 모델을 개발하고 제공하는 기업, 오픈소스나 일부 개발을 직접 하는 기업, 이미 남들이 다 만들어 놓은 모델 가져다 프론트만 씌우는 기업, 이렇게 3개 타입이 있다.

3. Foundation 모델은 쉽게 할 수 없고(빅테크 아닌 이상 비용 감당 불가), 오픈소스로 직접 개발하는 기업과 개인이 많은 것 같다.

4. 이미 있는 기술 가져다가 이미지, 문장 생성 가능한 서비스 내놓아봐야 경쟁력이 없다. 남들도 똑같이 만들 수 있는데. 이미지를 넥스트로 어떻게 비즈니스에 활용할 수 있느냐가 관건.

5. 회사에서 바라보는 영역이 이미지, 영상 쪽이다 보니 텍스트나 다른 분야는 잘 모르겠지만, 세상에는 이미지 제작에 미친 사람들이 많다. 모델 만드는데 영혼을 넣는 느낌이랄까.

6. 국내 커뮤니티뿐만 아니라 해외 커뮤니티, 사이트 보면 얼마나 노고를 갈아 넣어 모델을 만드는 사람이 많은지 알 수 있다. Civitai, Hugging Face, 아카라이브 등등 하루 종일 AI만 붙잡고 연구, 개발하는 사람들.

7. 이제 실제와 구분할 수 없는 이미지는 이미 너무 고퀄이고 무한 생성이 가능하지만, 모델은 계속해서 고도화되고 새로 나온다.

8. 다만, 모델을 만들기 위해서는 꽤 많은 노가다가 필요하다. 시간도 오래 걸리고 조건이나 시도 방법에 따라 결과물이 달라서 이를 최적화하는데 시간이 걸린다.

9. 요즘 이미지보다는 영상에 적용하려는 움직임이 더 많은 것 같다. 이미지는 이제 고퀄로 나올 만큼 나왔으니 영상으로 눈을 돌릴 수밖에. Runway의 Gen-2는 물론이고 mov2mov 같은 SD extension도 계속 나온다. 영상이 정적인 사진보다는 활용 방안이 훨씬 많아서인 것 같다. (애니메이션, 영화, 뮤직 비디오 등등)

10. 취향 차이가 있겠지만 미드저니 v5.2와 SD XL 0.9의 결과물 비교를 보면 미드저니가 더 나은 것 같다. 다만 오픈소스인 SD가 회사에서 쓰기엔 더 나은 것 같다.

11. SD에서 모델을 새로 만들거나 병합하는 일은 재밌다. 회사에서 쓰려고 이미지 학습시켜서 모델 하나 만들었는데 로라, VAE 없이 나온 쌩 결과물도 꽤 높은 퀄리티.

12. 이미 아이돌 영상을 애니로 바꾸거나 반대로 실사로 만드는 결과들이 나왔지만, 영상에 제대로 활용하려면 아직 시간이 필요하다. 하지만 워낙 발전 속도가 빨라 언젠가부터는 영상도 고퀄로 뽑아내기 시작하면 특이점이 올 것 같다.

13. 영상까지 완벽하게 만들면 활용 분야는 무궁무진하다. 버추얼 아이돌이나 버튜버는 물론 19금 업계도 뒤집어 질듯. 지금도 AI 기반 영상이 있지 않나 하지만 내가 생각하는 특이점은 지금처럼 일부가 만드는 수준이 아니라 누구나 쉽게 고퀄 영상을 뽑아내는 시점이다.

14. 오픈AI같이 이름만 오픈이고 Close인 AI는 모르겠고, SD와 같은 오픈소스 기반 생성형 AI가 앞으로 가야 할 길인 것 같다.

15. SD도 나름 webui가 쓸만하지만 딥하게 가면 파일 다운로드 받고 어디에 넣어야 할지부터도 복잡하다. 개발자가 아니어서 AI 개발 영역까지는 못하더라도 최소한 AI 기획을 하려면 직접 해보고 가능한 만큼은 공부하고 직접 해봐야 한다.

16. 혹시라도 AI 분야 기획자가 되려면 AI 서비스 기획과 AI 개발 기획으로 나눌 수 있을 것 같다. AI 서비스 기획은 AI를 활용해 사용자가 원하는 서비스를 사용할 수 있도록 AI를 활용한 프로덕트 개발 쪽에 중심을, AI 개발 기획은 모델 개발이나 학습에 필요한 방향성을 잡아주는 쪽에 중심을 두어야할 것 같다.

17. 최근 프롬프트 엔지니어도 뽑는 것처럼 프롬프트도 중요하다. 프롬프트를 통해서 모델을 학습하고 발전시킨다. 이미지만 디퓨전 모델에서 노이즈로 학습하는 것이 아니라 프롬프트-토큰-벡터로 처리, 임베딩 되는 과정을 생각하면 텍스트도 중요하다. 이미지와 단어를 같이 학습해야 더 똑똑해진다.

18. 이미 AWS Sagemaker에서 SD 기반 많은 기능을 제공한다, AWS에서 파인 튜닝이나 파인 튜닝된 모델을 꽤 많이 제공한다. 생성형 AI에서 존재감이 MS나 구글, 메타에 뒤지고 있는 것 같지만, 클라우드에서 인스턴스를 대규모로 돌리려면 역시 AWS가 장점일 것 같기도 하다 (MS-Azure..).

19. 시중에 나와 있는 AI 프로덕트만 써보고 AI 강의하고 책 내고 하는 건 다 좋은데, 어디 가서 AI 전문가라고 하지 말아야 하지 않을까. 진짜 AI 기획, 개발하는 분들은 하루 종일 이것저것 시도해 보고 만들기도 바쁘다.

20. 웹3는 AI와 블록체인을 중심으로 VR, AR, 클라우드 등등 다 필요하다. AI는 어려운 분야다. 최근 느낀 건 진짜 똑똑한 사람들이 전 세계에서 매일 AI를 연구한다는 것. 그리고 결과물이 나오기까지 어마어마한 노가다와 시간이 들어간다는 것. 그리고 하루가 다르게 빠르게 변하고 있다는 것.

👍7

1.74K views05:33