Kompanija ByteDance stoji iza Seaweed-7B, kompaktnog modela za generiranje videa koji fotorealističnu produkcijsku kvalitetu stavlja u ruke nezavisnih filmaša po znatno nižoj cijeni od konkurentskih rješenja.

Počelo je uzbunom oko autorskih prava

Priča je krenula u veljači, kada je filmaš Kavan Cardoza objavio akcijsku sekvencu izrađenu u tada nedostupnom ByteDanceovom sustavu Seedance 2.0. Snimka je brzo prikupila milijune pregleda, a reakcija velikih studija nije izostala. Disney, Paramount, Netflix i Warner Bros., uz podršku udruženja MPA, uputili su upozorenja vezana uz zaštitu autorskih prava i prava na lik glumaca. ByteDance je tada odgodio globalno lansiranje i preusmjerio ponudu prema nezavisnim autorima, vizualnim umjetnicima i manjim produkcijama, izvan izravnog sukoba s holivudskim studijima.

U ovom primjeru vide se moguċnosti modela: svi prikazani kadrovi generirani su pomoću Seaweed-7B,  jedina ručna intervencija bila je dodavanje glazbene podloge i završne špice:

Manji model, slični rezultati

Za razliku od uvriježenog pristupa da veći broj parametara znači bolji video, Seaweed-7B sa 7 milijardi parametara postiže rezultate usporedive s modelima dvostruko većeg opsega, poput Wan 2.1 ili HunyuanVideo. Za pripremu podataka za treniranje korišten je poseban model od 72 milijarde parametara za filtriranje snimki, čime je udio neupotrebljivih ili statičnih kadrova u skupu podataka spušten s 42 na manje od 3 posto. Samo treniranje modela zahtijevalo je oko 665.000 sati rada NVIDIA H100 procesora.

Osnovna verzija modela radi u rezoluciji 1280×720 pri 24 fps u realnom vremenu, s kadrovima u trajanju od 5 do 20 sekundi. Uz dodatni SeedVR modul, rezolucija se penje do 2560×1440, inference je do 62 puta brži od težih modela, a kontinuirani kadar može trajati do 60 sekundi.

Alat prilagođen praktičnim potrebama produkcije

Dosadašnji AI video modeli često su patili od nepredvidljivosti: objekti su se stapali, a likovi mijenjali izgled iz kadra u kadar. Seaweed-7B nudi nekoliko rješenja usmjerenih upravo na te probleme. Redatelj može zadati kontrolu putanje kamere, odnosno točan pokret zumiranja, panoramiranja ili praćenja objekta. Sustav Image-to-Video na temelju zadanog prvog i posljednjeg kadra generira prijelaz uz zadržavanje izgleda likova, odjeće i osvjetljenja. Modul Omnihuman paralelno generira video i zvuk, uključujući sinkronizaciju pokreta usana i gestikulacije s tonom govora iz priloženog audiozapisa.

Što ovo znači za industriju

Dok se veliki studiji i dalje bave pravnim pitanjima oko korištenja AI alata, Seaweed-7B pokazuje da tehnološka prednost više nije isključivo pitanje veličine modela ili dostupnog budžeta. Za nezavisne filmaše bez pristupa klasičnim i skupim resursima, riječ je o alatu koji bitno snižava prag ulaska u produkciju vizualno zahtjevnog sadržaja.