Není to tak dávno, co se v éteru objevilo video Spokojenost pro světovou značku HYPER za účasti populárního herce Alexandra Petrova. Natáčení a CG videa jsme kompletně provedli v Trehmeru.
V tomto článku vám řekneme o technikách počítačové grafiky, které jsou doslova plné videa, což činí již netriviální zápletku ještě surrealističtější (kreativa byla vyvinuta agenturou Geometry Moscow společně s Romanem Kimem a Michailem Semichevem).
Článek byl napsán na základě rozhovorů s Maxem Alaevem (CG supervizor Trehmer CG) a Erikem Baimukashevem (umělecký ředitel Trehmer CG).
Deepfake
DeepFake je populární technologie, která nahrazuje jednu tvář druhou. Jedná se o strojové učení pomocí neuronových sítí. U vchodu do počítače pro trénink jsou přeneseny dvě tváře: původní tvář s požadovanou mimikou a tvář, kterou bude třeba nahradit, při zachování původní mimiky prvního herce. Ve skutečnosti dostane stroj úkol: „Chci, abyste se naučili dělat se Sášiným obličejem to, co Mášin obličej, a přitom co nejvíce zachovat Mášin výraz v obličeji.“ Bylo to „naučené“. Učení začíná pomocí grafické karty a video procesorů. Neuronová síť skenuje tváře obou aktérů a nakonec je začne srovnávat.
Ve společnosti Trehmer CG jsme začali ovládat DeepFake o něco dříve, než přišel projekt.
Jako ukázku našich dovedností při přípravě na první PPM jsme provedli videotest: natočili jsme naši právničku Natašu a nasadili jí výraz obličeje a obličeje herce Alexandra Petrova. A tvář Sashy Savitsky (poznámka redaktora – Alexander Savitsky – generální ředitel společnosti Trehmer) se změnila na tvář Tarkovského. Na setkání se zástupci značky glo ™ jsme představili tyto video transformace.
testování videa
Dokázali jsme na klienta udělat dojem. Pak jsme natáčeli první herečky, pak Alexander Petrov. Požádali dívky, aby prováděly určité pohyby, různé výrazy obličeje, vyslovovaly slova, a Alexander – aby se pokusili to všechno opakovat co nejpřesněji. Čím více podobných iterací s rtěnkou, výrazy obličeje, pohyby těla, tím lepší je strojové učení. Výstupem je hotová tvář Alexandra Petrova se všemi pohyby herečky. Zároveň jsou zachovány všechny výrazy obličeje původní herečky.
Pohyby jsou přesně sladěny prakticky ve „útrobách“ počítače. Přímá lidská účast spočívá pouze v nastavení všech počátečních dat pro strojové učení správně a co nejpodrobněji. Pak jen čekejte, protože čím více času programu dáte, tím více analytických iterací provede, tím lepší a propracovanější bude výsledek. Například po 18 hodinách bude pohyb s hercem připraven, po 3 dnech se objeví vrásky a nějaká mimika a po dalším dni budou zuby jasně otevřené, když se otevřou ústa. Je to takový nepřetržitý proces. „Učte se, učte se a učte se znovu“ ©. Neexistuje žádný koncový bod „všechno, člověk vycvičený, vezmi si to.“ Vše závisí pouze na načasování přiřazeném projektu.
Natočili jsme video spokojenosti na 2 směny a hned první den jsme natáčeli celý bazén s Alexandrem Petrovem, abychom spustili strojové učení co nejdříve. Hned ze sady jsme vzali pevné disky se záběry do kanceláře Trehmer, kde už kluci čekali, až na nás rychle nahrají soubory pro strojové učení. Ale předtím bylo nutné provést mnoho malých technických akcí: podkopat rámy, najít klíčové body, ukázat stroji jejich vztah.
Ukázali jsme klientovi první hrubý střih ve formátu náhledu – dosud ne plnohodnotné hlavy v produkční kvalitě.
Karanténa a práce na dálku, která zasáhla nás všechny, dodala olej do ohně tomuto již tak fascinujícímu procesu. Kluci z domova sledovali učící se stanice, které byly přiděleny pro falešné hry, naložily tam nové emoce pro každý výstřel. Jakmile byl jeden výstřel víceméně připraven, nasadili trénink tváře jiné herečky ve spojení s tváří naší hlavní postavy. Trvalo to 2 týdny. V době, kdy bylo video prezentováno klientovi, jsme shromáždili celou kompozici a varovali jsme, že tváře jsou stále bez finálního ladění. Klient souhlasil, že bude pokračovat v tréninku, aby vše šlo na vzduch v perfektní kvalitě.
Hologramy
Video používá hodně hologramů. Úkoly, které s nimi měli, byly známější a srozumitelnější díky jejich techničnosti. Právě jsme potřebovali zopakovat Hollywood Blade Runner 2049 😊
Reference
V případě potřeby můžeme. V rámci úkolů na hologramech byl proveden malý výzkum a vývoj a speciálně pro tento soubor úkolů jsme přidělili uměleckého ředitele – Erika Baimukasheva. Spolu s kreativní ředitelkou Trehmer Dimou Venikovovou přišel na to, jak to implementovat, a vysledovali jsme 3D základnu pro dívky, která se poté stala objemnou. Dále jsme vytvořili trojrozměrnou síť holografických čar a teček. Výsledkem bylo, že toto vše bylo na kompozici spojeno a byl získán 3D hologram. Hologramy lze vytvářet různými způsoby, takže vizuálně vypadají všechny jinak. Eric vám o tom řekne více.
Zde byla vyžadována obzvláště kvalitní úroveň zpracování, takže jsme proces jeho vymýšlení zahájili ještě před natáčením. Asi týden po natáčení jsme měli hotové postavy dívek, které jsme předváděli. Plus 4–5 dní skládání a klient práci přijal.
MNOHO ODBORNÝCH PODMÍNEK A VEŠKERÉ SOLI O HOLOGRAMECH
Hologramy lze vytvářet několika různými způsoby, takže všechny vizuálně vypadají jinak. Nejjednodušší je vložit do scény předem připravenou 2D animaci bez jakýchkoli zkreslení nebo závad, jak jsme to udělali například u oken s upozorněním, která se objevují vedle kolemjdoucích.
S holografickými dívkami je to těžší. Nejprve musíte zvolit příslušnou fázi a pózovat ze záběrů, které budou v záběru vypadat nejlépe. Vybarvěte správný materiál, přetaktujte kontrast a přidejte barevnou aberaci. Dále se tento připravený materiál používá jako textura, která se promítá na dvourozměrný oblak bodů, takže se čas od času objeví charakteristická „digitálnost“ hologramů a textura připomínající pixely létající ve vzduchu.
Nejtěžší částí jsou trojrozměrné hologramy. Například holografické zařízení glo ™. Zde již nepracujeme s 2D sekvencí, ale s plnohodnotným 3D modelem, který nejprve vytvoříme, poté poctivě stínujeme, osvětlujeme a přenášíme tyto informace o světle a barvě na body generované již ve 3D scéně prostřednictvím nastavení provedeno v Houdini.
Umělecký ředitel Erika Baimukasheva Trehmer
Přechody
Video je založeno na moderní úpravě klipů, takže zde existuje mnoho přechodů. Tyto vazy byly složité a časově náročné. Materiál musel být „všitý“ do jednoho plátna se správným tokem z jednoho prostoru do druhého, jasně načasovaným. Zde jeden hologram přechází do druhého a zde vidíme rozhraní smartphonu, klikneme a přejdeme na další scénu, kde například tančí herci.
Stáli jsme před obtížným úkolem provést všechny přechody tak, aby každý plán plynule přecházel do dalšího, což bylo nutné udělat zajímavým způsobem a bez ztráty dynamiky. S režiséry jsme přišli s většinou přechodů v předprodukční fázi, ale byly i ty, které byly vynalezeny přímo během natáčení. Hledání nápadů se nezastavilo, dokud nebyla odeslána konečná verze.
Organizační momenty
Před oficiálním PPM jsme se samozřejmě několikrát setkali se dvěma režiséry projektu: Romanem Kimem a Michailem Semichevem. Posadili jsme se a podrobně diskutovali, co a jak budou střílet, kde plánovat přechody, kde stavět skutečné scenérie a kde ne. Pro přehlednost jsem nakreslil storyboardy. Nakonec jsme pak s grafikou museli s tímto materiálem úzce spolupracovat.
to, co chce klient. Pokud se nehodíme, hledáme kompromis z naší strany, aby vypadal stejně skvěle, ale jeho implementace zabere méně času. A již na dvou oficiálních PPM ředitelé řekli klientovi výsledky, ke kterým jsme se během našich pracovních setkání dostali společně.
Když jsme prošli projektem spokojenosti, uvědomili jsme si, že můžeme dělat všechno.
< p> A konečně několik snímků ze sady.
