Български пробив в AI видео технологиите: INSAIT и Netflix със съвместен проект
Институтът за компютърни науки, изкуствен интелект и технологии (INSAIT) към Софийския университет обяви успешното си сътрудничество с американския гигант Netflix. Резултатът от партньорството им е иновативният модел с изкуствен интелект VOID. Технологията позволява не само прецизното изтриване на обекти от видеоклипове, но и автоматичното регенериране на фона по изключително реалистичен начин.
За разлика от стандартните инструменти, които просто „запълват“ изтритите части, VOID разбира как обектите си взаимодействат. Ако например човек държи предмет и бъде премахнат, моделът симулира как предметът пада или се движи естествено, сякаш сцената е заснета без него. Това може да даде много по-голяма свобода на производителите на видео съдържание и би спестило значителен финансов ресурс за презаснемане на различни сцени.
“Например, ако премахнем човек, който държи китара, моделът ще покаже как китарата пада, вместо да остане „замръзнала“ във въздуха – малък детайл, който променя драстично възможностите за работа с видео.”, коментират от INSAIT във Facebook.
Технологията стъпва върху CogVideoX и използва специален подход с т.нар. quadmask, който позволява да се разграничат обектите, зоните на взаимодействие и фонът. Това помага на системата да запази логиката и динамиката на кадъра, без видими артефакти. Тъй като реални тренировъчни данни почти липсват, екипите на Netflix и INSAIT използват симулирани сцени, генерирани чрез Blender. Така моделът се учи какво се случва в реалния свят, когато даден обект изчезне.
В сравнение със съществуващи решения, VOID постига по-добра визуална последователност и по-реалистично поведение на обектите. Моделът е с отворен код, което дава възможност на разработчици и изследователи от цял свят да работят и надграждат технологията.
“Това е още една стъпка към AI системи, които не просто редактират видео, а разбират как работи светът и е огромен напредък за световната филмова индустрия в ерата на AI.”, посочиха още от INSAIT.
