Netflix släpper koden för VOID som raderar föremål ur video utan att lämna spår
Systemet försöker även skriva om följdeffekter som studsar kollisioner och blockerade rörelser med hjälp av flera storbolagsmodeller, när orsakssamband kan fejkats lika sömlöst som pixlar blir efterhandsgranskning och bevisvärde en gissningslek
Bilder
Netflix open-sources VOID, an AI framework that erases video objects and rewrites the physics they left behind
the-decoder.com
Netflix har släppt koden för VOID, ett videoredigeringssystem som inte bara tar bort ett föremål ur en sekvens utan även försöker sudda ut de fysiska följder som föremålet orsakade i scenen. Det är ett steg från ”snygg retusch” till att skriva om händelseförloppet så att tittaren inte ska märka att något alls ändrats.
Enligt The Decoder är VOID (”radering av videoobjekt och interaktion”) byggt för att hantera de besvärliga andrahandsartefakter som annars avslöjar redigeringar: en boll som borde ha studsat mot en borttagen stol, en person vars rörelse borde ha stoppats av ett utraderat hinder, eller en kollision som inte lämnar några spår när det kolliderande föremålet försvinner. I stället för att behandla ifyllnad som en kosmetisk lapp försöker VOID åter simulera det fortsatta ”avtrycket” av interaktionen och skriva om de berörda bildpunkterna så att scenen blir invärtes sammanhängande.
Systemet är en sammansättning av dagens ledande byggklossar snarare än en enda modell. The Decoder uppger att VOID bygger på Alibabas videodiffusionsmodell CogVideoX, finjusterad med syntetiska data från Googles Kubric och Adobes HUMOTO för att upptäcka interaktioner. Googles Gemini 3 Pro används för att analysera scenen och identifiera områden som påverkas av det objekt som ska tas bort, medan Metas Segment Anything Model 2 (SAM2) sköter segmenteringen. En valfri andra genomgång använder optiskt flöde för att minska formförvrängningar.
Att Netflix lägger ut ramverket som öppen källkod under licensen Apache 2.0 innebär att kommersiell återanvändning uttryckligen tillåts. Det sänker tröskeln för efterbearbetningsbolag, reklambyråer och oberoende skapare att bygga in ”fysikmedveten” objektradering i sina arbetsflöden. Samtidigt gör det förmågan lättare att industrialisera: en verktygskedja som kan ta bort varumärken, förbipasserande eller oönskade rekvisita utan tydliga kontinuitetsbrott är värdefull vid allt från lokalisering till regeluppfyllnadsredigeringar och ompaketering av äldre material.
Men samma mekanik som städar upp en bild kan också städa bort bevis. När redigeringar kan bevara ett trovärdigt orsakssamband — inte bara byta ut bildpunkter — blir gränsen mellan korrigering och förfalskning svårare att granska i efterhand. System för ursprungsredovisning, förslag om vattenmärkning och plattformars regler bygger ofta på antagandet att manipulation lämnar upptäckbara skarvar; VOID:s uttalade mål är att ta bort just dessa skarvar.
Projektet har utvecklats av Netflixforskare tillsammans med INSAIT vid Sofias universitet. Företaget har publicerat kod, en forskningsartikel och demonstrationer via GitHub, arXiv och Hugging Face, rapporterar The Decoder.
VOID är varken en ny kamera eller en ny kodningsteknik; det är en ny sorts suddgummi som försöker radera avtrycket lika mycket som själva föremålet.