Sync Labs entwickelt Lipsync- und Gesichtsreanimationsmodelle für Film, Werbung, Social-Content und alles dazwischen. Das Kernversprechen der Plattform: Eine Performance lässt sich in eine andere Sprache übersetzen, ohne den befremdlichen Versatz zwischen Stimme und Mund. Der Dialog wird ersetzt, die Lippen werden passend regeneriert, und Identität sowie Mikroausdrücke der Darsteller bleiben erhalten. Die Modelle sind für echtes Produktionsmaterial ausgelegt statt nur für makellose Studio-Nahaufnahmen, inklusive Gesicht verdeckender Objekte, Handkamera-Bewegung, mehrerer Gesichter in einer Einstellung und schwieriger Lichtverhältnisse.
Das Produkt gibt es in mehreren Formen, damit es in unterschiedliche Pipelines passt. Das Web-Studio bietet drei Arbeitsweisen: einen einstufigen 'lite'-Modus, in dem Sie Clip und Audioquelle hineinlegen, einen Assistenten, der eine Generierung aus einer Beschreibung in natürlicher Sprache einrichtet, und eine erweiterte Timeline für frame-genaues Schneiden, Trimmen und Teilen. Dazu kommen Integrationen wie eine API für automatisierte Workflows, ein Premiere-Pro-Plugin, ein DaVinci-Resolve-Plugin und ein ComfyUI-Node für generative Pipelines.
Ein besonderes Extra ist die Verifikation: Sync Labs nutzt proprietäres Wasserzeichen, sodass jeder ein Video hochladen und prüfen kann, ob es mit dieser Technologie verändert wurde – nicht unwichtig, da synthetische Medien zunehmen. Die Stimme lässt sich klonen, generieren oder aus dem Originalclip wiederverwenden, und das Unternehmen bietet zusätzlich ein Enterprise-Team für anspruchsvolle Projekte sowie ein Creator- und Startup-Programm.
