Kling

Kling 2.6: Ud over stumfilmen

Tidligere har det generative videolandskab haft et tydeligt hul. Selvom vi har været imponerede over Klings detaljerede billeder, var det i bund og grund bare flotte GIF'er med ekstra trin.

Hvis du ville have indlevelse, måtte du selv klippe workflowet sammen: lav videoen her, lav TTS et andet sted, find lydeffekter et tredje sted og sy det hele sammen. Det var besværligt og gav ikke den store indlevelse. Med udgivelsen af Kling 2.6 er den barriere ikke bare blevet lavere

Farvel til "Frankenstein"-workflowet

Kling 2.6's vigtigste nye funktion er indbygget lyd. Det er ikke bare et ekstra lag påsat videoen bagefter. Modellen genererer billeder, speak, lydeffekter og stemning i ét hug – alt sammen på samme tid.

Teknisk set løser det det klassiske "sync"-problem, der plager manuel redigering. Tidligere var det nærmest umuligt at ramme et fodtrin i lyd præcis der, hvor foden rammer gulvet i billedet. Kling 2.6 fokuserer på lyd-billede koordination, så systemet forstår, at hvis et glas smadrer på skærmen, skal den skarpe klirren præcis falde i det rigtige billede.

At "scene + handling + lyd" nu smelter sammen i én semantisk forståelse, er præcis dét, der gør forskellen på et legetøjsværktøj og et rigtigt produktionsværktøj.

Power-brugerens guide til promptskrivning

Til de nørdede læsere: Du ved, at modellen kun er så god som prompten, du giver den. Kling 2.6 kræver at man tænker nyt, når man skriver prompts. Du kan ikke nøjes med at beskrive billedet – du skal også instruere lydlandskabet.

Modellens opbygning betyder, at denne formel nu gælder:

Prompt = Scene + Element (Subjekt) + Bevægelse + Lyd + Stil

"Visual Anchoring"-teknikken

Et typisk problem i AI-video er "hallucineret attribution" – hvor modellen ikke ved hvem der taler. Dokumentationen anbefaler en teknik, jeg kalder Visual Anchoring.

Du skal ikke bare skrive: "[Agent] siger 'Stop!'"
I stedet skal du skrive: "[Agent i sort jakkesæt] slår hånden hårdt i bordet. [Agent i sort jakkesæt, råber vredt]: 'Hvor er sandheden?'"

Ved at knytte replikken til en fysisk handling (at slå i bordet), tvinger du modellen til at forbinde lydkilden med det rigtige visuelle element. Det er særligt vigtigt i scener med flere personer.

Forbehold og begrænsninger

Selvom Video 2.6 er et stort skridt fremad, skal vi stadig forholde os realistisk til dens nuværende begrænsninger.

Først er der sprogbarrieren. Modellen understøtter lige nu kun kinesisk og engelsk tale direkte. Hvis du skriver på fransk eller spansk, oversætter systemet det automatisk til engelsk. For kreative brugere verden over er det en flaskehals – men formentlig kun midlertidigt.

Dernæst er der opløsningsafhængighed. I billede-til-lyd-billede video-workflowet er kvaliteten af videoudfaldet direkte bundet til kvaliteten på inputbilledet. Modellen kan ikke trylle en sløret JPEG om til 4K-film. Dårligt ind, dårligt ud – det gule klistermærke gælder stadig.