16. november 2012

Billedkonvertering

Man kan risikere at skulle konvertere både råoptagelser og den færdige produktion. Heldigvis er der nogle genveje, for lige billedfrekvens-konverteringer kan være uhyggelig ressourcekrævende. Specielt, hvis interlaced optagelser også skal konverteres til progressiv video.

 

Der er reelt set tre relevante billedfrekvenser: 24, 25 og 30 billeder per sekundet (bps) med de tilhørende interlaced udgaver. Og så er der 48 bps på vej inden for filmverdenen.

 

8P er lidt interessant. Idet Peter Jackson har optaget hele Hobbit-trilogien i 48P for at få 3D oplevelsen gjort bedre. Hurtigere skift mellem billederne til højre og venstre øje giver en bedre biografoplevelse og fjerner en del af stroboskob-effekten ved hurtige bevægelser i 3D film. Igennem filmhistorien har der været flere forsøg på at få højere framerates som standard, med det formål at få en bedre gengivelse af hurtige bevægelser, men denne ide med højere billedfrekvens er hidtil ikke slået an.

Film til video

Rent historisk har der også været problemer i forbindelse med at overføre video til og fra film. En filmprojektor kan kun køre 24 bps. Overførsel af video til film har derfor nødvendiggjort en konvertering af billedfrekvenser. Tilsvarende har broadcast af film været et problem, specielt i USA, hvor de ”skæve” framerates har givet anledning til mere eller mindre heldige telecine-løsninger.

 

Heldigvis er digitale filmprojektorer meget mere fleksible, og der er i dag digitale hardwareløsninger med realtidskonvertering. Det sidste gør telecine-løsningerne mindre relevante i takt med at digital film bliver stadigt mere udbredt.

Nøgleordet er progressiv video

Udgangspunktet for al billedfrekvenskonvertering skal være progressiv video. Al interlaced video giver store problemer i forbindelse med ratekonvertering. Der kommer ”slørhaler” og andre uheldige billeddefekter, hvis der bruges interlaced video som udgangspunkt. Interlaced betyder jo, at der er to delbilleder som kombineres til et fuld billede ved visning. 50i er to delbilleder, som til sidst giver 25 fulde billeder i sekundet.

 

Det er vigtigt at lægge mærke til, at der er tale om optage-billedfrekvenser og afviklings-billedfrekvenser. Det er naturligvis bedst, hvis man optager med samme billedfrekvens, som produktionen senere skal vises med. Men hvis man nu ikke kan det, hvad så? Det kunne for eksempel tænkes at man på forhånd ved, at produktionen muligvis skal leveres i 23,976i og i 29,97i. Her ville en mulig strategi være at optage i 50p. En generel tommelfingerregel er, at det er nemmere at nedkonvertere end at opkonvertere. Ved nedkonvertering i frekvens har man flere temporale data, end man behøver. Derfor er det nemmere at beregne sig frem til video med lavere billedfrekvens. Går man den anden vej – for eksempel, hvis man danner slowmotion ud fra 25P optagelser, skal der kunstigt dannes data til alle de mellemliggende billeder. En slowmotion på 200 bps betyder, at der skal dannes 198 mellembilleder ud fra et 25P startbillede og et 25P slutbillede. Og det er ikke nemt.

Opskalering og nedskalering

Det samme gælder for størrelsesændringer. SD-video i PAL har ca. 414 KB per billede, mens 720p har ca. 920 kilobytes, mens 1080p har ca. 2074 kilobyte per billede. Ved 100% perfekt billedmateriale kan en forstørrelse på 200% lykkes. Men kravet er perfekt kildemateriale. Og det vil alligevel blive billeder uden definition. Skarphedsfiltre virker ikke her, da filtret ikke kan skelne mellem bevægelsesuskarphed og almindelig uskarphed på grund af forstørrelse. Ved opskalering af billedmateriale med fejl bliver fejlene naturligvis også forstørret. Nedskalering er naturligvis helt problemfrit. Der er ingen skarpere SD-video end nedskaleret HD.Så er der formatændringer, hvor tilværelsen er blevet lidt nemmere. I dag er der ingen, som tager sig af, at 4:3 materiale vises letterboxed eller pillarboxed. Ved at gøre det slipper man for en opskalering. Materiale i lav opløsning fra for eksempel mobiltelefoner kan med fordel window-boxes, hvor materiale bare vises i 1:1 i et vindue med sort uden om.

Der er lige en ekstra krølle på sagen. Der er nemlig anamorfe SD formater, som kan komplicere sagen en bid. I en SD- eller HDV-fil kan man nemlig sætte meta-data, som fortæller TV’et, at det skal brede alle pixels ud horisontalt. 1080i HDV optages eksempelvis med 1440 x 1080 pixels. Den horisontale forlængelsesfaktor er 1,33 for dette format. Så slutbilledet bliver (1440*1,33) x 1080 = 1915 x 1080 pixels. Det betyder naturligvis, at man mister horisontal opløsning. Det går særdeles dårligt at blande denne type anamorf video med HD filer, hvor alle pixels er ”normale”. Derfor bør man konvertere anamorf HDV og SD inden denne type optagelser anbringes på tidslinjen i ens redigeringssoftware.

Nedkonvertering er ideelt

I teorien burde man konsekvent køre en 1080p60 workflow, da alle konverteringer af billedfrekvens dermed bliver nedkonverteringer. Det er dog næppe en praktisk løsning for de fleste.

 

Det er absolut bedst at konvertere interlaced video til progressiv video, ændre billedfrekvens og alle andre billedkonverteringer i en eneste arbejdsgang. Ellers forringes kvaliteten. Langt de fleste moderne redigeringssoftware er multiformat, hvilket betyder, at blandede formater kan afspilles fra tidslinjen. Nøgleordet er her afspilning. Der sker ingen videokonvertering, før videoen eksporteres. Det er muligt, at redigeringssoftwaren renderer til et mellemformat i baggrunden, hvor den endelige konvertering sker ud fra disse mellemfiler. Det giver bedre ydeevne for den endelige konvertering.

 

Her er det vigtigt at få helt styr på redigeringsparametrene inden, at man danner den endelige version. Langt det meste redigeringssoftware er standard sat til lave værdier for billedkvalitet for at få hurtigere rendering.
    Naturligvis kan man vælge at konvertere alt råmateriale til samme format. Det kan være en mulighed, hvis materialet er meget varierende i formater. Men denne strategi gør, at man muligvis kommer til at konvertere for meget materiale. Siden disse formatkonverteringer er ualmindelig dyre i computertid, må man overveje om bekvemmeligheden er så stor, at prisen i computerressourcer er det værd.

De nemme konverteringer

Det er meget vigtigt at få helt styr på råmaterialet, inden man starter nogen konverteringer. Der er forskellige programmer som for eksempel MediaInfo til en Apple computer, der kan sikre, at man starter med at have verificeret, at udgangspunktet for konverteringen er korrekt.

 

Det betyder ikke så meget rent konverteringsmæssigt, om man for eksempel konverterer fra 29,97 bps eller 30 bps til 25 bps. Forskellen bliver cirka 1 billede per minuts video, så det er ikke til at se forskellen. For lange sekvensers vedkommende vil det dog betyde glidende synkroniserings-problemer med lyden.

 

Konverterer man eksempelvis fra 30 bps til 25 bps i stedet for 29,97 bps til 25 bps bliver forskellen mellem billede og lyd 10 billeder eller næsten et halvt sekund for en ti minutters sekvens. Kuren er her at konvertere korrekt eller køre lyden ned i hastighed med 0,01 procent.

 

Og man kan nemt slippe af sted med nogle konverteringer. 24P til 25P og omvendt kan for eksempel klares ved at ændre en videofils metadata (conforming), så afspilningen sker med den ønskede billedfrekvens. Lyden skal så forlænges eller forkortes med 4%. Den lille ekstra bid slowmotion eller fastmotion er der ikke så mange, som bemærker.

 

Samme taktik kan bruges ved 30 bps til 25 bps. Det giver en slowmotion-effekt på 16,66% i forhold til den originale optagehastighed. Det kan ses, men afhængigt af billedmaterialet kan det være acceptabelt. Er der tale om landskabsoptagelser uden lyd er der næppe nogen, som bemærker det. Men forskellen er så stor, at lyden kun med besvær kan manipuleres. Igen - er det kun baggrundslyd, så betyder det næppe noget.

 

Denne metode er mere problematisk ved 25 bps til 30 bps, da fastmotion-effekten er meget mere synlig her.

 

Det er nemmere at konvertere 50P til 25P. Der er her to metoder. Man kan simpelthen smide hvert andet billede væk. Det kommer til at se ud som 25P med den dobbelte lukketid.

Framekonverteringsmetoder

Der er basis set to metoder. Frameskipping/frameblending og optical flow.Frame-skipping bruges, når man konverterer fra en højere framerate til en lavere. Konverteres der eksempelvis fra 30 bps til 25 bps kan konverteringen klares på simpleste vis ved at smide hver femte frame væk. Det giver en lidt underlig staccato-effekt, men det går til gengæld rasende stærkt at konvertere mellem de to billedrater. Næste kvalitetstrin op er at foretage frameblending, hvor de to frames, der lå på hver side af det fjernede frame bliver modificeret, svarende til det fjernede frame. Derved forsvinder staccato-effekten, men der kommer en lidt underligt rytmisk tidsskift. Frameblending er i sin simpleste udgave en interlaced billede, hvor de to omkringliggende frames leverer hver sit delbillede.

 

Er der tale om opkonvertering, for eksempel fra 25 bps til 30 bps, er det mest enkle simpelthen at dublere hver femte billede. Det kommer til at se meget staccato-agtigt ud. En bedre metode er at bruge frameblending, hvor de manglende billeder dannes ud fra de omliggende to frames. Hvis der er tale om en konvertering til eller fra nogle af de skæve amerikanske billedfrekvenser skal der i alle tilfælde foretages en frameblending af alle billeder. Der er i denne sammenhæng udviklet nogle fantastisk komplekse metoder med at dublere og frameblende billeder (pulldown) for at klare de mest almindelige konverteringer mellem de amerikanske specialformater. Om disse metoder med blandinger er brugbare, afhænger af billedmaterialet. Det er ikke nemt at vide på forhånd, da faktorer som bevægelse i billedet, kamerabevægelse og billedkompleksitet kan påvirke resultatet.

 

Denne metodik er relativ nem at håndtere rent computermæssigt, da der er tale om relativt enkle billedmanipulationer.

Optical flow – temporal konvertering

Den bedste (og mest tidskrævende) måde er at anvende temporal konvertering eller optical flow, som processen også benævnes. Det er en intelligent proces, hvor billedets elementer analyseres. Systemet prøver at finde de pixels, som bevæger sig fra billede til billede og transformerer dem så svarende til den ønskede billedfrekvens. Et eksempel kunne være en rød hoppende bold på en hvid stationær baggrund. Her ville baggrunden blive ignoreret, mens konverteringen ville analysere bevægelsen af de pixels, som repræsenterer bolden. Er der behov for at danne mellembilleder, sker det ved en transformation af de pixels, som repræsenterer den røde bold. Derefter kombineres transformationen med den stationære baggrund. Det lyder jo enkelt nok, men virkeligheden består meget sjældent af en rød bold, som hopper på en helt stationær baggrund.

 

Derfor bliver billedanalysen og den efterfølgende transformation ofte meget komplekse. Det tager både tid og computerkræfter, hvis det skal være godt. Benytter man for eksempel Apple Compressor og skruer helt op for kvaliteten, er der tale om en faktor 15-30 i forhold til realtid eller værre.

 

Men ofte er den næstbedste eller lavere indstilling god nok, hvilket sparer renderingstid. Her må man prøve sig frem med korte sekvenser, der ikke tager så lang tid at rendere.

 

I alle tilfælde er det nødvendigt, at man tester konverteringsstrategier, inden man kaster store computerressourcer efter dem. Man kan naturligvis også snyde og bruge en dedikeret løsning som Black Magic Designs Teranex-processor.

ProAV Digital

ProAV9 NOV18 ForsideNyt nummer ude nu!

Læs bl.a. om:

  • Østre Gasværk
  • Expo-reportage
  • DJI Ronin
  • RAW video
  • Comtech

Læs alt lige her

DEShow 2019

Danish Entertainment Show er en ny messe, hvor udlejnings- og eventbranchen viser hvad de kan, og branchens førende distributører/ forhandlere præsenterer det største udvalg af innovative løsninger, teknologier og produkter

Se mere her

Abonnement på ProAV Magasinet

Få alle de nyeste trends og følg med i udviklingen inden for AV-branchen. Modtag vores trykte udgave af ProAV Magasinet for kun kr. 250,- *

...Abonner lige her

*alle priser er ekskl. moms og levering

Annoncering

Få kontakt til en købestærk målgruppe i Danmarks eneste PRO AV magasin

Se mere her

Typisk ProAV læser

74,5% er meget tilfreds med det redaktionelle indhold

Se mere her