MPEG-7

MPEG-7

Sažetak

Cilj je ovog seminara omogućiti bolje razumijevanje svrhe postojanja MPEG-7 (Multimedia Content Description Interface) standarda te razumijevanje njegovih komponenti, te dati pregled trenutnog stanja njegovog razvoja i očekivanog utjecaja na digitalne biblioteke u skoroj budućnosti.

Uvod

Proizvesti neki multimedijalni sadržaj zasigurno je puno zaniljivije od njegovog indeksiranja i sortiranja. Količina multimedijalnih sadržaja koji su nam dostupni raste vrtoglavom brzinom i polako izmiče kontroli. Zbog toga su se pojavili problemi kod pristupa, identificiranja i rukovanja takvim sadržajem, kako zbog njihove veličine i kompleksnosti tako i zbog nedostatka adekvatnih standarda za indeksiranje. Na svu sreću ljudi su postali svjesni ovog problema što nam pokazuje veliki broj projekata na temu traženja različitih tipova multimedijalnih datoteka. MPEG-7 je razvijen od strane Moving Pictures Expert Group. Za razliku od prijašnjih MPEG standarda (MPEG-1, MPEG-2, MPEG-4) koji su opisivali kodiranje audio-vizualnih sadržaja, MPEG-7 se fokusira na davanje informacija o sadržaju. Cilj MPEG-7 standarda je davanje opširnog seta standardiziranih alata za opis multimedijalnog sadržaja.

Ciljevi

Standardom MPEG-7 želi se standardizirati:

Set tzv. opisivača (Descriptors) koji služe opisivanju raznih značajki mulitimedijalnog sadržaja,

predefinirane strukture opisivača i relacije među njima, tzv. opisne sheme (Description Schemes (DSs)),

jezik za definiranje opisivača i opisnih shema, Description Definition Language (DDL),

kodiranu reprezentaciju opisivača radi smanjenja veličine datoteka i bržeg pristupa.

MPEG-7 opisivači bi trebali biti povezani sa sadržajem kako bi korisniku omogućili brz i efikasan pristup audio-video sadržaju. Opisivači bi se fizički mogli nalazili na istom mjestu kao i AV sadržaj (u istom podatkovnom streamu ili na istom računalu) ili bi sa željenim sadržajem bili spojeni na daljinu. Znači potrebni su nam mehanizmi za povezivanje AV sadržaja sa njegovim MPEG-7 opisivačima.

Trenutno stanje opisivača

Opisivač (Descriptor) definira sintaksu i semantiku prezentacije jedne od značaji audio-video sadržaja: recimo npr. da je boja slike značajka. Talica 1. daje pregled opisivača podjeljenih u dvije skupine, audio i video opisivače.

Type	Feature	Descriptors
Visual	Basic Structures	Grid layout
	Basic Structures	Histogram
	Color	Color space
		Dominant color
		Color histogram
		Color quantization
	Texture	Spatial image intensity distribution
	Texture	Homogeneous texture
	Shape	Object bounding box
		Region-based shape
		Contour-based shape
		3D shape descriptor
	Motion	Camera motion
		Object motion trajectory
		Parametric object motion
		Motion activity
		Motion trajectory features e.g., speed, direction, acceleration
Audio	Speech Annotation	Lattice of words and phonemes plus metadata
	Timbre	Ratio of even to odd harmonics
	Timbre	Harmonic attack coherence
	Melody	Melodic contour and rhythm

Tablica1. pregled trenutnih opisivača

Svaki je opisivač definiran pomoću tzv. normativnog i nenormativnog dijela. Normativni dio sastoji se od sintakse, semantike i binarne reprezentacije opisivača. Nenormativni dio je opcionalan i sastoji se od preporučenih metoda ekstrakcije i tzv. metoda prepoznavanja sličnosti. Takozvane low-level značajke sadržaja mogu se izdvojiti iz sadržaja automatski. Preporučeni algoritmi za njihovo izdvajanje nalaze se u nenormativnom dijelu nekih opisivača, međutim oni nisu čvrsto definirani standardom jer se očekuju mnoga poboljšanja na tom području tehnologije. Isto se odnosi i na metode prepoznavanja sličnosti parametara opisivača.

Trenutno stanje opisnih shema (Description Schemes (DS))

Opisna shema definira strukturu i semantiku za opis odnosa među svojim komponentama koje mogu biti opisivači i opisne sheme. Za opis audio-vizualnog sadržaja koriste se slijedeći pojmovi:

Sintačka struktura – fizička i logička struktura audio-vizualnog sadržaja temeljena na vremenskim segmentima i/ili prostornim dijelovima,

Semantička struktura – prekid u semantičkom smislu, struktura temeljena na na događajima u vremenu i/ili objektima u prostoru,

Sintaktičko–semantička veza – veza među semantičkim i sintaktičkim elementima.

Postoje i takozvane generičke audio-vizualne opisne sheme (Generic Audiovisual DS) koje se sastoje od:

Zbirke sintaktičkih struktura koje sadrže podatke o segmentima, područjima, bojama, teksturama, pokretima i tome slično,

Zbirke semantičih struktura koje opisuju značajke kao što su npr. glumci, događaji, ciljevi ("goal", "advertisement", "Madonna"),

Opisnih shema za sintaktičko–semantičke veze koje sintaktičke elemente dovode u vezu sa semantičkim elementima,

Opisnih shema za prikaz sadržaja koje služe za lakšu navigaciju kruz audio-vizualni sadržaj,

Opisnih shema koje sadrže podatke o autoru ili izdavaču i tome slično,

Opisnih shema koje sadrže podatke o mediju na kojemje sadržaj pohranjen, formatu datoteke, o boji, zvuku, veličini, vremenu trajanja, tipu kompresije itd.,

Slika 1. ilustrira strukturu i sadržaj generičke audio-vizualne opisne sheme.

Slika 1. Generička audio-vizualna opisna shema

Jedan od glavnih problema kod opisnih shema je veličina i komplesnost generičke audio-vizualne opisne sheme.

Trenutno stanje jezika za definiranje opisivača i opisnih shema, Description Definition Language (DDL)

Jezik za definiranje opisivača i opisnih shema je jezik koji omogućava definiranje novih opisivača i opisnih shema. Isto tako dopušta modifikaciju postojećih opisivača I opisnih shema. DDL mora biti u stanju izraziti prostorne, vremenske, strukturalne i konceptualne veze među elementima opisnih shema te među opisnim shemama. Mora postojati model za povezivanje jednog ili više opisivača s podacima koje taj opisivač opisuje. Isto tako mora biti neovisan o platformi i mora biti razumljiv korisniku. Donesena je odluka da se bazira na sintaksi XML-a.

Očekivanja u budućnosti

MPEG-7 je sad u ključnoj fazi svog razvoja. Kako bi postao opće prihvaćen standard za opisivanje multimedijalnih sadržaja morat će biti relativno jednostavan. Neki od problema koje mora riješiti su:

Integracija specifikacija opisivača unutar opisnih shema,

Odlučiti se između uvođenja posebnog MPEG-7 jezika za definiranje opisivača i opisnih shema ili baziranja istog na već postoećem XML-u,

Specifikacija vremenskih, prostornih i konceptualnih veza između opisivača i sadržaja koji je opisan,

Specifikacija algoritama za ekstrakciju i pronalaženje sličnosti.

Ako se ovi problemi upješno riješe, uspjeh MPEG-7 standarda ovisit će uglavnom o razvoju hardvera i softvera koji će uspješno moći generirati, spremati, tražiti i interpretirati MPEG-7 opise multimedijalnih sadržaja.

home