Systémy vyhledávání obrazových informací. Část I.: Obecná problematika

Poznámka redakce: první část výtahu pochází z diplomové práce: BLAŽEK, Jakub. Systémy vyhledávání obrazových informací. Brno: Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet knihovnictví, 2008. 102 s. + 9 s. příloh. Vedoucí diplomové práce Mgr. Petra Šedinová.

Úvod

1. Obecně o obrazových informacích

Obrazové informace je možno zařadit do oblasti informací netextových, tedy do skupiny informací, u nichž je od textové složky zcela upuštěno, příp. tato nehraje významnější roli. Kromě obrazových informací můžeme do zmíněné kategorie přiřadit i informace zvukové, popř. jejich kombinaci s informací obrazovou, což ve výsledku tvoří informaci audiovizuální (video).

Jak je patrno z  obrázku[1], můžeme rozlišit několik typů či sub-typů informací, resp. informačních objektů tyto informace nesoucích. Informace (počítaje v to i informaci digitální) může být skladována v mnoha formátech - v podobě textu, obrazu, zvuku i videa. Zároveň je možno tyto jednotlivé typy vzájemně kombinovat, čímž vznikají např. informace audiovizuální.

Obr. 1: Rozdělení informačních objektů dle jejich typu

Do kategorie obrazových informací je možno zařadit několik specifických druhů informačních objektů - obrázky (počítaje v to jednoduché kresby, umělecká díla i fotografie), mapy, plány a diagramy a v neposlední řadě také grafy. Informaci obrazovou je v širším pohledu možno zařadit do kategorie informací vizuálních, a to společně s informací textovou, která je rovněž vnímatelná zrakem. V určitých případech představuje i jistý typ doplňku obrazové informace (doprovodný text, apod.); někdy je navíc takřka jediným prvkem, který umožňuje její indexaci. Obrazová informace však nabývá zcela odlišných vlastností a často ji lze užít i pro jednodušší či efektivnější zobrazení dat, což je výhodné zejména v situacích, kdy je jen velmi obtížné popsat danou situaci slovy.

Zásadním problémem jmenované různorodosti informačních objektů je jejich rozdílné zpracování - každý z nich je zcela specifický, a proto je s ním také specificky zacházeno. Konečným výsledkem jsou pak rozličné metody a techniky indexace, příp. dalšího zpracování obrazového objektu.

2. Zpracování obrazových informací

Indexace (i následné vyhledávání) obrazových informací představuje poměrně komplikovaný proces, při němž je vhodné identifikovat několik obecných úrovní. Základní rozlišení vychází z koncepce historika umění Erwina Panofského (1892 - 1968), který definuje úroveň preikonografickou, ikonografickou a ikonologickou. [2]

Úroveň preikonografická (odpovídající výrazu ofness = věcnost) se dotýká identifikace primárního či přirozeného námětu uměleckého díla („the class of primary natural meanings"); identifikuje tedy konkrétní objekt, člověka nebo událost.

Úroveň ikonografická (odpovídající výrazu aboutness = výrazovost) se dotýká smyslu rozpoznaného identifikací díla či objektu, což se může v konkrétních případech dosti lišit, pročež tato úroveň vyžaduje určitou znalost sociálně-kulturních zvyklostí (např. jablko může reprezentovat zemědělství, symbol firmy vyrábějící nápoje, symbol počítačové firmy, apod.).

Úroveň ikonologická se dotýká symbolické interpretace, přičemž vyžaduje ještě větší znalosti, zkušenosti a vzdělání (jedná se např. o asociaci učitel - vzdělávání).

Výše zmíněná úroveň rozlišení je základem pro pravděpodobně nejčastěji citovanou koncepci tří úrovní vyhledávání v oblasti obrazových informací - jedná se o prvotní znaky, sekundární (logické) znaky a abstraktní znaky: [3]

• u prvotních znaků hovoříme zejména o barvě, tvaru a textuře
• u sekundárních znaků hovoříme o identitě objektu
• u abstraktních znaků hovoříme o významu objektu

Podobně rozlišuje atributy obrázku i Corinne Jorgensenová ve studii Indexing Images: Testing an Image Description Template. Místo prvotních, sekundárních a abstraktních znaků však zmiňuje znaky vnímavostní („perceptual"), vysvětlující („interpretive") a reaktivní („reactive").[4]

• mezi vnímavostní atributy je možno zařadit znaky, jež lze vyjmenovat v přímé reakci na vizuální stimul - jedná se tedy o objekt zachycený v daném obrázku či o jeho barvu
• mezi vysvětlující atributy je možno zařadit znaky, které vyžadují jistou míru interpretace atributů vnímavostních a zároveň i určité porozumění - do této kategorie můžeme zařadit styl („moderní umění") či atmosféru obrazu („zasněnost")
• mezi reaktivní znaky je pak možno zařadit osobní reakci na obrázek - jedná se tedy např. o nejistotu, zmatenost, příp. jiný druh sympatie či nesympatie, jenž uživatel k danému obrazovému objektu pociťuje

2.1    Architektura systémů vyhledávání obrazových informací

Na obrázku níže je nastíněna architektura systémů vyhledávání obrazových informací tak, jak ji chápou Rui, Huang a Chang.[5] Tento model lze pojmout jako základní pro danou problematiku.

Obr. 2: Architektura systémů vyhledávání obrazových informací

Základem popisované architektury jsou tři prvky - kolekce obrázků (image collection), vizuální rysy (visual features) a textová anotace (text annotation). Kolekce obrázků obsahuje nezpracované originální obrázky, jichž je následně užito při práci se systémem (v různých fázích vyhledávání obrazových objektů je možno identifikovat různé potřeby, např. požadavek na jejich rozdílnou kompresi). Touto oblastí se zabývají zejména skupiny operující se zpracováním obrazu. Oblast vizuálních rysů obsahuje konkrétní rysy extrahované z jednotlivých obrázků, což umožňuje následné vyhledávání. Tímto se zabývají zejména skupiny počítačového vidění a rozpoznávání. Oblast textové anotace pak obsahuje klíčová slova a volný popis obrázků. Zabývají se jí skupiny se zájmem o vyhledávání informací, tedy knihovníci a skupiny spřízněné.

Modul pro multidimenzionální indexování (multi-dimensional indexing) je základem pro rychlé a účinné vyhledávání obrazových objektů v rozsáhlých databázích. Jeho vývojem se zaobírají zejména odborníci z oblasti databázových a rozpoznávacích systémů či výpočetní geometrie.

Modul pro vyhledávání (retrieval engine) se skládá ze dvou částí - oblasti zpracování dotazu (query processing) a oblasti uživatelského (grafického) rozhraní dotazu (query interface). Toto rozhraní shromažďuje informační potřeby uživatelů a následně zobrazuje výsledky vyhledávání ve srozumitelném podání. Tímto problémem se zabývají výzkumníci z řad psychologů a tvůrců uživatelských rozhraní. Jelikož je možno zpracovat stejný dotaz několika různými způsoby, existuje k těmto účelům i modul zpracování dotazu, jenž upravuje uživatelský dotaz tak, aby jej bylo možno zpracovat co nejefektivněji. Touto problematikou se zabývají odborníci z řad správy databází.

U popsané architektury lze identifikovat dvě základní charakteristiky. Tou první je multidisciplinární a interdisciplinární podstata, druhou pak interaktivnost mezi člověkem a počítačem. Ze zmíněného pak jednoznačně vyplývá, že k efektivnímu fungování všech vyhledávácích systémů je nezbytně nutná integrace několika zcela odlišných prvků do jednoho rámce - lidský element, komputerizovaný element a řada vědeckých i technických disciplín (psychologií počínaje a správou databází konče) tak utvářejí komplexní celek umožňující vyhledání požadované informace.

2.2  Činnost vyhledávacího systému

Činnost vyhledávacího systému závisí na mnoha hlediscích - návrháři těchto systémů se proto musí vypořádat s řadou problémů, jež jejich vznik provázejí. Základními požadavky na podobný systém jsou: schopnost uchovávat data, schopnost analyzovat obrazové objekty, schopnost vytvořit index a pochopitelně i schopnost účinně vyhledávat. Schéma[6] tuto činnost poměrně spolehlivě vykresluje.

Obr. 3: Obecná struktura systému vyhledávání obrazových informací

Podobný vyhledávací systém vykazuje následující činnost - nejprve proběhne sběr dat (v tomto případě z prostředí webu), následně jsou tato data analyzována a jsou utvořeny deskriptory, jichž je posléze užito při indexaci a vyhledávání. Systém je poté schopen přijímat uživatelské dotazy a zpracovávat je, přičemž výsledky vyhledávání jsou nabídnuty uživateli, který je může blíže specifikovat díky zavedení zpětné vazby do systému.

2.3  Požadavky na vyhledávací systém

Kromě základních požadavků na přesnost a úplnost vyhledávání, a tím i relevanci nabídnutých výsledků, musí současné vyhledávací systémy splňovat následující kritéria. Měly by vyhovovat moderním standardům v oblasti internetových technologií, stejně jako by měly být schopny reflektovat situaci na tomto poli a pružně reagovat na možný budoucí vývoj. Zcela nezbytným trendem je pak požadavek na uživatelsky přívětivé prostředí (mělo by být jednoduché a intuitivní) a s tím související ergonomické pojetí systému - ukazuje se, že způsobilé rozhraní ve všech fázích činnosti (tzn. při zadávání dotazu i při zobrazování a třídění výsledků) může napomoci k relevantnějším výsledkům vyhledávání, stejně jako k větší snaze uživatele těchto výsledků dosáhnout. Předpokladem účelného fungování jsou také požadavky na různé způsoby vyhledávání (chápáno v obecném smyslu i ve smyslu specializace dle jednotlivých uživatelských skupin) a doplňující služby.

Seznam použitých zdrojů

EAKINS, John. Towards intelligent image retrieval. Pattern Recognition. January 2002, Vol. 35, No. 1, s. 3-14. ISSN 0031-3203.

EAKINS, John - GRAHAM, Margaret. Content-based Image Retrieval: A report to the JISC Technology Applications Programme. Newcastle upon Tyne: University of Northumbria, 1999 [online]. [cit. 2008-03-09]. Dostupný z WWW: http://www.jisc.ac.uk/uploaded_documents/jtap-039.doc.

JORGENSEN, Corinne. Indexing Images: Testing an Image Description Template. In Proceedings of the 59th Annual Meeting of the American Society for Information Science. ASIS: Baltimore, 1996 [online]. [cit. 2008-04-16]. Dostupný z WWW: <http://www.asis.org/annual-96/ElectronicProceedings/jorgensen.html>.

KHERFI, Mohammed L. - ZIOU, Djemel - BERNARDI, Alan. Image Retrieval from the World Wide Web: Issues, Techniques and Systems. ACM Computing Surveys. March 2004, Vol. 36, Is. 1, s. 35-67. ISSN 0360-0300.

MITRA, Mandar - CHAUDHURI, Bidyut Baran. Information Retrieval from Documents: A Survey. Information Retrieval. May 2000, Vol. 2, No. 2-3, s. 141-163. ISSN 1573-7659.

RUI, Yong - HUANG, Thomas S. - CHANG Shih-Fu. Image Retrieval: Current Techniques, Promising Directions, and Open Issues. Journal of Visual Communication and Image Representation. March 1999, Vol. 10, No. 1, s. 39-62. ISSN 1047-3203.

TURNER, James M. Indexing pictures: some considerations. Montréal: Council on Botanical and Horticultural Libraries, 1997. [online]. [cit. 2008-03-11]. Dostupný z WWW: <http://www.mapageweb.umontreal.ca/turner/english/texts/cbhl97.htm>.

[1] MITRA, Mandar - CHAUDHURI, Bidyut Baran. Information Retrieval from Documents: A Survey. Information Retrieval. May 2000, Vol. 2, No. 2-3, s. 142. ISSN 1573-7659.

[2] TURNER, James M. Indexing pictures: some considerations. Montréal: Council on Botanical and Horticultural Libraries, 1997. [online]. [cit. 2008-03-11]. Dostupný z WWW: <http://www.mapageweb.umontreal.ca/turner/english/texts/cbhl97.htm>.

[3] EAKINS, John - GRAHAM, Margaret. Content-based Image Retrieval: A report to the JISC Technology Applications Programme. Newcastle upon Tyne: University of Northumbria, 1999 [online]. [cit. 2008-03-09]. Dostupný z WWW: <http://www.jisc.ac.uk/uploaded_documents/jtap-039.doc>.

[4] JORGENSEN, Corinne. Indexing Images: Testing an Image Description Template. In Proceedings of the 59th Annual Meeting of the American Society for Information Science. ASIS: Baltimore, 1996 [online]. [cit. 2008-04-16]. Dostupný z WWW: <http://www.asis.org/annual-96/ElectronicProceedings/jorgensen.html>.

[5] RUI, Yong - HUANG, Thomas S. - CHANG Shih-Fu. Image Retrieval: Current Techniques, Promising Directions, and Open Issues. Journal of Visual Communication and Image Representation. March 1999, Vol. 10, No. 1. ISSN 1047-3203. S. 54-55.

[6] KHERFI, Mohammed L. - ZIOU, Djemel - BERNARDI, Alan. Image Retrieval from the World Wide Web: Issues, Techniques and Systems. ACM Computing Surveys. March 2004, Vol. 36, Is. 1.  ISSN 0360-0300. S. 47.