Systémy vyhledávání obrazových informací. Část III.: Obrazové informace v praxi

Článek je výtahem z magisterské diplomové práce „Systémy vyhledávání obrazových informací“. Autor se v něm pokouší nahlédnout do problematiky obrazových informačních objektů, snaží se definovat jejich základní charakteristiky a vlastnosti, popisuje metody a možnosti jejich zpracování, indexace i vyhledávání, stejně jako představuje rozmanité modely jejich využití. Kromě toho se věnuje i popisu vyhledávacích systémů a možnostem jejich fungování a v neposlední řadě zde představuje a hodnotí konkrétní projekty, jež v současném internetovém prostředí procházejí značně progresivním vývojem. Jedná se o třetí část výtahu.

Poznámka redakce: třetí část výtahu pochází z diplomové práce: BLAŽEK, Jakub. Systémy vyhledávání obrazových informací. Brno: Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet knihovnictví, 2008. 102 s. + 9 s. příloh. Vedoucí diplomové práce Mgr. Petra Šedinová.

4. Využití obrazových informací

Spektrum využití obrazových informací je značně široké a dotýká se prakticky všech sfér lidské společnosti. Kromě užití obrázků k osobním účelům existuje celá řada profesních skupin, jež tento typ informace užívají v praxi - počínaje uměním, přes žurnalistiku a u lékařství konče. Na následujících řádcích je uveden přehled hlavních odvětví, kde je možno obrazovou informaci upotřebit.

Jak správně podotýkají Eakins a Grahamová[1], každá ze skupin užívajících obrazové objekty má navíc svá konkrétní specifika, kvůli čemuž je nutno systémy vyhledávání specializovat a přizpůsobit potřebám jednotlivých profesních kategorií. Některé uživatelské skupiny mají totiž dosti osobité požadavky - historik umění může např. vyhledávat konkrétní Van Goghovu malbu, žurnalista požaduje aktuální fotografii zachmuřeného Tonyho Blaira, zatímco jiní hledají materiál vzbuzující určitý vjem či náladu (např. štěstí či koncentrace). Oproti tomu např. módní návrháři či architekti mnohdy nevyžadují konkrétní obrazový objekt - požadují pouze možnost prohledávání rozsáhlých databází snímků, poskytujících jim inspiraci pro aktuální tvorbu.

Složitost celého problému dle mého soudu nejvýstižněji popisuje citát Howarda Bessera v článku Visual Access to Visual Images: The UC Berkeley Image Database Project:

Sada fotografií zachycujících rušnou ulici minulého století může být užitečná pro historiky požadující dobovou momentku, pro architekty zajímající se o podobu budov, pro urbanisty hledající dobové dopravní či stavební návrhy, pro historiky kultury zainteresované ve změnách odívání, pro lékařský výzkum studující kuřácké zvyky, pro sociology ilustrující třídní rozdělení či pro studenty zajímající se o užití rozličných fotografických postupů a technik. [2]

  

4.1 Intellectual Property

Jedna z hlavních aplikací systémů vyhledávání obrazových informací se nachází v momentálně dosti aktuálním odvětví problematiky duševního vlastnictví (Intellectual Property). Jedná se např. o oblast ochranných známek, jejichž užití je na současném Internetu zcela nezbytné. Jednou z používaných metod ochrany tohoto typu informace je vodotisk (watermarking), který umožňuje připojení jména (popř. jiné identifikace) tvůrce či vlastníka konkrétního obrázku. Tato metoda však není vždy zcela spolehlivá, pročež je vhodné i užití vyhledávácích systémů, které jsou schopny porovnat konkrétní obrázek s tím, jenž je uložen v některé z databází zabývajících se danou problematikou (u nás Úřad průmyslového vlastnictví), což situaci v oblasti Intellectual Property značně zpřehledňuje. Díky tomuto přístupu můžeme odhalit případné duplicity nebo informovat o existenci konkrétní ochranné známky, příp. informovat i o přílišné podobnosti námi registrované ochranné známky se známkou již existující. Zmíněné metody je pochopitelně možno užít i v případě fyzických osob - nemusí se tedy jednat jen o problematiku ochranných známek, ale také např. i o ochranu obsahu fotoalb spravovaných uživateli, apod.

4.2 Filtrování nevhodného obsahu na Internetu

Jednou z vhodných metod užití obrazových informací je i filtrace nevhodných (zejména pornografických) materiálů na síti. Snahou těchto projektů je zabránit dětem (v některých kulturách i ostatním návštěvníkům webu) přístup ke stránkám s podobně zaměřeným obsahem. Proto byly vyvinuty systémy rozpoznávající tento typ obrazových objektů, dosahující ve zmíněné oblasti poměrně efektivních výsledků (algoritmus je založen na schopnosti identifikovat texturu a barvu kůže nahých osob na fotografii). Přesto je však v tomto případě nutné upozornit i na negativní stránku věci - společnost je schopna vytvořit systémy, jejichž účelem je blokace nevhodného obsahu, čímž se však může nebezpečně přibližovat cenzuře (obzvlášť v systémech s nedemokratickým režimem).

4.3 Kriminalistika

Kriminalistika je poměrně rozšířenou oblastí, kde je možno užít výhod, jež v sobě obrazové informace skýtají. Instituce bojující proti zločinu vedou rozsáhlé databáze fotografií a právě zde se nabízí příležitost pro aplikaci vyhledávacích systémů. Jedná se především o identifikaci pohřešovaných osob či osob podezřelých z trestných činů (zejména systémy pro rozpoznávání tváří a otisků prstů, ale např. i pro rozpoznávání otisků bot či otisků pneumatik) či užití databází archivujících snímky odcizených uměleckých děl, popř. jiných předmětů (u nás lze podobné databáze nalézt na stránkách Ministerstva vnitra, kde se rovněž nacházejí i fotografie hledaných a pohřešovaných osob).

První počítačové systémy rozpoznávání otisků prstů byly vyvinuty již v osmdesátých letech minulého století a nyní jejich možností využívá policie po celém světě. V současnosti existuje celá řada těchto systémů, z nichž je možno zmínit např. systém AFIX Tracker[3] či Finger Search Engine[4]. V oblasti rozpoznávání tváří je možno upozornit na skutečnost, že značné množství podobných systémů využívá metody eigenface, kterou původně vyvinul Massachusetts Institute of Technology pro systém vyhledávání obrazových informací Photobook.[5]

4.4 Armáda

Kromě policie využívá systémů vyhledávání obrazových informací také armáda, zejména její zpravodajské služby (satelitní snímky, apod.). O těchto projektech však není z důvodu bezpečnostního utajení známo příliš mnoho informací. Lze však předpokládat, že patří mezi nejvyvinutější.

4.5 Žurnalistika, literatura

Jednou z vhodných metod užití obrazových informací je oblast žurnalistiky a literatury - zejména v médiích je nezbytné užití doplňujících obrazových záznamů pro ilustraci jednotlivých článků. Zařazení obrazových materiálů pro tyto účely však vyžaduje podrobnější indexaci, jelikož žurnalisté mnohdy vyhledávají konkrétní obrazové objekty dle mnoha hledisek. Jak uvádějí Markkulaová a Sormunen[6], žurnalisté požadují konkrétní obrazové objekty (osoby, stavby či místa), abstraktní i konkrétní témata, tzv. background information (informace sloužící vesměs k dokumentárním účelům) i již známé, dříve užité fotografie.

Mnoho vydavatelů a nakladatelů vlastní rozsáhlé databáze obrazových informací, příp. spolupracuje s renomovanými tiskovými agenturami, které podobné databáze spravují. Mezi nejznámější lze zařadit např. databázi fotografií agentury Getty Images.

4.6 Medicína

Medicína je poměrně důležitou oblastí, kde lze výhod obrazových informací využít. Jedná se zejména o rentgenové snímky či obrázky z tomografických přístrojů, které umožňují stanovit diagnózu. Vyhledávací systémy pak napomáhají lékařům zejména v případech, kdy jsou nuceni porovnat konkrétní problém s podobnými případy či sledovat vývoj problému jednoho pacienta v čase. Z konkrétních projektů je možno zmínit např. systém IRMA (Image Retrieval in Medical Applications)[7] či veřejně přístupný systém GoldMiner, umožňující prohledávání téměř 200 000 obrazových objektů z více než 200 lékařských časopisů.[8]

4.7 Umění, historie, archeologie

Oblast umění využívá poměrně často výhod, jež v sobě systémy vyhledávání skýtají. Jedná se zejména o podmínky, kdy je přístup k artefaktům omezen, příp. zcela nemožný (např. situace, kdy není možno originální dílo z různých důvodů zapůjčit - ať už kvůli jeho možnému poškození či z důvodu velké geografické vzdálenosti). V této oblasti vznikají rozsáhlé digitální knihovny uměleckých děl, které jsou díky tomuto přístupny uživatelům z řad odborníků i široké veřejnosti. 

Obrazových informací ve své praxi využívají také historikové a archeologové, kteří užívají buď databází, jež sami spravují (např. fotografie vlastních archeologických nálezů) nebo i těch, jež obsahují archivní snímky a nákresy. Pro některé skupiny (např. historiky umění) je navíc vizuální podklad takřka jedinou pomůckou při výzkumu.

4.8 Stavitelství, průmysl

Stavební i jiný průmysl může využívat systémů vyhledávání při procesu tvorby a výstavby, kdy je na fotografiích či dalších obrazových médiích zaznamenáván průběh práce, jednotlivé detaily i konkrétní problémy. Často se v těchto oblastech užívá tzv. CAD (Computer Aided Design) systémů, které slouží k tvorbě technických nákresů, zobrazení dvourozměrných i trojrozměrných modelů, apod.

4.9 Návrhářství, grafický design, architektura, reklama

V oblasti módního návrhářství, grafiky, architektury či reklamy lze nalézt efektivní využití obrazových informací zejména ve formě inspirace pro tvůrce samotné. Systémy disponující obsáhlými databázemi obrazových objektů mohou výrazně napomoci osobám, jež se kreativní činností živí.

4.10 Astronomie

I v oblasti astronomie lze obrazových informací využít - je možno jmenovat např. digitální sbírky fotografií vesmírných těles a objektů. Jejich nevýhodou jsou však nepříliš kvalitní obrazové záznamy (tyto jsou mnohdy poznamenány velkým šumem), což může jejich vyhledávání poněkud problematizovat.

4.11 Geografie

V oblasti geografie lze aplikovat vyhledávací systémy zejména u databází geografických informačních systémů, při dálkovém snímání Země z vesmírných družic a v podobných případech. V konečném důsledku pak mohou tyto obrazové informace výrazně napomoci i dalším spřízněným oblastem - např. oblasti zemědělství (výzkumné i praktické účely).

4.12 Turistický ruch

Poměrně často zmiňovaným odvětvím, kde lze možností obrazových informací využít, je i oblast turistického ruchu - konkrétně se to týká např. databází map, fotografií konkrétní země, města či místa. Samostatnou kapitolu pak v současném světě Internetu tvoří dosti užívané snímky leteckých map jednotlivých míst, příp. map turistických tras či map cyklostezek.

4.13 Vzdělávání

V oblasti vzdělávání je možno nalézt potenciál využití obrazových informací na obou stranách vzdělávacího procesu. Na straně vyučujícího lze prostřednictvím vhodné kolekce obrazových objektů ilustrovat či doplnit danou problematiku a tím vylepšit kvalitu vzdělávání, na straně studenta lze využít téhož při tvorbě projektů či prací. Kromě toho lze pochopitelně obrazové objekty užít i při vzdělávací činnosti samotné.

4.14 Zábava

Zábava je v současné době jednou z nejčastěji citovaných oblastí, kde lze výhod obrazových informací (resp. systémů vyhledávání) využít. Týká se to zejména prudce rostoucích možností Internetu a stále se zvyšujícího počtu jeho uživatelů (včetně těch, kteří na něm hledají především zábavu). Do této oblasti lze přitom zahrnout poměrně široké spektrum různorodých činností - počínaje správou vlastních fotoalb, vyhledáváním cizích fotografií a videoklipů, až po vyhledávání konkrétních televizních programů či filmů (příp. konkrétních scén). Obzvlášť v souvislosti s personalizací webu (Web 2.0) roste počet podobně zaměřených produktů a služeb geometrickou řadou (YouTube, MySpace, apod.). Proto lze i díky těmto skutečnostem předpokládat další rozvoj vyhledávacích systémů zaměřených především na běžného uživatele Internetu.

5. Systémy vyhledávání obrazových informací

Níže předkládám přehled a popis konkrétních systémů vyhledávání obrazových informací, přičemž se jedná především o volně přístupné produkty či služby. Rozhodně není cílem této práce uvedení všech dostupných projektů - mou snahou je pouze prezentovat vždy několik nejznámějších či nejzajímavějších zástupců jednotlivých kategorií. Kromě požadavků na přesnost a úplnost vyhledávání je v současnosti kladen důraz zejména na uživatelské prostředí, které by mělo být co nejpřívětivější. Pominu-li níže zmíněné vyhledávácí systémy založené na principu CBIR, jedná se většinou o systémy operující s vyhledáváním dle popisu. Většina z níže popsaných systémů je průběžně modifikována a vylepšována, čímž lze předpokládat jejich další možnosti budoucího využití. Všechny webové odkazy, jež jsou v následujícím textu uvedeny, byly přístupné ke dni 7. 4. 2008.

5.1 Internetové vyhledávače

Internetové vyhledávače jsou založeny na vyhledávání dle popisu. Jejich indexace však kvůli obrovskému rozsahu webu neprobíhá intelektuálním způsobem, ale formou automatického sběru dat prostřednictvím „sběračů". Tyto pravidelně prohledávají obsah webu a aktualizují databázi vyhledávače. Množinu indexovaných prvků tedy v těchto případech tvoří metadata daného obrazového objektu, příp. text s tímto objektem související (značnou nevýhodou v tomto případě je však skutečnost, že text přilehlý k obrázku nemusí s daným obrazovým objektem vůbec souviset - jestliže jej však systém přiřadí jako odpovídající danému objektu, dochází při vyhledávání k nerelevantním výsledkům). Možnosti Webu 2.0 však umožňují indexaci samotnými uživateli (to se týká zejména tzv. komunitních serverů, viz níže), čehož bude v budoucnu pravděpodobně náležitě využito.        

5.1.1 Internetové vyhledávače všeobecně zaměřené

Všeobecně zaměřené internetové vyhledávače byly utvořeny kvůli snaze prohledávat textový obsah webu (a to zejména za pomoci fulltextového vyhledávání), příp. se transformovaly do své současné podoby z předmětových katalogů. V souvislosti s rozvíjejícím se netextovým obsahem Internetu začaly tyto vyhledávače postupně umožňovat i indexaci a vyhledávání tohoto typu informačních objektů - současná doba tedy umožňuje mj. i vyhledávání obrazu, videa či zvuku. Přesto je v mnoha případech patrno, že se jedná o pouhou nadstavbu původního vyhledávače zaměřeného na text. Často tak tyto vyhledávací stroje využívají pro své potřeby systémy i databáze převzaté či propůjčené z vyhledávacích systémů specializovaných, příp. databáze populárních vyhledávačů, jež zmiňuji níže. Při vyhledávání obrázků na Internetu je možno využít i služeb tzv. metavyhledávačů (mj. Ithaki, Ixquick či Mamma), které nabízejí komplexnější výsledky.

Ask - vyhledávač byl při vyhledávání obrázků původně propojen se specializovaným vyhledávačem Picsearch, avšak v březnu 2005 začal vyvíjet vlastní algoritmus pro třídění výsledků. Později - v únoru 2006 - pak Ask uvedl do provozu vlastní search engine. Vyhledávač nezveřejňuje obsah databáze, avšak dle průzkumu z května 2006 indexoval třikrát menší množství obrázků než konkurenti Google a Yahoo!.[9] Ask umožňuje rozšířené vyhledávání obrázků (upřesnění velikosti, barvy a typu souboru - JPG, GIF, apod.), nabízí i rozšíření či zúžení dotazu, příp. zobrazení příbuzných obrazových objektů. Systém je dostupný na http://www.ask.com.

Obr. 1 Ask (výsledky textového vyhledávání)

Google - ani pravděpodobně nejpopulárnější z vyhledávačů současnosti již nezveřejňuje množství indexovaných dokumentů, což platí i o dokumentech obrazových. V roce 2005 však dle vlastního blogu[10] indexoval více než 1,2 miliardy obrazových objektů. Podobně jako Ask, nabízí i Google rozšířené možnosti vyhledávání - booleovské znaky a hledání frází, upřesnění velikosti, barvy či typu souboru, typ obsahu („libovolný obsah", „obsah zpráv", „obličeje") či webovou doménu, v níž se má vyhledávat. Systém je dostupný na http://images.google.com.

Yahoo! - podobně jako Google, poskytuje i Yahoo! nesmírně rozsáhlou databázi indexovaných objektů, počítaje v to i objekty obrazové. Velikost databáze sice rovněž není zveřejňována, avšak odhaduje se, že nabývá menšího objemu než ta, jíž indexuje konkurenční Google. I v případě Yahoo! lze představit některé z rozšířených možnosti vyhledávání - booleovské znaky, fráze, upřesnění velikosti, barvy, webové domény, filtrace závadného materiálu a možnost dalšího zpřesnění dotazu („also try"). Systém je dostupný na http://images.search.yahoo.com.

5.1.2 Internetové vyhledávače specializované na obraz

Internetové vyhledávače specializované na vyhledávání obrazových objektů jsou vesměs novějšího data a často poskytují poměrně relevantní výsledky. Jejich zásadní nevýhodou je však mnohdy znatelně menší velikost databáze (zejména v porovnání s výše uvedenými Google či Yahoo!). Poměrně obsáhlý seznam vyhledávačů, jež umožňují vyhledávání obrazových objektů, lze nalézt např. na portálu Fagan Finder[11].

ALIPR - jedním ze nejzajímavějších vyhledávacích systémů je dle mého názoru ALIPR (Automatic Linguistic Indexing of Pictures - Real Time), na jehož vývoji se podílejí Stanfordská univerzita a Penn State Technologies. Systém nabízí několik možností - kromě tradičního vyhledávání a brouzdání i vyhledávání dle podobnosti. Navíc obsahuje řadu dalších schopností - tagování obrázku automatické i tagování uživatelem, uživatelské hodnocení (jaké emoce v uživateli obrázek vzbuzuje), apod. Systém je dostupný na http://www.alipr.com/.

Momentálně je ve vývoji i spřízněný search engine SPE (The Story Picture Engine; více na http://www.alipr.com/spe/) umožňující konverzi uživatelem popsaného příběhu do sekvence obrázků.

Behold - podobně jako ALIPR, je i Behold založen na systému automatické anotace obrázků. Jedná se o systém prohledávající cca 1 000 000 obrazových objektů z databáze Flickr. Systém využívá možností počítačového vidění, podle nichž posuzuje jednotlivé objekty a seskupuje je do různých celků (obrázky, které vypadají jako lidské tváře, zvířata, budovy, rostliny, atd.), což umožňuje upřesnění dotazu po zadání běžného dotazu textového. Behold je dostupný na http://www.behold.cc/.

Obr. 2 Behold (položení textového dotazu s upřesněním)

Cortina - švýcarský search engine umožňující prohledávání obsahu webu. Disponuje sice poměrně rozsáhlou databází (obsah indexu cca 11 000 000 obrázků); dostupné je však pouze nejjednodušší textové vyhledávání s možností vyhledání podobných obrazových objektů. Systém lze nalézt na http://www.cortina.ch.

Ditto - jeden z nejznámějších search enginů specializovaných na obraz byl původně zaměřen pouze na vyhledávání obrázků, později však rozšířil své služby i o prohledávání textu a další možnosti (Web, Shopping, News). Jeho zásadní nevýhodou je naprostá absence rozšířeného vyhledávání a limitované množství nabídnutých výsledků (nabízí pouze 304 vyhledaných záznamů). Podle přehledové studie A Review of Image Search Engines[12] Ditto využívá služeb vyhledávače Picsearch. Systém lze nalézt na http://www.worthathousandwords.com/.

Flappr - jeden ze systémů umožňujících prohledávání databáze Flickr, přičemž při řazení obrázků bere v potaz jejich popularitu. Umožňuje vyhledávání dle tagů, jména uživatele, zajímavosti obrazových objektů, apod. Vyhledávání lze upřesnit následným doplněním tagů příbuzných. Systém je dostupný na http://bcdef.org/flappr/.

Obr. 3 Flappr (výsledky vyhledávání dle tagů)

Picsearch - švédský vyhledávač, který je mj. dodavatelem databáze obrázků pro řadu vyhledávačů či předmětových katalogů všeobecně zaměřených (např. Lycos, MSN či český Seznam) s indexem obsahujícím více než 2 miliardy obrazových objektů (každý měsíc je přitom indexováno několik miliónů objektů nových). Na rozdíl od Ditto nabízí Picsearch rozšířené možnosti vyhledávání - truncation, vyloučení jednotlivých termínů, upřesnění velikosti, barvy i celkového dotazu („also try") či omezení na vyhledání obrázků nebo animací. Kromě toho má Picsearch vlastní předmětový katalog a automaticky vylučuje obrázky s nevhodným (pornografickým) obsahem. Picsearch lze nalézt na http://www.picsearch.com/.

Picollator - systém umožňující vyhledávání lidských tváří na základě jejich podobnosti. Uživatel může vložit vlastní foto, popř. internetovou adresu fotografie či vybrat tvář z indexu, jenž systém utváří, a následně mu budou nabídnuty fotografie, které systém rozpozná jako podobné. Tvůrci systému jej v budoucnu hodlají rozšířit o vyhledávání na základě podobnosti i v jiných oblastech. Picollator lze nalézt na http://www.picollator.com/.

Obr. 4 Picollator (vyhledávání vizuálně podobných tváří)

Piximilar - server umožňující prohledávání cca 3 000 000 obrazových objektů z databáze Alamy (http://www.alamy.com) dle jejich popisu s následným upřesněním vizuálního dotazu (systém vybere obrázky podobné určenému obrazovému objektu), přičemž dosahuje poměrně efektivních výsledků. Piximilar je dostupný na http://labs.ideeinc.com/visual/.

Retrievr - jeden z několika systémů zaměřených na prohledávání databáze Flickr. Využívá metody query by example (vyhledávání příkladem); uživatel si může vybrat, zda použije obrázek vlastní, jež vloží do systému, příp. bude vyhledávat dle hypertextového odkazu nebo obrázek sám načrtne. Systém je dostupný na http://labs.systemone.at/retrievr/.

Riya - internetový vyhledávač prohledávající cca 10 000 000 obrazových objektů. Umožňuje limitovat vyhledávání na osoby, objekty, ovládá vyhledávání dle tagů, lze specifikovat i jméno osoby, místo či datum pořízení fotografie, apod. Systém je dostupný na http://www.riya.com/.

Obr. 5 xCavator (textové vyhledávání s vizuálním upřesněním) 

xCavator - portál pro vyhledávání obrázků v databázích obrazových objektů vyvinutý společností CogniSign. Efektivně kombinuje možnosti textového vyhledávání s vyhledáváním prostřednictvím vizuálního dotazu - hledání začíná položením dotazu textového (tento lze následně ještě upřesnit), uživatel poté zvolí objekt nejvíce vyhovující jeho požadavkům a nabídnuty jsou mu objekty, jež systém rozezná jako podobné (poté lze podobným postupem výsledky vyhledávání ještě více upřesnit). Systém umožňuje i další specifikaci prostřednictvím upřesnění barvy obrazového objektu. Systém je dostupný na http://www.xcavator.net/.

5.2 Obrazové kolekce

Obrazové kolekce fotografií je možno rozdělit na dvě základní kategorie - komunitní servery a komerční databáze. Základními vlastnostmi takových kolekcí jsou obzvlášť velké množství skladovaných obrazových objektů, značná heterogenita databáze a intelektuální indexace uživateli či správci databází.

5.2.1 Komunitní servery

V současné době je možné sledovat na Internetu značný rozvoj sociálně-komunitních serverů a služeb. Týká se to zejména diskusních fór, systémů pro sdílení a hodnocení hudby a videa, avšak existuje i řada serverů umožňujících ukládání a sdílení fotografických galerií různého zaměření, což je umožněno zejména díky klesajícím cenám stále kvalitnějších digitálních technologií. Řada uživatelů tak neváhá publikovat své snímky na Internetu a automaticky se tak podílí na utváření již zmíněného Webu 2.0. Některé z databází tohoto typu (např. Flickr) se těší značnému úspěchu, a tak není příliš velkým překvapením, že disponují i poměrně kvalitními vyhledávácími službami. Některé z podobných systémů umožňují i přidělování uživatelských tagů, příp. jiné možnosti hodnocení, což vyhledávání ještě zkvalitňuje.

Flickr - jeden z nejpopulárnějších serverů zaměřených na sdílení fotografií (založen r. 2004 a o rok později odkoupen společností Yahoo!). Pro oblast knihovnictví a informační vědy (a zejména Webu 2.0, jehož je Flickr jedním z nejtypičtějších a také prvních příkladů) je dosti podstatná možnost tagování obsahu jednotlivých obrázků uživateli. Databáze Flickr je heterogenní a značně rozsáhlá - obsahuje více než 2 miliardy obrázků a denně je do ní údajně přidáno cca 3-5 milionů fotografií[13] (pro zajímavost - v roce 2005 čítal obsah databáze pouhých 5,5 milionu obrazových objektů[14]). Její možnosti zahrnují brouzdání, vyhledávání dle tagů (včetně nejpopulárnějších fotografií), vyhledávání dle uživatele, místa, času pořízení fotografie či typu fotoaparátu, dále vyhledávání frází a booleovské vyhledávání („all of these words", „any of these words", „none of these words"). Systém je dostupný na http://www.flickr.com/.

Webshots - další heterogenní databáze obsahující cca 570 miliónů fotografií a umožňující brouzdání i rozšířené možnosti vyhledávání, jež jsou však poněkud omezené (fráze, jméno fotografa a booleovské vyhledávání - „all of these words", „at least one of the words", „none of the words"). Na databázi je tedy znát, že je zaměřena především na sdílení fotografií a jejich vyhledávání lze považovat jen za jakousi nadstavbu. Systém je dostupný na http://www.webshots.com/.

5.2.2 Komerční databáze fotografií

Komerčních databází fotografií je celá řada, mezi nejznámější patří např. níže popisované systémy Corbis a Getty Images. Tyto systémy sice umožňují vyhledávání a prohlížení obsahu, avšak užití fotografií je možné pouze za poplatek. Tyto databáze pochopitelně obsahují vysoce kvalitní snímky, čehož využívají zejména zástupci médií.

Corbis - společnost, již založil v r. 1989 Bill Gates. V databázi se nachází více než 100 miliónů obrázků, umožněno je filtrování (před i po vyhledávání) rozšířené vyhledávání (booleovské vyhledávání, fráze, truncation, možnost vyhledávat dle data pořízení fotografie, data přidání do databáze, orientace obrázku, jeho rozlišení, typu obrázku i dalších kritérií). Systém je dostupný na http://pro.corbis.com/.

Obr. 6 Corbis (rozšířené textové vyhledávání)

Getty Images - společnost fungující od roku 1995 a pravděpodobně nejvýznamnější konkurent výše zmíněné databáze Corbis. Spolupracuje s organizacemi typu CNN, National Geographic, Sony Music či Warner Bros. Entertainment. Getty Images obsahuje několik miliónů fotografií (přesná čísla nejsou bohužel známa) a umožňuje použití rozšířeného vyhledávání (plné booleovské vyhledávání, zástupné znaky, fráze, limitace dle orientace obrázku, typu fotografie, atd.). Systém je dostupný na http://www.gettyimages.com/.

5.3 Vyhledávací systémy založené na principu CBIR

CIRES - CIRES, neboli Content Based Image REtrieval System, byl vyvinut na Texaské univerzitě v Austinu. Jedná se o systém založený na kombinaci vysokoúrovňových a nízkoúrovňových rysů vizuálních informací (viz v práci uvedená typologie prvotní - sekundární - abstraktní znaky). U nízkoúrovňové analýzy je užito extrakce textury a barevného histogramu, vysokoúrovňová analýza je umožněna díky extrakci sémantické informace prostřednictvím grupovacích principů (obrázky, jež systém považuje za obsahově totožné, jsou zařazeny do skupin). Systém je dostupný na http://amazon.ece.utexas.edu/~qasim/research.htm.

FIRE - FIRE, neboli Flexible Image Retrieval Engine, byl vyvinut na univerzitě v Aachenu a slouží mj. jako součást specializovaného vyhledávacího systému SearchArtGalleries (http://searchartgalleries.com/) zaměřeného na oblast umění. Je zaměřen na vyhledávání typu content-based. Informace o systému je možno nalézt na http://thomas.deselaers.de/FIRE.[15]

MFIRS - Multi-Features Image Retrieval System vyvinula univerzita v indickém Mysore. Systém analyzuje kromě běžných obrazových objektů i objekty z oblasti medicíny (zobrazení výsledků magnetické rezonance), avšak více relevantních informací o projektu není známo. Systém je dostupný na http://www.pilevar.com/mfirs/.

QBIC - QBIC (Query by Image Content) vyvinutý společností IBM je prvním komerčním systémem založeným na vyhledávání obrazových informací dle obsahu - nabízí vyhledávání dle kombinace barvy, textury a jejich umístění v objektu. Dotazy uživatelů mohou být formulovány buď výběrem z palety barev, označením příkladu či načrtnutím požadovaného tvaru. Podobně jako u většiny těchto systémů jsou v databázi uloženy charakteristické znaky jednotlivých obrázků (barva, textura, tvar) a při vyhledávání samotném je určena nejlepší možná kombinace těchto vektorů s položeným dotazem. Nejvíce relevantní výsledky jsou pak nabídnuty uživateli. Doplňující informace o systému je možno nalézt na http://wwwqbic.almaden.ibm.com/. Příkladem užití QBIC je např. QBIC Colour and Layout Search - aplikace systému v petrohradském muzeu Ermitáž.

SIMPLIcity - Semantics-sensitive Integrated Matching for Picture Librarians vyvinula Stanford University ve spolupráci s University of Penn (tatáž skupina se podílí i na tvorbě dalších systémů, z nichž některé - ALIPR či The Story Picturing Engine - jsou zmíněny výše). Aplikaci systému je možno nalézt u projektů obrazových knihoven Airliners (http://www.airliners.net), jenž je orientován na oblast letectví, Mindat (http://mindat.org), který je specializován na oblast mineralogie či Terragalleria (http://www.terragalleria.com) zaměřeného zejména na fotografie přírodních útvarů. Systém je založen na vyhledávání dle vizuální podobnosti, což je umožněno porovnáním barev, kontrastu a tvaru jednotlivých obrazových objektů. Simplicity je možno nalézt na adrese http://wang14.ist.psu.edu/cgi-bin/zwang/regionsearch_show.cgi.

Obr. 7 Tiltomo (vyhledávání dle vizuální podobnosti)

Tiltomo - další systém umožňující vizuální vyhledávání; je zaměřen na prohledávání části databáze Flickr. Uživatel si může zvolit, zda chce vyhledávat obrázky s podobným tématem či obrázky podobných vlastností (barva + textura). Tiltomo je dostupný na http://www.tiltomo.com/.

5.4 Aplikace vyhledávacích systémů

Níže je uvedeno několik rozdílných příkladů aplikací systémů vyhledávání obrazových informací (čímž se snažím demonstrovat jejich široké spektrum využití). Většinou se jedná o specificky zaměřenou sbírku digitálních objektů (volně přístupné jsou přitom nejčastěji databáze muzejních sbírek, apod.), čemuž jsou obvykle uzpůsobeny i možnosti a metody vyhledávání. Jelikož běžné internetové vyhledávače nejsou schopny indexovat obrázky v těchto databázích obsažené, obsahují zmíněné systémy vlastní search engine, aplikovaný na míru konkrétním potřebám.

Airliners.net - server specializovaný na oblast letectví; jeho součástí je i obsáhlá databáze fotografií (více než milion obrazových objektů) s efektivně pracujícím search enginem (Aviation Photo Search Engine). Kromě toho, že je schopen vyhledávat dle mnoha kategorií (zejména dle různých typů a zařazení letadel) a dle klíčových slov, umožňuje i vyhledávání na základě obrazové podobnosti. Toho je dosaženo díky porovnání barev, kontrastu a tvaru, přičemž je využito výše uvedeného systému SIMPLIcity. Systém Airliners je dostupný na http://www.airliners.net/search/.

Digital Scriptorium - databáze starých tisků (období středověku a renesance). Kromě brouzdání (mnoho různých hledisek) je umožněno i rozšířené vyhledávání (klíčová slova, proximitní vyhledávání, vyhledávání v jednotlivých polích, vyhledávání dle data, booleovské vyhledávání - AND + OR, atd.). Databáze obsahuje cca 24 000 obrázků a je dostupná na odkazu http://www.scriptorium.columbia.edu/.

Obr. 8  Digital Scriptorium (aplikace vyhledávacího systému v databázi starých tisků)

Imagine - databáze obsahující 15 000 objektů z kolekcí muzeí Tyne a Wear. Zabývá se oblastí archeologie, umění, historie a přírodních věd. Kromě tradičních vyhledávacích metod a brouzdání umožňuje také zadání vizuálního dotazu prostřednictvím uživatelského náčrtu požadovaného objektu (pravdou však je, že eventuální položení tohoto typu dotazu nelze považovat za příliš efektivní). Databázi je možno nalézt na http://www.imagine.org.uk/.

Like.com - jedna z nejzajímavějších aplikací systémů vyhledávání obrazových informací. Server Like.com je propojen s řadou internetových obchodů a kromě jiného umožňuje i vyhledávání konkrétních produktů (oblečení, hodinky, obuv, apod.) nejrůznějších značek na základě vizuální podobnosti produktů (prostřednictvím vizuálního dotazu je možno definovat i jednotlivé části těchto produktů). Tato aplikace dle mého názoru poukazuje na možný budoucí vývoj podobně zaměřených vyhledávacích systémů, stejně jako na vývoj Internetu jako celku. Systém lze nalézt na http://www.like.com/.

Obr. 9 Like.com (výsledky vyhledávání s upřesněním detailů)

NYPL Digital Gallery - cca 275 000 obrazových objektů (mapy, fotografie, staré tisky, plakáty, apod.) z kolekce Newyorské veřejné knihovny (The New York Public Library). Kromě brouzdání je umožněno i rozsáhlé rozšířené vyhledávání - zástupné znaky, booleovské operátory, fráze, vyhledávání v jednotlivých polích (předmět, jméno, apod.), limitování obsahu dle data či umístění dokumentu, atd. Kolekci je možno nalézt na http://digitalgallery.nypl.org/nypldigital_dev/.

VADS - je propojen s cca 40 digitálními knihovnami poskytujícími umělecká díla (celkovou kolekci databáze VADS tvoří cca 100 000 obrazových objektů z oblasti umění). Umožňuje vyhledávání brouzdáním a nabízí také rozšířené vyhledávání, přestože to je v případě VADS menšího rozsahu (booleovské operátory, možnost omezení na jednotlivé digitální knihovny). Systém je dostupný na http://vads.ahds.ac.uk/.

Závěr

Současné trendy v oblasti systémů vyhledávání obrazových informací se dají shrnout do následujících řádků. Systémy založené na vyhledávání dle popisu jsou schopny poměrně efektivního fungování, avšak problém nastává při intelektuálním indexování větších množství obrazových objektů, což lze považovat za časově nesmírně náročné (automatické indexování bývá v těchto případech často nespolehlivé). U systémů vyhledávání dle obsahu patří mezi nutně řešitelné úkoly problematika neefektivního vyhledávání na úrovních dva a tři (dle rozlišení popsaného v druhé kapitole) a překonání sémantické mezery. Vyřešení myšlenky vzniku sémantického webu by však mohlo výrazně napomoci fungování podobně zaměřených systémů. Další nesnází, již je možno v oblasti tohoto typu systémů vyhledávání obrazových informací zmínit, je skutečnost, že vykazují efektivitu zejména při specializovaných aplikacích. V oblasti všeobecného vyhledávání jsou účinné již méně. Pakliže budou výše vyřčené otázky vyřešeny, lze očekávat dynamický rozvoj systémů vyhledávání na všech úrovních, stejně jako jejich efektivnější využití v rozmanitých oblastech lidského života a praxe, což by v konečném důsledku znamenalo jednodušší a úspěšnější uživatelskou činnost.

Problematiku systémů vyhledávání obrazových informací (a to zejména těch, které pracují na principu CBIR) je možno chápat jako interdisciplinární, což z ní činí poměrně komplikovanou záležitost. Jedná se o oblast kombinující poznatky ze širokého spektra oblastí - je možno zmínit např. vyhledávání informací, zpracování obrazu (příp. videa), počítačové vidění a rozpoznávání, psychologii, strojové učení, rozhraní člověk - počítač (human-computer interaction), databázové systémy, data mining, statistiku, či teorii informace. Existence skutečně efektivních a přitom plně automatických metod indexace je i z těchto důvodů stále ještě poměrně vzdálenou vizí. Zcela nezbytnou se pak zdá být spolupráce odborníků na poli počítačového vidění a rozpoznávání, databázových systémů či technik zabývajících se uživatelským rozhraním. Hlavní vědecko-výzkumné aktivity na tomto poli probíhají především v USA, příp. v dalších zemích s rozsáhlou vědeckou činností v oblasti informačních technologií (Japonsko, Singapur, Austrálie, Francie, Itálie, Velká Británie, Nizozemí, Německo).

Jedním z možných řešení problematiky by mohl být v práci několikrát citovaný Web 2.0 (příp. jeho následovník Web 3.0, o němž se již také hovoří) a zpětná vazba uživatelů podobně zaměřených systémů, což však bohužel nemůže vyřešit všechny nesnáze tyto vyhledávací systémy provázející. Kromě data miningu a řízení informačních systémů je zcela nezbytná také uživatelsky přívětivá navigace (podmínkou by měly být možnosti kladení vizuálního i textového dotazu), a to na všech jejích úrovních. Podstatnou roli zde hraje také standardizace umožňující efektivnější správu obrazových objektů, a tudíž i následné vyhledávání.

Prim by mohly hrát také možnosti automatické anotace obrazových objektů (někdy také nazýváno jako auto-anotace či lingvistické indexování). Jedná se o proces, kdy systém automaticky přiřazuje jednotlivým obrazovým objektům metadata (ve formě popisných titulků či klíčových slov), což je umožněno díky systémům počítačového vidění a rozpoznávání, přičemž posléze může být z těchto metadat utvořen i klasifikační systém. Základem této metody jsou schopnosti systémů umělé inteligence (konkrétně systémů strojového učení), jež dokáží analyzovat jednotlivé obrázky (extrahováním vektorů podstatných znaků jednotlivých objektů) a díky předchozímu tréninku dokáží automaticky přiřadit klíčová slova novým obrazovým objektům. Výhodou systémů užívajících automatické anotace obrázků je přirozenější pokládání dotazů uživateli. CBIR metody totiž obvykle umožňují vyhledávání dle charakteristických znaků (barva, textura, tvar, apod.), příp. vyhledávání dle podobných obrázků, což není vždy zcela vhodné - vyhledávání dle charakteristických znaků je mnohdy (zvláště pro laického uživatele) složité, vyhledávání dle podobných obrázků zase nemusí být příliš efektivní. Systémy umožňující vyhledávání podle popisu (jež je definován lidským indexátorem) jsou zase příliš nákladné a náročné na časovou jednotku. Proto přisuzuji systémům schopným automatické indexace obrázků značnou budoucnost - vše se však bude pochopitelně odvíjet z vývoje jednotek umělé inteligence. V současné době lze za typický příklad těchto typů systémů považovat ALIPR či Behold, jež byly v práci popsány.

Přestože lze hodnotit systémy vyhledávání obrazových informací jako teprve se rozvíjející, objevují se kromě pochopitelných nároků na relevanci vyhledávání také požadavky na kvalitu, resp. estetickou stránku vyhledaných obrazových objektů (kvalitu je v tomto případě možno chápat jako souhrn objektivně vnímatelných znaků typu: velikost obrázku, poměr stran či barevná hloubka; estetická stránka věci je pak čistě subjektivním dojmem). Problém je z pochopitelných důvodů zejména s estetickou stránkou, kdy jednotlivé obrazové objekty mohou vzbuzovat v různých lidech zcela rozdílné emoce. Datta dokonce tento problém přirovnává k existenci tzv. sémantické mezery, o níž jsem se v práci zmínil, a navrhuje ekvivalentně tomu tzv. estetickou mezeru neboli aesthetics gap („Estetická mezera je nedostatek souladu mezi informací extrahovatelnou z nízkoúrovňových vizuálních dat (např. pixelů v digitálních obrázcích) a interpretací emocí, jež mohou tato data vyvolávat v jednotlivých uživatelích a v daných situacích") .[16] Východiskem z této situace by pak mohla být zpětná vazba ze strany uživatelů, kteří by kromě relevance vyhledaných obrázků mohli subjektivně ohodnotit také jejich estetickou stránku, čímž by dopomohli jejich zařazení na první místa při zobrazení výsledků vyhledávání uživatelem.

Vyhledávání obrázků na Internetu tvoří v současné době dle odhadů přibližně deset procent veškeré vyhledávací činnosti uživatelů[17] a už jen z toho důvodu je nezbytně nutné optimalizovat stávající možnosti vyhledávání těchto typů objektů, či - ještě lépe - vytvořit zcela nové podmínky, jež umožní relevantní vyhledávání ve všech situacích.

Seznam použitých zdrojů

EAKINS, John. Towards intelligent image retrieval. Pattern Recognition. January 2002, Vol. 35, No. 1, s. 3-14. ISSN 0031-3203.

EAKINS, John - GRAHAM, Margaret. Content-based Image Retrieval: A report to the JISC Technology Applications Programme. Newcastle upon Tyne: University of Northumbria, 1999 [online]. [cit. 2008-03-09]. Dostupný z WWW: <http://www.jisc.ac.uk/uploaded_documents/jtap-039.doc>.

MARKKULA, Marjo - SORMUNEN, Eero. Searching for Photos - Journalists´ Practices in Pictorial IR. In The Challenge of Image Retrieval. Newcastle upon Tyne, 1998. [online]. [cit. 2008-04-06]. Dostupný z WWW: <http://www.bcs.org/upload/pdf/ewic_im98_paper8.pdf>.

Technical Advisory Service for Images. A Review of Image Search Engines [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/resources/searchengines.html>.

Technical Advisory Service for Images. Finding Art, Architecture and Design Images [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding_art.html>.

Technical Advisory Service for Images. Finding Current Events Images [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding_news.html>.

Technical Advisory Service for Images. Finding Historical Images [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding_history.html>.

Technical Advisory Service for Images. Finding Images Online [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding_maps.html>.

Technical Advisory Service for Images. Finding Maps [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding_history.html>.

Technical Advisory Service for Images. Finding Scientific Images [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding_science.html>.

Technical Advisory Service for Images. Finding Stock Images [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding_stock.html>.

Technical Advisory Service for Images. Image Sites [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/advice/using/finding.html%3e.

The Official Google Blog. Get the picture. [online]. 7.2.2005 [cit. 2008-03-11]. Dostupný z WWW: <http://googleblog.blogspot.com/2005/02/get-picture.html>.



[1] EAKINS, John - GRAHAM, Margaret. Op. cit., s. 12.

[2]A set of photographs of a busy street scene a century ago might be useful to historians wanting a ‘snapshot' of the times, to architects looking at buildings, to urban planners looking at traffic patterns or building shadows, to cultural historians looking at changes in fashion, to medical researchers looking at female smoking habits, to sociologists looking at class distinctions, or to students looking at the use of certain photographic processes or techniques." Citováno dle: EAKINS, John - GRAHAM, Margaret. Op. cit., s. 18.

[3] Informace o systému je možno nalézt na http://www.afix.net/.

[4] Informace o systému je možno nalézt na http://www.east-shore.com/.

[5] EAKINS, John - GRAHAM, Margaret. Op. cit., s. 32.

[6] MARKKULA, Marjo - SORMUNEN, Eero. Searching for Photos - Journalists´ Practices in Pictorial IR. In The Challenge of Image Retrieval. Newcastle upon Tyne, 1998. [online]. [cit. 2008-04-06]. Dostupný z WWW: <http://www.bcs.org/upload/pdf/ewic_im98_paper8.pdf>. S. 6.

[7] Informace o systému je možno nalézt na http://phobos.imib.rwth-aachen.de/irma/.

[8] Systém je dostupný na http://goldminer.arrs.org/.

[9] Technical Advisory Service for Images. A Review of Image Search Engines [online]. 2006 [cit. 2008-03-11]. Dostupný z WWW: <http://www.tasi.ac.uk/resources/searchengines.html>.

[10] The Official Google Blog. Get the picture. [online]. 2005 [cit. 2008-03-11]. Dostupný z WWW: <http://googleblog.blogspot.com/2005/02/get-picture.html>.

[11] Portál je dostupný na http://www.faganfinder.com/img.

[12] Technical Advisory Service for Images. A Review of Image Search Engines [online]. Op. cit.

[13] ARRINGTON, Michael. 2 Billion Photos On Flickr. TechCrunch. [online]. 2007 [cit. 2008-04-07]. Dostupný z WWW: <http://www.techcrunch.com/2007/11/13/2-billion-photos-on-flickr/>.

[14] Technical Advisory Service for Images. A Review of Image Search Engines [online]. Op. cit.

[15] Systém není běžně dostupný, k dispozici je pouze demoverze na internetovém odkazu http://www-i6.informatik.rwth-aachen.de/~deselaers/cgi_bin/fire.cgi?port=12961.

[16]The aesthetics gap is the lack of coincidence between the information that one can extract from low-level visual data (i.e., pixels in digital images) and the interpretation of emotions that the visual data may arouse in a particular user in a given situation." Citováno dle: DATTA, Ritendra, et al. Op. cit, s. 46.

[17] Dle výzkumů společnosti Hitwise z července 2007. Převzato z Larges sites in Bulgaria are powered by Picsearch [online]. 22.11.2007 [cit. 2008-03-24]. Dostupný z WWW: <http://about.picsearch.com/p_releases/largest-sites-in-bulgaria-are-powered-by-picsearch/>.

Fotogalerie

Líbil se vám článek?
Stáhnout článek v PDF

0 komentářů

Přidat komentář

(If you're a human, don't change the following field)
Your first name.
(If you're a human, don't change the following field)
Your first name.

Přečtěte si také

Přihlášení Registrace
RSS Facebook Twitter YouTube
Zobrazit standardní verzi webu

Taky děláme

Feedback