Dotazník k automatickému titulkování ČT

zpracováván do SKRYTÝCH TITULKŮ (teletext 888).

Procedura zpracování skrytých titulků zabírá nějaký čas, takže titulky jsou opožděny za obrazem o cca 5 sekund. Tento dotazník slouží k zpětné vazbě, tj. Vašich připomínek. Pilotní vysílání běží do června.

prosíme o vyplnění dotazníků na http://kochlear.cz/dotazniky/dot_autost/

Vážení kolegové a přátelé,

26. listopadu 2008 proběhl první test s on-line skrytým titulkováním „živého“ pořadu, který vysílala Česká televize na programu ČT24. Jde o první konkrétní výstup projektu „Eliminace jazykových bariér diváků České televize“ (zkr. ELJABR), který usiluje o podporu sluchově handicapovaných občanů při jejich sledování programů České televize. Cílem je postupně titulkovat většinu nejsledovanějších „živých“ pořadů (zpravodajské, diskusní, sportovní apod.), které Česká televize vysílá a které by měla cca z 70% (dle zákona) opatřovat skrytými titulky.

      On-line titulkování „živých“ poÅ™adů je velmi náročná vÄ›c, kterou, jak určitÄ› víte, lze provádÄ›t například najatými stenografy, kteří on-line pÅ™episují dialog na stenografickém psacím stroji, nebo tzv. velotypisty či běžnými písaÅ™i na psacích strojích. ObecnÄ› lze říci, že vÅ¡echny výše zmínÄ›né možnosti rychlého pÅ™episu jsou mimořádnÄ› namáhavé a vyčerpávající a vyžadovaly by celý tým takových vysoce specializovaných pÅ™episovačů, aby mohlo být pokryto co nejvíce poÅ™adů. Protože tito lidé v podstatÄ› nejsou k dispozici (neexistují), je k on-line titulkování „živých“ poÅ™adů v současnosti zkouÅ¡eno v zahraničí využití techniky automatického rozpoznávání Å™eči (v Anglii již funguje, v jiných zemích západní Evropy se pÅ™ipravuje či zkouší). Tímto smÄ›rem jde i náš projekt ELJABR. PÅ™i Å™eÅ¡ení existují v podstatÄ› dvÄ› možnosti, jak skryté titulky vytvoÅ™it:

    * První způsob, který se ihned nabízí, je využít přímo zvukového doprovodu (zvukovou stopu) TV poÅ™adu, a tu pÅ™ivést do počítače a pokusit se dialog automaticky pÅ™epsat. O tomto způsobu lze vÅ¡ak uvažovat pouze v případÄ›, když nejde o skutečný dialog (Å™ečníci nemluví najednou, neskáčí si do Å™eči apod.), když Å™ečník mluví do mikrofonu a dodržuje základní pravidla české gramatiky (nemluví nespisovnÄ›). Dále by mÄ›lo být pozadí, ve kterém je Å™eč promlouvána, pokud možno tiché. Vyšší pÅ™esnosti vytvářených titulků lze též dosáhnout, mluví-li do mikrofonu Å™ečník, na jehož hlas je systém adaptován, než když se střídá velká skupina Å™ečníků.
    * Druhý způsob se týká automatického titulkování poÅ™adů, kde nelze očekávat výše uvedené podmínky, tj. jde o skutečnÄ› živé diskuse (Å™ečníci mluví emotivnÄ›, skáčou si do Å™eči ap.), dále poÅ™adů s hlukem či vzdálenou Å™ečí na pozadí (napÅ™. komentáře sportovních poÅ™adů), projev Å™ečníků je spontánní, nespisovný, není pronášen do mikrofonu apod. Zde je tÅ™eba využít tzv. stínového Å™ečníka, který poslouchá dialog a pÅ™emlouvá ho neutrálním způsobem do systému rozpoznávání Å™eči. Stínový Å™ečník je „profese“, tj. jde o jakéhosi tlumočníka z čeÅ¡tiny do čeÅ¡tiny, který je dokonale obeznámen s funkcí systému, systém je naladÄ›n na jeho hlas, pÅ™ičemž Å™ečník je vyÅ¡kolen tak, aby jeho projev byl automaticky pÅ™episován s co nevyšší pÅ™esností. Cílem „stínového“ pÅ™episu není stoprocentnÄ› pÅ™epsat vÅ¡e, co v dialogu zaznÄ›lo (napÅ™. nemá cenu pÅ™emlouvat a tedy pÅ™episovat koktání diskutujících, opakování slov, apod.), ale s co nejvyšším vÄ›cným obsahem pÅ™epsat (pÅ™esnÄ›ji on-line „pÅ™emluvit“) probíhající dialog.



  Náš tým na katedÅ™e kybernetiky ZÄŒU v Plzni pÅ™ipravuje oba výše zmínÄ›né způsoby vytváření skrytých titulků. Analýzou vysílaných poÅ™adů a provedením mnoha experimentů jsme dospÄ›li k závÄ›ru, že využití prvního způsobu vytváření titulků (tj. zpracováním přímo doprovodné zvukové stopy) se může týkat jen velmi malé skupiny poÅ™adů. Z hlediska pomÄ›rnÄ› vÄ›tšího rozsahu vysílacího času a dostupnosti dat pro natrénování systému jsme se rozhodli vyvinout systém pro titulkování pÅ™enosů jednání Poslanecké snÄ›movny ÄŒR. I když tento poÅ™ad asi nebude organizacemi sluchovÄ› handicapovaných diváků ÄŒT vnímán jako ten, který by je nejvíce zajímal, pÅ™esto jsme se z důvodů dalšího urychlení celého projektu pro nÄ›j rozhodli. Důvodem bylo, vyzkouÅ¡et si, zda jsme vůbec schopni takovou úlohu zvládnout (pro čeÅ¡tinu s bohatou flexí slov – velkým slovníkem to jeÅ¡tÄ› nikdo nezkouÅ¡el); dále ověřit, jaké technické problémy proces titulkování pÅ™ináší (nejde jen o vlastní rozpoznání Å™eči, ale o celý proces propojení s televizním vysíláním).

  Je tÅ™eba konstatovat, že se po pomÄ›rnÄ› velkém úsilí podaÅ™ilo zrealizovat systém, který dokáže pÅ™episovat přímo ze zvukové stopy jednání poslanců do textové podoby s relativnÄ› vysokou pÅ™esností. Po ukázkách funkce systému v ÄŒT (v létÄ› 2008) bylo rozhodnuto pÅ™istoupit k experimentálnímu vysílání, a to ihned, jakmile budou doÅ™eÅ¡eny další technické problému (umístÄ›ní systému, pÅ™enos dat, vkládání titulků apod.). VÅ¡e se podaÅ™ilo a první pokusné vysílání probÄ›hlo na ÄŒT24, jak již bylo zmínÄ›no, 26.11.2008 od 1.05 do 3.00, a do konce roku pak jeÅ¡tÄ› další 2 vysílání. Vzhledem k pomÄ›rnÄ› slibnému výsledku tÄ›chto experimentů bylo operativnÄ› rozhodnuto (z úrovnÄ› ÄŒT), aby vysílání pokračovalo i v roce 2009, a to zcela pravidelnÄ› vždy, když zasedá Parlament a večer se vysílá na ÄŒT24 záznam z jednání. Toto vysílání (stále experimentální) skrytých titulků probíhá pravidelnÄ› od 1.05 do 4.00 hod a pokud je záznam vysílán i v sobotu, pak od 0.15 do 4.00 hod. Uveďme, že od začátku r.2009 byla tímto způsobem pokryta v podstatÄ› vÅ¡echna vysílání pÅ™enosů parlamentních jednání. Zajímavý je i způsob, kde a jak se titulky „vyrábí“. ÄŒeská televize posílá zvuk po ISDN lince do PlznÄ›, kde je na univerzitÄ› zvuk rozpoznáván, jsou tvoÅ™eny titulky a ty jsou ihned odesílány po stejné lince do ÄŒT, která je okamžitÄ› vkládá do programu. Důvod, proč počítač, který rozpoznává Å™eč, není v Praze v budovÄ› ÄŒT na Kavčích horách, je ten, že je tÅ™eba operativnÄ› aktualizovat pÅ™ed každým jednáním nÄ›které moduly systému rozpoznávání (napÅ™. slovníky, jazykový model apod.) (k tomuto účelu monitorujeme webovské portály apod.) a dále je zde možnost určité asistence pÅ™i vytváření titulků.

  Je tÅ™eba říci, že zahájení tohoto vysílání se stalo pro vÅ¡echny pracovníky na projektu obrovskou motivací a zdrojem nápadů, jak pÅ™esnost a „čtivost“ automatických titulků dále zlepÅ¡ovat. Tyto nápady máme a jsou postupnÄ› realizovány, takže kvalita automatického pÅ™episu se kontinuálnÄ› zlepÅ¡uje.

Jaké jsou naše poznatky z prvních hodin provozování této „služby“:

  1. Systém funguje pomÄ›rnÄ› pÅ™esnÄ›, mluví-li nÄ›který ze zkuÅ¡ených Å™ečníků (například poslanci Sobotka, Rath, Topolánek, místopÅ™edsedové snÄ›movny a mnozí další). PÅ™esnost pÅ™episu je mírnÄ› nižší u Å™ečníků, kteří u „pultíku“ stojí spíše sporadicky, vÄ›tší problémy způsobují projevy pouze ministra Schwarzenberga. ObecnÄ› lze říci, že systém má vÄ›tší chybovost vytvářených titulků, jestliže se Å™ečník stále pÅ™eříkává, komolí slova, nedokončuje výslovnost apod.

  Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        Systém funguje dobÅ™e na často se objevující Å™ečníky jednak proto, že tito Å™ečníci umí mluvit a dále proto, že nás systém je na nÄ› dobÅ™e natrénován (v trénovacích datech bylo hodnÄ› příkladů promluv tÄ›chto Å™ečníků). Máme vyvinuté postupy na adaptaci systému na nového/sporadicky mluvícího Å™ečníka. Chceme je aplikovat. Teď Å™ešíme, jak to udÄ›lat za bÄ›hu programu (on-line pÅ™i každé zmÄ›nÄ› Å™ečníka). Jakmile to vyÅ™ešíme, pÅ™esnost vytvářených titulků se zlepší zvláštÄ› u ménÄ› frekventovaných Å™ečníků (zejména žen, pro které bylo málo trénovacích dat). Otázkou, nad kterou stále pÅ™emýšlíme, je, jak zpracovat projevy pana ministra Schwarzenberga. 

  2. V titulcích se občas objevují vložené jednopísmenné pÅ™edložky či spojky, což je způsobeno zejména hlukem a Å™ečí na pozadí (zvláštÄ› na začátku jednání, kdy se poslanci houfují). NÄ›kdy se stává, že z ÄŒT pÅ™ichází zvuk, kde je zvýšené zesílení ruchových mikrofonů (obvykle na začátku pÅ™enosu) - systém pak občas vloží nesprávné slovo.

      Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        Výskyty posloupností jednopísmených pÅ™edložek a spojek budeme postupnÄ› eliminovat rychlým postprocessingem, tj. automatickou opravou vytvoÅ™eného titulku.

  3. Nemáme jeÅ¡tÄ› zcela dobÅ™e vyÅ™eÅ¡enou otázku automatického vkládání interpunkce do automaticky generovaných titulků.

        Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        Interpunkci do vytvářených vÄ›t vkládá systém automaticky. Opravy Å¡patnÄ› vložených nebo nevložených čárek budeme opÄ›t Å™eÅ¡it rychlým postprocessingem, tj. automatickou opravou vytvoÅ™eného titulku.

  4. Problémy způsobuje i občasné „skákání“ do Å™eči, a to když pÅ™edsedající mluví současnÄ› s Å™ečníkem u pultíku (mají oba zapnuté mikrofony).

        Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        Jedná se o málo frekventovaný jev, se kterým si systém automatického rozpoznávání Å™eči může jen velmi obtížnÄ› poradit. ŘeÅ¡ení vidíme v případném uplatnÄ›ní „ručního“ postprocessingu (mírné pozdržení v odeslání titulku s možností částečné opravy (či vypuÅ¡tÄ›ní) tÄ›ch „nejkÅ™iklavÄ›jších“ chyb.

  5. Problémem jsou vyslovená slova, která systém nemá ve svém slovníku.

        Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        Problém eliminujeme tím, že pÅ™ed každým vysíláním aktualizujeme slovník (využíváme informace z webu, například i steno záznamy z jednání snÄ›movny). Další možností, kterou chceme vyzkouÅ¡et, je vkládání nových slov (napÅ™. jmen či speciálních názvů) do systému za bÄ›hu, tj. on-line. 
     

  6. Skryté titulky samozÅ™ejmÄ› „nenaskakují“ synchronnÄ› s vyslovováním slov Å™ečníkem. Je to dáno nÄ›kolika důvody. Jednak mluví-li Å™ečník souvisle, musíme počkat, až dojde k „usazení“ posledního slova daného titulku (poslední slovo se může jeÅ¡tÄ› mÄ›nit na základÄ› vyslovení dalších 2 až 3 slov, které se nejspíš objeví až v dalším titulku). Znamená to, že takto vzniklé zpoždÄ›ní titulku je dáno dobou, kterou Å™ečník potÅ™ebuje k vyslovení vÅ¡ech slov uvedených v titulku + 2 až 3 dalších slov (je-li titulek dvouřádkový, pak je zpoždÄ›ní delší). Další malé zpoždÄ›ní způsobuje též proces vkládání titulku do obrazu v ÄŒT. Na druhou stranu je zajiÅ¡tÄ›no, že nám ÄŒT posílá po telefonu zvuk s mírným pÅ™edstihem pÅ™ed tím, než odeÅ¡le obraz do vysílače. ZpoždÄ›ní mezi skutečným vyslovením slova Å™ečníkem na obrazovce a objevením se tohoto slova ve skrytém titulku se tak pohybuje kolem cca 5 až 10s.

        Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        V tomto případÄ› je tÅ™eba rozhodnout, jak velké zpoždÄ›ní mezi vysloveným slovem na obrazovce a objevením se titulku jsou uživatelé skrytých titulků ochotní akceptovat. Určité výše popsané zpoždÄ›ní vzniká z principu vytváření a zobrazování titulků a nelze ho výraznÄ› zkrátit. Určitým Å™eÅ¡ením by mohlo být to, že bychom dostávali zvuk po telefonu od ÄŒT s vÄ›tším pÅ™edstihem než nyní (pokud je to samozÅ™ejmÄ› realizovatelné). 

  7. Systém pÅ™evádí proud Å™eči do textu, aniž by rozliÅ¡oval, že se zmÄ›nili Å™ečníci. Například dochází k častému střídání pÅ™edsedajícího, který vyvolá krátkou promluvou Å™ečníka, a ten pak pokračuje svým projevem. Protože obraz a titulky nejsou zcela synchronní, může u diváků, kteří sledují pouze titulky, docházet k nejasnostem, kdo z Å™ečníků daná slova zobrazená titulkem pronesl (jde samozÅ™ejmÄ› jen o nÄ›kolik slov v titulku, kdy se mÄ›ní Å™ečníci).

        Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        ŘeÅ¡ením, na kterém pracujeme je využití opÄ›t ručního postprocessingu. ZmÄ›na Å™ečníka bude zobrazena napÅ™. odřádkováním, tj. novým titulkem s velkým písmenem na začátku titulku. Lze uvažovat i o určité značce pÅ™ed prvním titulkem (například # nebo • ), který promlouvá nový Å™ečník, či o zmÄ›nÄ› barvy titulku. Do budoucna samozÅ™ejmÄ› chceme celou tuto činnost automatizovat, tj. omezit ruční postprocesing.

  8. Není zcela jasné, jakou formou titulky zobrazovat. Je mnoho možností, nÄ›které jsou doporučovány ÄŒT, jiné ÄŒT nedoporučuje. Lze vysílat sled jednořádkových titulků (nÄ›kdy je ovÅ¡em málo času na jejich pÅ™ečtení); sled dvouřádkových titulků (dochází k vÄ›tšímu zpoždÄ›ní mezi prvním slovem vysloveným Å™ečníkem na obrazovce a objevením se odpovídajícího slova v titulku); rolující titulky, tj. napÅ™. se zobrazují 2 rolující řádky. Další otázkou je, zda pÅ™i vkládání titulku čekat, až Å™ečník vysloví tolik slov, že bude titulek (1 řádka či 2 řádky) plný -  to může zpožďovat odeslání titulku (mluví-li Å™ečník s delšími pauzami mezi slovy), na druhou stranu pÅ™i „diskrétní“ promluvÄ› s vÄ›tšími pauzami mezi slovy mohou naskakovat pouze jednoslovné titulky.

        Jak problém Å™ešíme nebo chceme Å™eÅ¡it:

        Tento problém Å™ešíme operativnÄ›. Mluví-li Å™ečník „diskrétně“, tj. s delšími pauzami mezi slovy, odesíláme titulek v závislosti na délce pauzy, tj. nÄ›kdy se zobrazí dvou- nebo tří-slovní titulek, v případÄ› napÅ™. vyslovení jediného slova s delší pauzou (napÅ™.: pÅ™edseda, který řídí schůzi, Å™ekne slovo a rozhlíží se) odeÅ¡leme toto slovo a nečekáme na další. Pokud Å™ečník mluví svižnÄ›, pak často generujeme dvouřádkové titulky, aby bylo více času k jejich „klidnému“ pÅ™ečtení.

        ObecnÄ› lze říci, že jsme nezaznamenali, že by náš systém mÄ›l problémy s pÅ™episem v souvislosti s rychlostí projevu Å™ečníka, tj. i rychle mluvící poslance systém stihl pÅ™episovat do titulků.

  9. Zjistili jsme, že pÅ™i mírném pozdržení v odesílání titulků (napÅ™. cca 5s) je možné provést určitou „ruční“ korekci Å¡patnÄ› vygenerovaného titulku. Toto zdržení se týká pouze toho titulku, který je opravován.

Jak problém řešíme nebo chceme řešit:

Tento ruční postprocessing využívají i v BBC a umožňuje určitým způsobem korigovat případné chyby automatického pÅ™episu, které by mohly znamenat uvedení významovÄ› zcela opačného titulku, než byla informace ve mluveném projevu. Opravy tohoto typu by byly spíše výjimečné a týkaly by se korekce tÄ›ch nejkÅ™iklavÄ›jších „desinterpretací“, určitÄ› by neÅ¡lo o úplnou opravu každé rozpoznané vÄ›ty, kterou Å™ečník pronesl). Důvodem využívání postprocessingu je fakt, že žádný systém automatického pÅ™episu Å™eči do textu (ani ty, které používají pro angličtinu v BBC) nefunguje bez chyb. Oprava nÄ›kterých chyb či vkládání slov, které systém nezná (například nových jmen) může či musí být provedena právÄ› tímto způsobem. Krátké pozdržení odvysílání titulku (doba na jeho opravu) je časovÄ› kompenzováno tím, že další jeden či dva titulky mají 2 řádky (tím se dožene časová ztráta). 

      Pro informaci bychom jeÅ¡tÄ› chtÄ›li uvést, že vedle prací na skrytém titulkování s využitím doprovodné zvukové stopy, pracujeme velmi intenzivnÄ› i na druhé úloze, která bude ÄŒeskou televizí využívána určitÄ› mnohem masivnÄ›ji, tj. na využití stínových Å™ečníků. Vyvinuli jsme trenažér pro výuku stínových Å™ečníků, tj. zařízení, na kterém budou moci budoucí „pÅ™emlouvači“ televizních diskusních a zpravodajských poÅ™adů či sportovních pÅ™enosů natrénovat svoje schopnosti pÅ™i vytváření co nejpÅ™esnÄ›jších titulků. VyzkouÅ¡eli jsme si funkci tohoto trenažéru na nÄ›kolika spolupracujících studentech-stínových Å™ečnících. Zjistili jsme, že naučit se mluvit do počítačového systému tak, aby výsledná chybovost byla minimální, vyžaduje dlouhodobÄ›jší výukový proces. Trenažér budeme nyní pÅ™edávat ÄŒT, která ho otestuje a poté spustí trénink svých stínových Å™ečníků.

    Na závÄ›r tohoto rozsáhlejšího sdÄ›lení, kterým jsme chtÄ›li informovat naÅ¡e přátele v organizacích pro sluchovÄ› postižené o stavu Å™eÅ¡ení projektu ELAJBR, bychom rádi znali VaÅ¡e případné poznatky a názory, které byste mohli sdÄ›lit v souvislosti se zahájením vysílání skrytých titulků (zatím samozÅ™ejmÄ› u jednoho pilotního poÅ™adu).  NaÅ¡e otázky najdete na další stránce.

    JeÅ¡tÄ› jednou dÄ›kujeme za spolupráci pÅ™i Å™eÅ¡ení projektu ELJABR. 

S pozdravem

Prof. Ing. Josef Psutka, CSc. a  Doc. Ing. LudÄ›k Müller, Ph.D.                     
Å™eÅ¡itelé projektu ELJABR 

V Plzni, 6. března 2009

prosíme o vyplnění dotazníků na http://kochlear.cz/dotazniky/dot_autost/