research

Kiedy MT jest posłuszne

Czego można spodziewać się po MT dotrenowanym pamięcią z dziedziny, w której pracujemy? A na ile MT może zaadaptować się do poprawek, jakie wprowadzamy poprawiając jego kolejne podpowiedzi?

Eksperyment z adaptującym się narzędziem do tłumaczenia maszynowego ModernMT został przeprowadzony przez Anonimową Tłumaczkę na platformie SDL Trados Studio 2017 w trzech fazach z wykorzystaniem tzw. tekstu „miękkiego” z obszaru nauk humanistycznych, w tłumaczeniu z języka polskiego na angielski:

  • Faza 0 (ok. 18 tys. znaków ze spacjami) – podpięty silnik ModernMT bez żadnych dodatkowych zasobów.
  • Faza 1 (ok. 22 tys. znaków ze spacjami) – podpięty silnik ModernMT z pamięcią  bazującą na wcześniej przetłumaczonych tekstach dotyczących tej samej tematyki (ok. 500 tys. znaków ze spacjami), ustawioną do wykorzystania przez silnik MT, lecz bez aktualizacji.
  • Faza 2 (ok. 60 tys. znaków ze spacjami) – podpięty silnik ModernMT z tą samą pamięcią, ustawioną do wykorzystania oraz aktualizacji przez silnik MT.

Faza 1 – silnik MT korzysta z pamięci

\W fazie 1 w stosunku do fazy 0 nastąpiła odczuwalna poprawa w zakresie doboru słownictwa. Klient miał określone wymagania co do nazewnictwa – faza 0 wymagała ze strony Tłumaczki w większości przypadków ręcznego wprowadzania poprawek, natomiast w fazie 1 silnik ModernMT dobierał właściwe określenia w ok. połowie przypadków.

Przykład terminologiczny (Faza 1):

Przykład stylistyczny (Faza 1):

Faza 2 – silnik MT korzysta z pamięci i z poprawek

Poprawa stała się jeszcze bardziej dostrzegalna w fazie 2 – terminologia była właściwie dobierana w ponad połowie przypadków, poza tym tłumaczenie maszynowe zaczęło naśladować styl Tłumaczki, co przejawiało się w używaniu charakterystycznych wyrażeń, które Tłumaczka wcześniej wprowadzała  ręcznie.

Przykład terminologiczny (Faza 2):

Przykład stylistyczny (Faza 2):

Tłumaczenie maszynowe wymagało stałego nadzoru, ponieważ można było zaobserwować ewidentne „spadki formy” i powrót do poprawianych przez Tłumaczkę wersji. Można jednak z dużą dozą pewności stwierdzić, że w fazie 2 liczba zastosowanych form poprawnych wśród obserwowanych sformułowań przeważała nad liczbą form niepoprawnych.

Tłumaczka nie odnotowała zauważalnego zwiększenia szybkości tłumaczenia w kolejnych fazach (prawdopodobnie ze względu na charakter tekstu szybkość tłumaczenia utrzymywała się na stałym poziomie 9 tys. znaków ze spacjami na godzinę), jednak szczególnie w fazie 2 dało się dostrzec zwiększoną „lekkość” tłumaczenia – praca nad nim stała się wyraźnie łatwiejsza.

Warto zwrócić uwagę, że stała szybkość tłumaczenia odnosi się do wcześniejszej pracy z nietrenowanym MT (ModernMT, wcześniej DeepL), a nie do pracy bez żadnych podpowiedzi z MT.

eTranslation: 2 miejsce w WMT20 dla polskiego; arabski i speech-to-text

Unijny system eTranslation zajął drugie miejsce w konkurencji silników MT dla pary angielski -> polski, stanowiącej część Fifth Conference of Machine Translation (WMT20). Wynik jest bardzo dobry, biorąc pod uwagę, że w konkurencji brały udział m.in. silniki z Tilde czy praskiego Uniwersytetu Karola (ale nie znajdziemy tam niektórych systemów komercyjnych, jak DeepL czy Google).

Ocena, na podstawie której porównywano systemy, jest oceną ludzką, a do treningu oraz tłumaczenia użyte zostały teksty prasowe. Więcej informacji o wynikach eTranslation w tym rankingu znajdziemy na stronach Connecting Europe Facility oraz w materiałach konferencyjnych.

A najświeższe wieści o eTranslation to dodanie arabskiego do listy języków obsługiwanych oraz dodanie funkcji Speech-to-Text.

Maszyna upraszcza

Kolejna (po słynnym już post-editese Antonia Torala) bardzo świeża praca naukowa o tym, jak NMT upraszcza język – zwiększa udział terminów i konstrukcji gramatycznych, które dominują w korpusie, a marginalizuje terminy i konstrukcje rzadkie. Jeśli np. w danych treningowych większość przekazu jest adresowana do odbiorcy w rodzaju męskim, to w tłumaczeniu maszynowym efekt “nur für Männer” będzie wzmocniony.

MT ze zmienną terminologią

Dopasowanie terminologii w MT do dziedziny, klienta lub projektu pozostaje funkcją bardzo pożądaną na rynku. Oferuje ją część dostawców MT. Tymczasem firma SAP ma taki proces wdrożony na potrzeby swego (ogromnego) działu lokalizacji oprogramowania – w tym przypadku terminologię dopasowuje się do projektu. Niewątpliwym atutem SAP-a jest tu posiadanie i własnych zasobów terminologicznych, i własnego systemu NMT 🙂 Opracowanie na ten temat zostało nagrodzone jako najlepsza publikacja na konferencji EAMT 2020 i jest dostępne wraz z resztą materiałów konferencyjnych.

Jak porównywać MT z tłumaczami

Na fali publikacji o MT tworzącym tłumaczenia nie do odróżnienia od ludzkich, tudzież drugiej fali prac podważających te twierdzenia, powstał bardzo przyzwoity zestaw dobrych praktyk przy porównywaniu MT z człowiekiem. Warto zwracać uwagę m.in. na te aspekty:

  • kto tłumaczył (amatorzy czy zawodowcy)
  • kto porównuje (amatorzy czy zawodowcy) – i dla jakich odbiorców tekst ma być przeznaczony
  • czy w porównaniu uwzględniony jest kontekst (np. cały dokument)
  • jaki był tekst źródłowy (z MT, z tłumaczenia czy pierwotnie napisany w danym języku).

Podczas prezentacji na EAMT 2020 profesor Antonio Toral zauważył przewrotnie, że większość odbiorców MT nie jest profesjonalnymi tłumaczami, więc czy ocena przez profesjonalistów jest w pełni adekwatna do ich potrzeb…? Mój ulubiony cytat z konferencyjnej dyskusji to “Just because something is better, doesn’t mean it’s correct” 🙂

Kurs Machine Translation

Karlsruhe Institute for Technology oferuje na Courserze bardzo wartościowy kurs o tłumaczeniach maszynowych – jak powstają, jak rozwiązywane są kolejne trudności. Kurs darmowy, chyba że chce się uzyskać certyfikat. Dużo sieci neuronowych, wektorów i wzorów! Polecany każdemu, kto:

  • Tworzy lub rozwija Neural MT. Jest mnóstwo materiałów teoretycznych i programistycznych.
  • Potrzebuje uporządkować wiedzę jak to wszystko działa i w których kierunkach się rozwija.
  • Zastanawia się, po co w szkole uczyli logarytmów, trygonometrii, wag i prawdopodobieństw 🙂

Prognozowanie jakości MT (1)

Wstępna ocena jakości tłumaczenia maszynowego, zanim zajmie się nim postedytor (i bez tłuaczeń referencyjnych), to usługa bardzo pożądana, nad którą pracują różne jednostki badawcze i komercyjne. Owszem, są już rozwiązania w tej dziedzinie, ale ich korelacja z tym, co potem zrobią tłumacze, nie przekonuje. Pojawiła się tymczasem pokrewna usługa: przewidywanie użyteczności danego MT dla danego tekstu źródłowego na podstawie obserwacji zebranych z wcześniejszej postedycji podobnych tekstów w tej samej parze językowej. Jedno z takich rozwiązań to QUEST firmy LangTec, o którym Christopher Reid opowiadał na KTLC2020.

CUBBITT: maszyna jak tłumacz?

Akademicki system CUBBITT wypadł w ocenie ludzkiej nie gorzej niż tłumacze profesjonalni, co ciekawe – popełnia mniej błędów merytorycznych. To wciąż tylko tłumaczenie artykułów prasowych, a w szczegółach siedzi niejeden diabeł – warto jednak zauważyć, że ocenę i porównanie wykonano na skalę całych tekstów, a nie pojedynczych zdań.