rynek

Raport Intento 2022

Normally, we run multiple evaluations for our clients using various language pairs and domains, and observe different MT system rankings than those provided in this report

Firma Intento opublikowała właśnie tegoroczny raport z rynku MT, prezentujący stan z lipca 2022. Raport jest do pobrania bezpłatnie i przedstawia porównanie 31 silników dla 11 par językowych (polski się nie załapał, jest za to ukraiński) oraz 9 dziedzin, a do tego sporo informacji o trendach rynkowych (silniki tematyczne, pamięci/glosariusze, obsługa rzadszych języków). Można przy okazji poznać nieco metodologii – próbki tekstu liczą po 500 segmentów, a miarą automatyczną najlepiej skorelowaną z oceną człowieka okazuje się COMET. W przygotowaniu zasobów brała tym razem udział firma e2f.

Jeśli szukamy najlepszego silnika bez ustalonej dziedziny (tematyki) lub dla wielu różnych dziedzin, co bywa normalną praktyką np. w biurach tłumaczeń, to wyniki przedstawia załączony obrazek (DeepL i Google wygrywają). Jeśli działamy w konkretnej dziedzinie (takiej jak tłumaczenia prawne, medyczne lub literackie), to trzeba zagłębić się w raport nieco mocniej – biorąc również pod uwagę zastrzeżenie autorów raportu, że optymalne MT dla danego rodzaju tekstu i pary językowej może być jeszcze inne, niż wynika z raportu! Warto np. zauważyć, że cały raport opiera się na tłumaczeniu tekstu bez znaczników – jeśli mamy “na warsztacie” materiał, gdzie znaczniki są koniecznością (np. przy lokalizacji oprogramowania czy stron internetowych), to trzeba sprawdzić, jak dane MT sobie z nimi radzi.

Z postedycją na bieżąco

W Lingua Legis 29(2021) ukazał się artykuł prof. Łucji Biel porządkujący zagadnienia i procesy z dziedziny MT oraz postedycji. Artykuł z całego serca polecam i z przyjemnością włączę go do materiałów referencyjnych na warsztatach z MT, bo jest w nim niemal wszystko, co wiedzieć należy, zebrane w jednym miejscu i z odsyłaczami do źródeł – w większości nie starszych niż 5 lat, co w MT oznacza “z naszej ery” 🙂

Co szczególnie pozytywnie zwróciło moją uwagę:

  • Słuszne wskazanie, że wpływ technologii na tłumaczy (i tłumaczenie) nie zaczął się od MT – swoje zrobiły już CAT-y, prowokując do skupiania się raczej na zdaniach niż akapitach.
  • Staranne rozgraniczenie między typami tłumaczenia zależnie od stopnia automatyzacji i z odniesieniem do norm ISO (ciekawostka: PKN nie planuje wdrożyć ISO-18587).
  • Stwierdzenie faktu, że tłumaczenia profesjonalne to obecnie niewielki procent wszytkich tłumaczeń – wolumen surowego MT jest znacznie, znacznie większy niż tłumaczeń profesjonalnych, czy to wspomaganych maszynowo, czy nie.
  • Rzetelna analiza jasnych i ciemnych stron postedycji dla tłumacza profesjonalnego, dobry opis procesu postedycji.
  • Bezcenne wprost wzmiankowanie preedycji, czyli prawidłowego przygotowania tekstu dla maszyny (krok tym ważniejszy, im więcej języków docelowych).

Czego zabrakło:

  • Żeby nie tworzyć legend “gender ex machina” – warto wyjaśnić, skąd bierze się językowa reprezentacja płci w tłumaczeniach maszynowych (z korpusu).
  • W rozważaniach etycznych – symetrycznie do nieuprawnionego użycia MT przez tłumaczy – trzeba wspomnieć o złej praktyce biur tłumaczeń, które kamuflują postedycję jako korektę. Postedycja wymaga od tłumacza większego wysiłku i nie można zlecać jej ani w terminie, ani w cenie korekty.
  • Oprócz cytatów z DeepL i eTranslation, a także wzmianek o silnikach Google oraz Yandex, przydadzą się odsyłacze do bardziej kompletnych źródeł wiedzy o dostępnych na rynku MT, np. do raportów Intento.
  • Artykuł wspomina o MT uczącym się z poprawek tłumacza, ale wspomina dość pobieżnie, w dwóch różnych miejscach i odwołując się do SDL Adaptive MT, które jest trochę jak Yeti. Warto wymienić raczej rozwiązania dostępne dla polskich tłumaczy, np. ModernMT czy Tilde.
  • Rozdział o rozliczeniach nie wspomina metody obliczania stawki za słowo przez skorelowanie jej z wydajnością pracy tłumaczy, które wydaje się jedynym uzasadnionym modelem obniżania cen względem tłumaczenia od zera. Metodę tę opisuje m.in. praca Acoladu przedstawiona na EAMT 2020.

Zagadka na koniec

Artykuł nie ustrzegł się przed pułapką, którą można spotkać w wielu innych opracowaniach dotyczących PE i która otwiera mroczny aspekt rynku postedycji (a czasem w ogóle podważa sens oferowania tej usługi):

W rozdziale “Rozliczanie postedycji” czytamy:

Dla lekkiej postedycji przyjmuje się normę rzędu 800-1400 słów (ok. 3,5-6 stron rozliczeniowych) na godzinę, dla pełnej postedycji od 500 do 1000 słów (ok. 2-4,5 strony) na godzinę. Są to więc normy co najmniej dwukrotnie wyższe niż dla tłumaczenia, choć szybkość postedycji oczywiście zależy od wielu czynników — jakości tłumaczenia maszynowego, typu tekstu czy stopnia jego złożoności językowej i tematycznej.

Ale przecież w rozdziale “Zalety postedycji dla tłumaczy” stwierdzono:

Jednak należy podkreślić, że badania przynoszą bardzo różne i niekiedy sprzeczne wyniki dotyczące zwiększenia wydajności i szybkości tłumaczenia, gdyż zależy to od jakości surowego tłumaczenia maszynowego. Co do zasady, wzrost jest dość skromny — zazwyczaj na poziomie kilku lub kilkunastu procent.

Rozdział “Rozliczanie postedycji” mierzy gdzieś pośrodku:

Stawki za postedycję zazwyczaj wynoszą od 50% do 90% stawek za tłumaczenie, przy czym dolna granica dotyczy lekkiej postedycji, górna — pełnej postedycji.

Więc jak jest w rzeczywistości? Czy postedycja przyspiesza nas o 5, 15, czy 50 procent i czy przekłada się to rzetelnie na stawki za słowo w tej usłudze? Odpowiedź pozostawiam domyślności Czytelników…

Co duże firmy robią z MT

You understand the machine translation is not perfect. The dirty little secret is that you understand that human translation is not perfect.

Dyskusja panelowa “Modern Enterprise Use Cases for Machine Translation”, zorganizowana przez Memsource z przedstawicielami Lengoo, ex-Microsoftu, Tripadvisora i Welocalize, przyniosła parę spotrzeżeń, które nie zawsze zostają wypowiedziane tak wyraźnie:

  • Jeśli powstanie treści nie kosztuje firmę wiele, to na tłumaczenie tych treści też niechętnie się wydaje – dlatego są pierwsze w kolejce do MT bez postedycji: komentarze z zewnątrz, dyskusje serwisowe, bazy wiedzy itd.
  • Przy MT bez PE ważniejsze od automatycznych miar jakości okazują się miary biznesowe – np. czy strona zlokalizowana ma więcej kliknięć / działań użytkowników niż strona w oryginale.
  • Przewidywanie jakości MT nadal raczkuje, ale nieustannie przewija się koncepcja: najpierw – przy postedycji – zmierzyć, które teksty źródłowe wymagają najwięcej poprawek; potem – MT bez PE – sprawdzać, czy nowy oryginał jest podobny do tekstów mocno poprawianych (> nie puszczać bez PE), czy mniej poprawianych (> można spróbować).

Jesienne raporty

Pojawiły się raporty Memsource i Intento o stanie oraz ofercie tłumaczeń maszynowych w drugiej połowie 2021. Dane do raportu Memsource pochodzą z projektów postedycyjnych wykonanych przez Memsource dla różnych klientów, natomiast dane Intento są oparte na korpusie TAUS (jako tekstach źródłowych i tłumaczeniach referencyjnych). To, co łączy oba te raporty, to metoda oceny MT: porównanie propozycji z maszyny z tłumaczeniem ludzkim (Intento zresztą bada kilka miar – BERT, COMET i PRISM). Podobne są również wnioski: najlepsze MT zależy od pary językowej i dziedziny zastosowania.

Do czego zatem mogą przydać się takie raporty?

  • Do wstępnego wybrania 3-4 silników, które przetestujemy na swoich treściach i pod konkretne zastosowanie (do postedycji lub do publikowania MT “na surowo”, jeśli zastosowanie na to pozwala).
  • Do znalezienia mniej znanych silników MT dla mniej popularnych par językowych lub dziedzin tłumaczenia.

Memsource o parze angielski-włoski:

There is however no “perfect” engine that would consistently translate better than its competitors for this language pair. If users wanted to ensure that they were always getting the optimal MT quality, they would have to use at least three separate engines.

Intento ogólnie o wynikach swego badania:

19 MT engines are among the statistically significant leaders for 7 industry sectors and 13 language pairs. 9 MT engines provide minimal coverage for all language pairs and industries, 1-4 per industry sector.

Responsive MT – na razie nowy buzzword

Pięknie dziękuję niezawodnej Annie Kotarskiej za zwrócenie uwagi na nowy trend!

Arle Lommel z CSA Research wprowadza do gry nowe hasło: Responsive MT. Co to ma być? Ano takie MT, które wykrywa tematykę i dostosowuje się do niej (i to na poziomie segmentu), rozpoznaje kontekst (szeroko poza zakresem segmentu) i dostosowuje się do informacji zwrotnych od klienta (takich jak nowe pamięci treningowe czy poprawki z postedycji). O krawatach na razie ani słowa 🙂

Dlaczego piszę o tym z odrobiną ironii? Bo AD 2021 bariery w rozwoju NMT są znacznie częściej organizacyjne niż technologiczne: ochrona danych wrażliwych i własności intelektualnej (oraz inne, mniej racjonalne przesłanki) nie zachęcają tłumaczy, LSP czy korporacji do dostarczania maszynie danych innych niż niezbędne do wykonania surowego tłumaczenia. Tymczasem Responsive MT będzie wymagało udostępnienia swoich pamięci, informacji o projekcie i poprawek z postedycji. Ciekawa jestem rozwiązań formalnych, które pomogą przekroczyć te bariery.

O wdrażaniu MT przez biura

For a little amount of money you can get everything translated (…) and then narrow down the quality requirements.”

Pod koniec maja 2021 jeden z webinarów MEMSOURCE był w zasadzie dyskusją panelową poświęconą wdrażaniu MT przez biura: jak wybierać MT do projektów, a projekty do MT; jak nauczyć się efektywnie postedytować; jak mierzyć opłacalność; jak mówić o MT z klientami, a jak z tłumaczami.

Obserwacje godne uwagi:

  • MT nie przyniesie oczekiwanych oszczędności przy mikroprojektach ani przy tekstach źródłowych z błędami;
  • regularny trening MT opłaca się tylko przy odpowiednio dużym wolumenie tłumaczeń;
  • powyżej pewnego progu odległości edycyjnej nie obserwuje się już większego wzrostu wydajności postedycji.

Obserwacje nieco kontrowersyjne:

  • “light post-editing” jest nadal zamawiane jako usługa eliminowania błędów krytycznych;
  • profesjonalny tłumacz nie będzie na siłę wprowadzać poprawek, nawet jeśli ma płacone wg odległości edycyjnej;
  • płatności godzinowe za postedycję są tak naprawdę przeliczonymi płatnościami według liczby słów.

MT dla początkujących (klientów)

Firma Andovar publikuje króciutką ściągawkę dla firm, które chcą zacząć korzystać z tłumaczeń maszynowych. W siedmiu krokach pokazuje, co trzeba wziąć pod uwagę po stronie projektów, zespołu i narzędzi; jakie są pułapki prawne; co może dać trening MT oraz dlaczego zawsze warto notować, jak wypadły poszczególne projekty “z maszyną”.

Bardzo przydatna rzecz na początek dla biur, które dopiero przymierzają się do przygody z MT. Może też przydać się do urealnienia oczekiwań klienta, który okazjonalnie tłumaczy proste teksty za pomocą DeepL czy Google i ma nieco zbyt optymistyczne przekonanie o realiach pracy z MT 🙂

Porównanie MT dostępnych przez API (i wtyczki)

Bardzo przystępne porównanie MT dostępnych przez API (w tym wtyczki do CAT-ów), stan na 19 marca 2021, opublikowała firma ModelFront. Czytelne zestawienie dostępnych języków, możliwości dostosowania MT do własnej dziedziny, cen i ochrony danych. W kolumnie “Context” wieje pustką 🙂

Z publikacji dowiemy się też o aktualnie dostępnych darmowych silnikach NMT “do samodzielnego złożenia”, a oprócz tego – jakie języki zostały niedawno dodane. DeepL na przykład włączył dosłownie przed momentem język czeski (i parę innych języków Europy Środkowej, tak że polski przestał być uprzywilejowany), a Microsoft obsługuje m.in. język tigrinia.

Dyskusja o stawkach za postedycję

W ramach serii webinarów firmy Memsource na temat MT odbyła się niedawno bardzo ciekawa dyskusja pt. “Pricing Models for MT Post-Editing“. Znajdziemy tu większość gorących tematów, związanych ze stawkami za MTPE AD 2021, np.:

  • czy lepsze są stawki za słowo, godzinowe czy za usługę (i dlaczego słowo na razie wygrywa),
  • jak skłonić klienta do przysłania tekstu źródłowego o sensownej jakości (nowe zastosowanie SLA),
  • kiedy możemy liczyć na przewidywanie jakości MT (jeszcze nie),
  • czy rozróżnianie wielu poziomów MTPE ma sens (już nie),
  • czy powstanie standard rynkowy wyceny MTPE (to zależy).

Porozmawiajamy o tłumaczeniach maszynowych

Na przełomie lutego i marca 2021 miałam zaszczyt wystąpić w trzeciej edycji podcastu “Porozmawiajmy o tłumaczeniach“, jaki prowadzi Wojciech Wołoszyk (prawnik-lingwista, prezes IURIDICO). W ciągu nieco ponad godziny poruszyliśmy takie kwestie, jak:

  • rola tłumacza względem NMT,
  • sposób powstawania współczesnych tłumaczeń maszynowych,
  • ryzyka związane z użyciem tej technologii (jakościowe, prawne i psychologiczne),
  • obliczanie stawek za postedycję,
  • wybór właściwego narzędzia MT do danego zadania,
  • specyfika unijnego silnika eTranslation.