ranking

Jesienne raporty

Pojawiły się raporty Memsource i Intento o stanie oraz ofercie tłumaczeń maszynowych w drugiej połowie 2021. Dane do raportu Memsource pochodzą z projektów postedycyjnych wykonanych przez Memsource dla różnych klientów, natomiast dane Intento są oparte na korpusie TAUS (jako tekstach źródłowych i tłumaczeniach referencyjnych). To, co łączy oba te raporty, to metoda oceny MT: porównanie propozycji z maszyny z tłumaczeniem ludzkim (Intento zresztą bada kilka miar – BERT, COMET i PRISM). Podobne są również wnioski: najlepsze MT zależy od pary językowej i dziedziny zastosowania.

Do czego zatem mogą przydać się takie raporty?

  • Do wstępnego wybrania 3-4 silników, które przetestujemy na swoich treściach i pod konkretne zastosowanie (do postedycji lub do publikowania MT “na surowo”, jeśli zastosowanie na to pozwala).
  • Do znalezienia mniej znanych silników MT dla mniej popularnych par językowych lub dziedzin tłumaczenia.

Memsource o parze angielski-włoski:

There is however no “perfect” engine that would consistently translate better than its competitors for this language pair. If users wanted to ensure that they were always getting the optimal MT quality, they would have to use at least three separate engines.

Intento ogólnie o wynikach swego badania:

19 MT engines are among the statistically significant leaders for 7 industry sectors and 13 language pairs. 9 MT engines provide minimal coverage for all language pairs and industries, 1-4 per industry sector.

eTranslation: 2 miejsce w WMT20 dla polskiego; arabski i speech-to-text

Unijny system eTranslation zajął drugie miejsce w konkurencji silników MT dla pary angielski -> polski, stanowiącej część Fifth Conference of Machine Translation (WMT20). Wynik jest bardzo dobry, biorąc pod uwagę, że w konkurencji brały udział m.in. silniki z Tilde czy praskiego Uniwersytetu Karola (ale nie znajdziemy tam niektórych systemów komercyjnych, jak DeepL czy Google).

Ocena, na podstawie której porównywano systemy, jest oceną ludzką, a do treningu oraz tłumaczenia użyte zostały teksty prasowe. Więcej informacji o wynikach eTranslation w tym rankingu znajdziemy na stronach Connecting Europe Facility oraz w materiałach konferencyjnych.

A najświeższe wieści o eTranslation to dodanie arabskiego do listy języków obsługiwanych oraz dodanie funkcji Speech-to-Text.