Исследование автоматических метрик оценки перевода на материале профессиональных художественных переводов

Данная работа посвящена изучению качества работы автоматических метрик оценки переводов с помощью художественных переводов, выполненных профессиональными переводчиками. Объектом настоящего исследования являются проблемы автоматической оценки качества переводов. Предметом являются проблемы работы наиболее доступных автоматических метрик оценки при рассмотрении художественных переводов в языковых парах русский — английский, испанский — английский, испанский — русский. Настоящая работа состоит из введения, двух глав, заключения, списка литературы и приложений. Каждая глава сопровождается выводами. В заключении приводятся основные результаты исследования. Для достижения поставленной цели — оценки качества работы автоматических метрик и выявления возможных способов улучшения их работы — было проведено исследование отрывков из семи переводов двух художественных произведений: трех английских переводов поэмы «Мертвые души» Николая Васильевича Гоголя, двух испанских и двух английских переводов романа «Хитроумный идальго Дон Кихот Ламанчский» Мигеля де Сервантеса. В ходе исследования мы пришли к выводу, что в целом, на данный момент работу исследованных метрик нельзя назвать удовлетворительной. Представленные переводы не получают высоких оценок и в соответствии с данными метрик не являются эквивалентными оригиналу. Также мы рассмотрели возможные способы улучшения работы метрик.

В настоящей работе была предпринята попытка исследовать автоматические метрики оценки переводов с помощью художественных переводов, выполненных профессиональными переводчиками.
Был проведен эксперимент, в ходе которого мы оценили художественные переводы с помощью автоматических метрик. Эталоном послужили профессиональные переводы, с которыми сравнивались переводы-кандидаты, выполненные другими профессиональными переводчиками. Были получены результаты работы различных метрик, затем проанализированы оценки всех сегментов оригинального текста и вариантов перевода. Мы проанализировали элементы, получившие самые высокие и низкие оценки и предложили, что именно может улучшить результаты работы метрик.
Для достижения поставленной цели — оценки качества работы автоматических метрик и выявления возможных способов улучшения их работы — было проведено исследование отрывков из семи переводов двух художественных произведений: трех английских переводов поэмы «Мертвые души» Николая Васильевича Гоголя, двух испанских и двух английских переводов романа «Хитроумный идальго Дон Кихот Ламанчский» Мигеля де Сервантеса.
Для получения результатов работы метрик использовались системы Asiya и MT-ComparEval. Они позволяют узнать балы разных сегментов по следующим метрикам: BLEU, GTM–3, NIST, –WER, –PER, Ol, –TERbase, METEOR-ex, ROUGE–L (Asiya), BREVITY-PENALTY, BLEU, BLEU–cased, PRECISION, RECALL, F–MEASURE (MT-ComparEval).
Следует отметить, что для улучшения представления о качестве работы самих систем Asiya и MT-ComparEval для данных языковых пар необходимо провести гораздо более обширное исследование. Однако мы не располагаем достаточными средствами для достижения этой цели в рамках данной дипломной работы.
В ходе исследования мы пришли к выводу, что в целом, на данный момент работу исследованных метрик нельзя назвать удовлетворительной. Представленные переводы не получают высоких оценок и в соответствии с данными метрик не являются эквивалентными оригиналу.
К возможным способам улучшения работы метрик можно отнести следующие: подключение словаря синонимов, обучение системы оценки перевода принципам транслитерации, применение систем автоматического разрешения кореференции, подключение морфологических анализаторов, подключение системы, схожей с существующими словарями концептов, где основные понятия включены в семантическую сеть.
Кроме того, более высокие оценки можно получить, если использовать выравнивание не целых предложений, а их более коротких фрагментов. Если сравнивать каждый короткий фрагмент эталона со всеми фрагментами перевода-кандидата, учитывая наиболее высокие оценки, то можно увеличить оценку всего сегмента, тем самым улучшив работу метрик. Разработка алгоритма или программы, позволяющей сравнивать все сегменты A-Z перевода A с сегментами A-Z перевода B, кажется нам вполне реальной. Однако автоматическое деление текста на короткие смысловые сегменты представляет определенную трудность.

Арутюнова И.А. Лексические средства характеризации героев в английских переводах романа Н.В. Гоголя «Мертвые души». ВКР, рукопись. СПб, 2016.
Баранов A.Н. Введение в прикладную лингвистику: Учебное пособие. М.: Эдиториал УРСС, 2001.
Бархударов Л.С. Язык и перевод (Вопросы общей и частной теории перевода). М.: Международные отношения, 1975.
Басинский П. Несгораемое слово. [Электронный ресурс – 2012.
Беляева Л. Н., Откупщикова М. И. Автоматический (машинный) перевод // Прикладное языкознание / под. ред. Герда А. С. СПб., 1996.
Виноградов B.C. Лексические вопросы перевода художественной прозы. М.: Изд-во Московского университета, 1978.
Галинская Т.Н. Иноязычное деловое общение в подготовке специалистов переводчиков: монография. Оренбург: ГОУ ОГУ, 2009.
Джваршейшвили Р.Г. Психологическая проблема художественного перевода. Тбилиси: Мецниереба, 1984.
Казакова Т.А. Практические основы перевода. English Russian. СПб.: Издательство Союз, 2001.
Комиссаров В.Н. Теория перевода (лингвистические аспекты). М.: Высшая школа, 1990.
Кэтфорд Дж. Лингвистическая теория перевода. Вопросы теории перевода в зарубежной лингвистике. М., 1978.
Латышев Л.К. Перевод: проблемы теории, практики и методики преподавания. М.: Просвещение, 1988.
Литературное наследство / Ред.: Анисимов И.И. (гл. ред.), Благой Д.Д., Бушмин А.С., Виноградов В.В., Дубовиков А.Н., Зильберштейн И.С., Макашин С.А., Муратова К.Д., Самарин Р.М., Тимофеев Л.И., Трифонов Н.А., Храпченко М.Б., Щербина В.Р. Том 75: Толстой и зарубежный мир. Кн. 1. М.: Наука, 1965.
Мельников Н. Портрет без сходства: Владимир Набоков в письмах и дневниках современников (1910—1980е годы). М.: Новое литературное обозрение, 2015.
Митренина О.В. Машинный перевод // Прикладная и компьютерная лингвистика. М.: URSS, 2016.
Нестеренко О.В. Поэма Н.В. Гоголя “Мертвые души” в англоязычных переводах XIX – XXI вв. [Электронный ресурс -]. 2010.
Никитина Н.В. Эстетическая функция художественного стиля [Электронный ресурс – https://cyberleninka.ru/article/v/esteticheskaya-funktsiya-hudozhestvennogo-stilya], 2008.
Попович А. Проблемы художественного перевода М.: Высшая школа, 1980.
Чуковский К.И. Высокое искусство. М.: Советский писатель, 1968.
Швейцер А.Д. К вопросу об анализе грамматических явлений при переводе. Тетради переводчика. – Вып. 1. – М., 1963.
Шиллингер, Л. Эдит Гроссман про испанскую литературу и переводческие ловушки [Электронный ресурс – ]. 2016.
Эткинд Е.Г. Художественный перевод: искусство и наука. Вопросы языкознания. М., 1970, № 4.
ALPAC Report, Language and Machines — Computers in Translation and Linguistics. A Report by the Automatic Language Processing Advisory Committee. Washington, DC, 1966.
Amigó E., Gonzalo J., Giménez J., Verdejo F. Corroborating text evaluation results with heterogeneous measures. In Proc. of the EMNLP, Edinburgh, UK, 2011.
Banerjee S., Lavie, A. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. Proceedings of ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization. 2005.
Bloom H. The knight in the mirror. [Электронный ресурс – ]. 2003.
Bojar O., Buck C., Callison-Burch C., Federmann C., Haddow B., Koehn P., Monz C., Post M., Soricut R., Specia L. Proc. VIII Workshop on Statistical Machine Translation. Sofia, 2013.
Denkowski M., Lavie A. Meteor-next and the meteor paraphrase tables: Improved evaluation support for five target languages. Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR. 2010.
Doddington G. Automatic Evaluation of Machine Translation Quality Using N–gram Co-Occurrence Statistics. Proceedings of the 2nd International Conference on Human Language Technology. San Diego, California, 2002.
Fuentes C. Tilt. [Электронный ресурс – ]. 2003.
Giménez J., Amigó E. IQMT: A Framework for Automatic Machine Translation Evaluation. Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC’06). Genoa, Italy, 2006.
Giménez J., Màrquez L. Linguistic Measures for Automatic Machine Translation Evaluation. Machine Translation. 2010.
Giménez J., Gonzàlez M. Asiya. An Open Toolkit for Automatic. Machine Translation (Meta-) Evaluation. Technical Manual. Version 3.0. TALP Research Center, LSI Department. Universitat Politècnica de Catalunya, Barcelona. February 2014.
Gonzàlez M., Giménez J., Màrquez L. “A Graphical Interface for MT Evaluation and Error Analysis”.  ACL 2012. System Demonstrations. 2012.
Holmes J. The Name and Nature of Translation Studies. The Translation Studies. Reader. Ed. by L.Venuti. London, New York, Routledge Publ., 2000.
King M., Falkedal K. Using Test Suites in Evaluation of MT Systems. In Proceedings of the 13th International Conference on Computational Linguistics (COLING), 1990.
Koehn P. Statistical Machine Translation. Cambridge, UK, 2010.
Lin C.Y, Och F. J. ORANGE: a Method for Evaluating Automatic Evaluation Metrics for Machine Translation. Geneva, Switzerland, 2004b. 
Lin C.Y., Och F. J. Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statics. Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL). 2004a.
Maguire R.A. Gogol from the twentieth century: eleven essays. Princeton, N.J.: Princeton University Press, 1974.
Maguire R.A. Exploring Gogol. Studies of the Harriman Institute. Stanford: Stanford University Press, 1994.
Manning Christopher D., Schütze H. Foundations of Statistical Natural Language Processing. MIT Press. Cambridge, MA, 1999.
Melamed I. D., Green R., Turian J. P. Precision and Recall of Machine Translation. Proceedings of the Joint Conference on Human Language Technology and the North American Chapter of the Association for Computational Linguistics (HLT-NAACL). 2003a.
Melamed I. D., Turian J. P., Shen L. Evaluation of Machine Translation and its Evaluation. Proceedings of MT SUMMIT IX. 2003b.
Nießen S., Och F. J., Leusch G., Ney H. An Evaluation Tool for Machine Translation: Fast Evaluation for MT Research. Proceedings of the 2nd International Conference on Language Resources and Evaluation (LREC). Athens, Greece, 2000.
Ormsby J. Translator’s Preface. Don Quixote, by Miguel de Cervantes Saavedra. [Электронный ресурс – http://www.gutenberg.org/cache/epub/996/pg996-images.html]. 2004.
Papineni K., Roukos S., Ward T., Zhu W.-J. Bleu: a method for automatic evaluation of machine translation, RC22176 (Technical Report). IBM T.J. Watson Research Center. Philadelphia, Pennsylvania, USA, 2001.
Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. A Study of Translation Edit Rate with Targeted Human Annotation. Proceedings of the 7th Conference of the Association for Machine Translation in the Americas (AMTA), 2006.
Snover M., Madnani N., Dorr B., Schwartz R. Fluency, adequacy, or HTER? Exploring different human judgments with a tunable MT metric. Proceedings of the Fourth Workshop on Statistical Machine Translation. Stroudsburg, PA, USA, 2009.
Tillmann C., Vogel S., Ney H., Zubiaga A., Sawaf H. Accelerated DP based Search for Statistical Translation. Proceedings of European Conference on Speech Communication and Technology. Aachen, Germany, 1997.
Troiano F., Permentiers J., Springael E. Translation, Adaptation and Multilingual Editing. A user’s guide to linguistic and multimedia services. T.C.G. Editions. Brussels, 2002.
Wołk K., Marasek K. Neural-based Machine Translation for Medical Text Domain. Based on European Medicines Agency Leaflet Texts». Procedia Computer Science 64 (64), 2015. Pp. 2–9.