Исследование автоматических метрик оценки перевода на материале профессиональных художественных переводов

Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0
Арутюнова Ирина Аркадьевна
Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Данная работа посвящена изучению качества работы автоматических метрик оценки переводов с помощью художественных переводов, выполненных профессиональными переводчиками. Объектом настоящего исследования являются проблемы автоматической оценки качества переводов. Предметом являются проблемы работы наиболее доступных автоматических метрик оценки при рассмотрении художественных переводов в языковых парах русский — английский, испанский — английский, испанский — русский. Настоящая работа состоит из введения, двух глав, заключения, списка литературы и приложений. Каждая глава сопровождается выводами. В заключении приводятся основные результаты исследования. Для достижения поставленной цели — оценки качества работы автоматических метрик и выявления возможных способов улучшения их работы — было проведено исследование отрывков из семи переводов двух художественных произведений: трех английских переводов поэмы «Мертвые души» Николая Васильевича Гоголя, двух испанских и двух английских переводов романа «Хитроумный идальго Дон Кихот Ламанчский» Мигеля де Сервантеса. В ходе исследования мы пришли к выводу, что в целом, на данный момент работу исследованных метрик нельзя назвать удовлетворительной. Представленные переводы не получают высоких оценок и в соответствии с данными метрик не являются эквивалентными оригиналу. Также мы рассмотрели возможные способы улучшения работы метрик.

Развитие систем машинного перевода привело к созданию автоматических метрик, способных оценивать такие переводы. Данная работа посвящена изучению качества работы этих метрик. В идеале при их использовании метрик качественный перевод должен получать более высокие оценки. Очевидно, что качественными переводами считаются переводы, выполненные профессиональными переводчиками, и именно поэтому мы решили использовать профессиональные художественные переводы для анализа работы таких метрик.
Объектом настоящего исследования являются проблемы автоматической оценки качества переводов. Предметом являются проблемы работы наиболее доступных автоматических метрик оценки при рассмотрении художественных переводов в языковых парах русский — английский, испанский — английский, испанский — русский.
Актуальность работы связана с важной ролью компьютерных переводов в современном обществе и необходимостью их качественной оценки.
Научная новизна работы состоит в характере самого исследуемого материала — автоматические метрики оценки переводов и их работа с художественными текстами. Проведенное исследование может расширить представления об особенностях работы автоматических мер оценки и помочь при дальнейшей разработке и улучшении данных метрик.
Цель работы заключается в оценке качества работы автоматических метрик и выявлении возможных способов улучшения их работы.
Цель исследования определила постановку следующих задач:
1) Изучить специфику перевода художественных произведений;
2) Проанализировать существующие подходы к оценке качества переводов;
3) Изучить различные автоматические метрики, которые могут применяться для автоматической оценки качества с использованием эталонного перевода;
4) Рассмотреть оценки, которые получают профессиональные художественные переводы в соответствии с работой наиболее популярных и доступных автоматических метрик;
5) Систематизировать полученные результаты работы и проанализировать возможные причины получения высоких или низких оценок, а также способы улучшения работы тех или иных метрик.
Материалом исследования послужили переводы поэмы Николая Васильевича Гоголя «Мертвые души» на английский язык и переводы романа Мигеля де Сервантеса «Хитроумный идальго Дон Кихот Ламанчский» на английский и русский языки. Переводы Н.В. Гоголя на английский выполнены такими переводчиками, как Чарльз Джеймс Хогарт, Изабель Флоренс Хэпгуд и Роберт Магуайр. Переводы Сервантеса на английский выполнены Эдит Гроссман и Джоном Ормсби, на русский — Борисом Александровичем Энгельгардтом и Николаем Михайловичем Любимовым.
Общий объем материала — 3900 значений оценки сегментов по всем метрикам, полученных при анализе (а) 50 предложений на русском языке и переводов на английский каждого из них, выполненных тремя переводчиками (150 английских переводческих соответствий), (б) 50 предложений на испанском языке и переводов на русский каждого из них, выполненных двумя переводчиками (100 русских переводческих соответствий) и (в) 50 предложений на испанском языке и переводов на английский каждого из них, выполненных двумя переводчиками (100 английских переводческих соответствий).
В работе используются методы контекстного и компонентного анализа данных, анализа и обобщения отечественной и зарубежной теории, обобщения и аналогии, а также метод семантического анализа.
Настоящая работа состоит из введения, двух глав, заключения, списка литературы и приложений. Каждая глава сопровождается выводами. В заключении приводятся основные результаты исследования.

В настоящей работе была предпринята попытка исследовать автоматические метрики оценки переводов с помощью художественных переводов, выполненных профессиональными переводчиками.
Был проведен эксперимент, в ходе которого мы оценили художественные переводы с помощью автоматических метрик. Эталоном послужили профессиональные переводы, с которыми сравнивались переводы-кандидаты, выполненные другими профессиональными переводчиками. Были получены результаты работы различных метрик, затем проанализированы оценки всех сегментов оригинального текста и вариантов перевода. Мы проанализировали элементы, получившие самые высокие и низкие оценки и предложили, что именно может улучшить результаты работы метрик.
Для достижения поставленной цели — оценки качества работы автоматических метрик и выявления возможных способов улучшения их работы — было проведено исследование отрывков из семи переводов двух художественных произведений: трех английских переводов поэмы «Мертвые души» Николая Васильевича Гоголя, двух испанских и двух английских переводов романа «Хитроумный идальго Дон Кихот Ламанчский» Мигеля де Сервантеса.
Для получения результатов работы метрик использовались системы Asiya и MT-ComparEval. Они позволяют узнать балы разных сегментов по следующим метрикам: BLEU, GTM–3, NIST, –WER, –PER, Ol, –TERbase, METEOR-ex, ROUGE–L (Asiya), BREVITY-PENALTY, BLEU, BLEU–cased, PRECISION, RECALL, F–MEASURE (MT-ComparEval).
Следует отметить, что для улучшения представления о качестве работы самих систем Asiya и MT-ComparEval для данных языковых пар необходимо провести гораздо более обширное исследование. Однако мы не располагаем достаточными средствами для достижения этой цели в рамках данной дипломной работы.
В ходе исследования мы пришли к выводу, что в целом, на данный момент работу исследованных метрик нельзя назвать удовлетворительной. Представленные переводы не получают высоких оценок и в соответствии с данными метрик не являются эквивалентными оригиналу.
К возможным способам улучшения работы метрик можно отнести следующие: подключение словаря синонимов, обучение системы оценки перевода принципам транслитерации, применение систем автоматического разрешения кореференции, подключение морфологических анализаторов, подключение системы, схожей с существующими словарями концептов, где основные понятия включены в семантическую сеть.
Кроме того, более высокие оценки можно получить, если использовать выравнивание не целых предложений, а их более коротких фрагментов. Если сравнивать каждый короткий фрагмент эталона со всеми фрагментами перевода-кандидата, учитывая наиболее высокие оценки, то можно увеличить оценку всего сегмента, тем самым улучшив работу метрик. Разработка алгоритма или программы, позволяющей сравнивать все сегменты A-Z перевода A с сегментами A-Z перевода B, кажется нам вполне реальной. Однако автоматическое деление текста на короткие смысловые сегменты представляет определенную трудность.

Арутюнова И.А. Лексические средства характеризации героев в английских переводах романа Н.В. Гоголя «Мертвые души». ВКР, рукопись. СПб, 2016.
Баранов A.Н. Введение в прикладную лингвистику: Учебное пособие. М.: Эдиториал УРСС, 2001.
Бархударов Л.С. Язык и перевод (Вопросы общей и частной теории перевода). М.: Международные отношения, 1975.
Басинский П. Несгораемое слово. [Электронный ресурс – 2012.
Беляева Л. Н., Откупщикова М. И. Автоматический (машинный) перевод // Прикладное языкознание / под. ред. Герда А. С. СПб., 1996.
Виноградов B.C. Лексические вопросы перевода художественной прозы. М.: Изд-во Московского университета, 1978.
Галинская Т.Н. Иноязычное деловое общение в подготовке специалистов переводчиков: монография. Оренбург: ГОУ ОГУ, 2009.
Джваршейшвили Р.Г. Психологическая проблема художественного перевода. Тбилиси: Мецниереба, 1984.
Казакова Т.А. Практические основы перевода. English Russian. СПб.: Издательство Союз, 2001.
Комиссаров В.Н. Теория перевода (лингвистические аспекты). М.: Высшая школа, 1990.
Кэтфорд Дж. Лингвистическая теория перевода. Вопросы теории перевода в зарубежной лингвистике. М., 1978.
Латышев Л.К. Перевод: проблемы теории, практики и методики преподавания. М.: Просвещение, 1988.
Литературное наследство / Ред.: Анисимов И.И. (гл. ред.), Благой Д.Д., Бушмин А.С., Виноградов В.В., Дубовиков А.Н., Зильберштейн И.С., Макашин С.А., Муратова К.Д., Самарин Р.М., Тимофеев Л.И., Трифонов Н.А., Храпченко М.Б., Щербина В.Р. Том 75: Толстой и зарубежный мир. Кн. 1. М.: Наука, 1965.
Мельников Н. Портрет без сходства: Владимир Набоков в письмах и дневниках современников (1910—1980е годы). М.: Новое литературное обозрение, 2015.
Митренина О.В. Машинный перевод // Прикладная и компьютерная лингвистика. М.: URSS, 2016.
Нестеренко О.В. Поэма Н.В. Гоголя “Мертвые души” в англоязычных переводах XIX – XXI вв. [Электронный ресурс -]. 2010.
Никитина Н.В. Эстетическая функция художественного стиля [Электронный ресурс – https://cyberleninka.ru/article/v/esteticheskaya-funktsiya-hudozhestvennogo-stilya], 2008.
Попович А. Проблемы художественного перевода М.: Высшая школа, 1980.
Чуковский К.И. Высокое искусство. М.: Советский писатель, 1968.
Швейцер А.Д. К вопросу об анализе грамматических явлений при переводе. Тетради переводчика. – Вып. 1. – М., 1963.
Шиллингер, Л. Эдит Гроссман про испанскую литературу и переводческие ловушки [Электронный ресурс – ]. 2016.
Эткинд Е.Г. Художественный перевод: искусство и наука. Вопросы языкознания. М., 1970, № 4.
ALPAC Report, Language and Machines — Computers in Translation and Linguistics. A Report by the Automatic Language Processing Advisory Committee. Washington, DC, 1966.
Amigó E., Gonzalo J., Giménez J., Verdejo F. Corroborating text evaluation results with heterogeneous measures. In Proc. of the EMNLP, Edinburgh, UK, 2011.
Banerjee S., Lavie, A. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. Proceedings of ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization. 2005.
Bloom H. The knight in the mirror. [Электронный ресурс – ]. 2003.
Bojar O., Buck C., Callison-Burch C., Federmann C., Haddow B., Koehn P., Monz C., Post M., Soricut R., Specia L. Proc. VIII Workshop on Statistical Machine Translation. Sofia, 2013.
Denkowski M., Lavie A. Meteor-next and the meteor paraphrase tables: Improved evaluation support for five target languages. Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR. 2010.
Doddington G. Automatic Evaluation of Machine Translation Quality Using N–gram Co-Occurrence Statistics. Proceedings of the 2nd International Conference on Human Language Technology. San Diego, California, 2002.
Fuentes C. Tilt. [Электронный ресурс – ]. 2003.
Giménez J., Amigó E. IQMT: A Framework for Automatic Machine Translation Evaluation. Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC’06). Genoa, Italy, 2006.
Giménez J., Màrquez L. Linguistic Measures for Automatic Machine Translation Evaluation. Machine Translation. 2010.
Giménez J., Gonzàlez M. Asiya. An Open Toolkit for Automatic. Machine Translation (Meta-) Evaluation. Technical Manual. Version 3.0. TALP Research Center, LSI Department. Universitat Politècnica de Catalunya, Barcelona. February 2014.
Gonzàlez M., Giménez J., Màrquez L. “A Graphical Interface for MT Evaluation and Error Analysis”.  ACL 2012. System Demonstrations. 2012.
Holmes J. The Name and Nature of Translation Studies. The Translation Studies. Reader. Ed. by L.Venuti. London, New York, Routledge Publ., 2000.
King M., Falkedal K. Using Test Suites in Evaluation of MT Systems. In Proceedings of the 13th International Conference on Computational Linguistics (COLING), 1990.
Koehn P. Statistical Machine Translation. Cambridge, UK, 2010.
Lin C.Y, Och F. J. ORANGE: a Method for Evaluating Automatic Evaluation Metrics for Machine Translation. Geneva, Switzerland, 2004b. 
Lin C.Y., Och F. J. Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statics. Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL). 2004a.
Maguire R.A. Gogol from the twentieth century: eleven essays. Princeton, N.J.: Princeton University Press, 1974.
Maguire R.A. Exploring Gogol. Studies of the Harriman Institute. Stanford: Stanford University Press, 1994.
Manning Christopher D., Schütze H. Foundations of Statistical Natural Language Processing. MIT Press. Cambridge, MA, 1999.
Melamed I. D., Green R., Turian J. P. Precision and Recall of Machine Translation. Proceedings of the Joint Conference on Human Language Technology and the North American Chapter of the Association for Computational Linguistics (HLT-NAACL). 2003a.
Melamed I. D., Turian J. P., Shen L. Evaluation of Machine Translation and its Evaluation. Proceedings of MT SUMMIT IX. 2003b.
Nießen S., Och F. J., Leusch G., Ney H. An Evaluation Tool for Machine Translation: Fast Evaluation for MT Research. Proceedings of the 2nd International Conference on Language Resources and Evaluation (LREC). Athens, Greece, 2000.
Ormsby J. Translator’s Preface. Don Quixote, by Miguel de Cervantes Saavedra. [Электронный ресурс – http://www.gutenberg.org/cache/epub/996/pg996-images.html]. 2004.
Papineni K., Roukos S., Ward T., Zhu W.-J. Bleu: a method for automatic evaluation of machine translation, RC22176 (Technical Report). IBM T.J. Watson Research Center. Philadelphia, Pennsylvania, USA, 2001.
Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. A Study of Translation Edit Rate with Targeted Human Annotation. Proceedings of the 7th Conference of the Association for Machine Translation in the Americas (AMTA), 2006.
Snover M., Madnani N., Dorr B., Schwartz R. Fluency, adequacy, or HTER? Exploring different human judgments with a tunable MT metric. Proceedings of the Fourth Workshop on Statistical Machine Translation. Stroudsburg, PA, USA, 2009.
Tillmann C., Vogel S., Ney H., Zubiaga A., Sawaf H. Accelerated DP based Search for Statistical Translation. Proceedings of European Conference on Speech Communication and Technology. Aachen, Germany, 1997.
Troiano F., Permentiers J., Springael E. Translation, Adaptation and Multilingual Editing. A user’s guide to linguistic and multimedia services. T.C.G. Editions. Brussels, 2002.
Wołk K., Marasek K. Neural-based Machine Translation for Medical Text Domain. Based on European Medicines Agency Leaflet Texts». Procedia Computer Science 64 (64), 2015. Pp. 2–9.

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Читать «Исследование автоматических метрик оценки перевода на материале профессиональных художественных переводов»

    Последние выполненные заказы

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Шагали Е. УрГЭУ 2007, Экономика, преподаватель
    4.4 (59 отзывов)
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и... Читать все
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и диссертаций, Есть любимые темы - они дешевле обойдутся, ибо в радость)
    #Кандидатские #Магистерские
    76 Выполненных работ
    Катерина М. кандидат наук, доцент
    4.9 (522 отзыва)
    Кандидат технических наук. Специализируюсь на выполнении работ по метрологии и стандартизации
    Кандидат технических наук. Специализируюсь на выполнении работ по метрологии и стандартизации
    #Кандидатские #Магистерские
    836 Выполненных работ
    Анна К. ТГПУ им.ЛН.Толстого 2010, ФИСиГН, выпускник
    4.6 (30 отзывов)
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помог... Читать все
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помогала студентам, вышедшим на меня по рекомендации.
    #Кандидатские #Магистерские
    37 Выполненных работ
    Дмитрий Л. КНЭУ 2015, Экономики и управления, выпускник
    4.8 (2878 отзывов)
    Занимаю 1 место в рейтинге исполнителей по категориям работ "Научные статьи" и "Эссе". Пишу дипломные работы и магистерские диссертации.
    Занимаю 1 место в рейтинге исполнителей по категориям работ "Научные статьи" и "Эссе". Пишу дипломные работы и магистерские диссертации.
    #Кандидатские #Магистерские
    5125 Выполненных работ
    Сергей Е. МГУ 2012, физический, выпускник, кандидат наук
    4.9 (5 отзывов)
    Имеется большой опыт написания творческих работ на различных порталах от эссе до кандидатских диссертаций, решения задач и выполнения лабораторных работ по любым напра... Читать все
    Имеется большой опыт написания творческих работ на различных порталах от эссе до кандидатских диссертаций, решения задач и выполнения лабораторных работ по любым направлениям физики, математики, химии и других естественных наук.
    #Кандидатские #Магистерские
    5 Выполненных работ
    Родион М. БГУ, выпускник
    4.6 (71 отзыв)
    Высшее экономическое образование. Мои клиенты успешно защищают дипломы и диссертации в МГУ, ВШЭ, РАНХиГС, а также других топовых университетах России.
    Высшее экономическое образование. Мои клиенты успешно защищают дипломы и диссертации в МГУ, ВШЭ, РАНХиГС, а также других топовых университетах России.
    #Кандидатские #Магистерские
    108 Выполненных работ
    Виктор В. Смоленская государственная медицинская академия 1997, Леч...
    4.7 (46 отзывов)
    Имеют опыт грамотного написания диссертационных работ по медицине, а также отдельных ее частей (литературный обзор, цели и задачи исследования, материалы и методы, выв... Читать все
    Имеют опыт грамотного написания диссертационных работ по медицине, а также отдельных ее частей (литературный обзор, цели и задачи исследования, материалы и методы, выводы).Пишу статьи в РИНЦ, ВАК.Оформление патентов от идеи до регистрации.
    #Кандидатские #Магистерские
    100 Выполненных работ
    Ольга Р. доктор, профессор
    4.2 (13 отзывов)
    Преподаватель ВУЗа, опыт выполнения студенческих работ на заказ (от рефератов до диссертаций): 20 лет. Образование высшее . Все заказы выполняются в заранее согласован... Читать все
    Преподаватель ВУЗа, опыт выполнения студенческих работ на заказ (от рефератов до диссертаций): 20 лет. Образование высшее . Все заказы выполняются в заранее согласованные сроки и при необходимости дорабатываются по рекомендациям научного руководителя (преподавателя). Буду рада плодотворному и взаимовыгодному сотрудничеству!!! К каждой работе подхожу индивидуально! Всегда готова по любому вопросу договориться с заказчиком! Все работы проверяю на антиплагиат.ру по умолчанию, если в заказе не стоит иное и если это заранее не обговорено!!!
    #Кандидатские #Магистерские
    21 Выполненная работа
    Александр Р. ВоГТУ 2003, Экономический, преподаватель, кандидат наук
    4.5 (80 отзывов)
    Специальность "Государственное и муниципальное управление" Кандидатскую диссертацию защитил в 2006 г. Дополнительное образование: Оценка стоимости (бизнеса) и госфин... Читать все
    Специальность "Государственное и муниципальное управление" Кандидатскую диссертацию защитил в 2006 г. Дополнительное образование: Оценка стоимости (бизнеса) и госфинансы (Казначейство). Работаю в финансовой сфере более 10 лет. Банки,риски
    #Кандидатские #Магистерские
    123 Выполненных работы

    Другие учебные работы по предмету

    Видовые различия в русской речи польских и чешских студентов
    📅 2021 год
    🏢 Санкт-Петербургский государственный университет
    Способы достижения эквивалентности при переводе конвенций ООН
    📅 2021 год
    🏢 Санкт-Петербургский государственный университет
    Фразеологические единицы в политическом дискурсе
    📅 2021 год
    🏢 Санкт-Петербургский государственный университет