Суммаризация мультиязычных дискуссий в социальных сетях

В данной работе автором рассматриваются различные подходы к суммаризации текстовых данных, полученных из социальных сетей. Дополнительно, анализирутся способы их совместного использования с методами анализа тональности. Автором предлагается архитектура комплекса анализа текстовых данных, включающая в себя все основные этапы обработки: от сбора до визуализации. Приводятся примеры работы стандартных и модифицированных подходов для двух различных социальных сетей. В результате проведенной работы показывается эффективность отдельных методов в решении различных постановок задач суммаризации.

Введение ……………………………. 4
1. Актуальность …………………….. 4
2. Цельработы……………………… 5
3. Задачи ………………………… 6
4. Значимость………………………. 7
Глава1. Обзорметодовиинструментованализа . . . . . . . . . . . 8
1.1. Методыкодированияданных……………… 8
1.1.1. BagofWords………………….. 9
1.1.2. TF-IDF…………………….. 9
1.1.3. Word2vec……………………. 10
1.1.4. FastText ……………………. 11
1.1.5. ELMo……………………… 12
1.1.6. Transformer ………………….. 13
1.1.7. UniversalSentenceEncoder…………… 16
1.1.8. BERT……………………… 17
1.1.9. T5……………………….. 20
1.1.10. LongFormer ………………….. 23
1.2. Тематическоемоделирование……………… 26
1.2.1. LatentDirichletAllocation …………… 26
1.2.2. Word Network Topic Model и Biterm Topic Model . . 27
1.2.3. Bilingual Latent Dirichlet Allocation . . . . . . . . . . 28
1.2.4. Нейросетевыеподходы…………….. 29
1.3. Методысуммаризации ………………… 32
1.3.1. Экстрактивнаясуммаризация…………. 32
1.3.2. Абстрактнаясуммаризация ………….. 33
1.3.3. Применениеязыковыхмоделей . . . . . . . . . . . . 33
1.4. Методыанализатональности……………… 37 1.4.1. Традиционныеподходы ……………. 37
1.4.2. Подходынаосновенейросетей. . . . . . . . . . . . . 38 1.5. Анализкоммерческихинструментов . . . . . . . . . . . . . 39 1.5.1. IBMWatson ………………….. 39
2
1.5.2. MeaningCloud …………………. 40
Глава 2. Система анализа пользовательских дискуссий . . . . . . . 42
2.1. Архитектуракомплекса………………… 42
2.2. Данные-сборианализ………………… 44
2.3. Кластерныйанализ ………………….. 48
2.4. Тематическоемоделирование……………… 50
2.5. Суммаризация дискуссий внутри отдельных постов . . . . . 52
2.6. Суммаризация и тональность временных рядов . . . . . . . 54
Заключение…………………………… 56 Результатыработы……………………… 56 Перспективыразвития……………………. 58
Списоклитературы ………………………. 59

В рамках данной работы был проведен сравнительный анализ раз­ личных моделей суммаризации текстовых данных и способов их совмест­ ного применения с методами определения тональности. Был проведен тща­ тельный анализ современных подходов к решению задач кодирования тек­ стовых данных, суммаризации, тематического моделирования и анализа тональности. Дополнительно был проведен анализ существующих коммер­ ческих инструментов, показавший, что методы, используемые сервисами, часто являются устаревшими – основанными на эвристических подходах, подходах с использованием машинного обучения. При этом анализ лите­ ратуры показывает, что наиболее качественные результаты для решения всех рассматриваемых задач достигаются с использованием нейросетевых подходов, а именно – с использованием архитектуры Transformer и подхода трансферного обучения.
Для решения практических задач была разработана архитектура, за­ трагивающая все основные этапы анализа данных, начиная от сбора и пре­ добработки, заканчивая визуализацией полученных результатов. Описыва­ ется процесс сбора и первичного анализа двух наборов данных, полученных из разных соцсетей. Проводится ряд практических тестов, показывающих примеры получения значимых репрезентаций из исходных корпусов.
В качестве основных выводов можно отметить:
∙ Различные данные требуют подбора моделей, лучше приспособлен­ ных к работе с теми или иными специфическими ограничениями. Примерами таких ограничений могут быть: мультиязычность исход­ ных данных, большой размер корпусов, использование коротких тек­ стов.
∙ Методы кластерного анализа, при правильном их применении сов­ местно с современными методами кодирования данных, позволяют по­ лучать качественные представления документов. Использование до­ полнительных статистических приемов позволяет получать словар­
56
ные репрезентации кластеров, приводя задачу к виду, схожему с зада­ чей тематического моделирования. Модели имеют ряд ключевых пре­ имуществ перед методами тематического моделирования: гибкая ар­ хитектура (возможность использования различных кодировок, вклю­ чая мультиязычные), возможность автоматического определения чис­ ла кластеров плотностными алгоритмами.
∙ Классические и современные методы тематического моделирования имеют перед методами кластеризации ряд преимуществ, основными из которых являются прочная теоретическая основа и возможность кодирования документов одновременно несколькими темами. При этом преимущество нескольких тем на документ часто оказывается невос­ требованным в задаче анализа текстов, полученных из соцсетей. В таких случаях достаточным оказывается использование одной (самой популярной) темы на сообщение, ввиду короткого размера текстов.
∙ Подходы абстрактной суммаризации позволяют получать качествен­ но иные репрезентации текстовых данных. Обобщения генерируемые такими методами способны качественно передавать смысл большого числа постов и комментариев в сжатой форме. В дальнейшем такие репрезентации могут быть использованы специалистами профильных областей (социологами, журналистами, политологами и маркетолога­ ми).
∙ Методы анализа тональности могут использоваться как на этапе агре­ гации данных (с дальнейшим анализом негативных или позитивных записей), так и на этапе финализации для получения дополнитель­ ных визуальных представлений.
Исследования отдельных тем данной работы были выполнены при под­ держке гранта РНФ “Кривое зеркало конфликта: роль сетевых дискуссий в репрезентации и динамике этнополитических конфликтов в России и за ру­ бежом”(грант 16-18-10125-P). В рамках гранта были написаны три статьи, предметом которых стало исследование методов тематического моделиро­ вания и кластеризации данных конфликтных дискуссий. Также в рамках гранта был зарегистрирован патент “Программа для автоматического об­ наружения скрытых тем в пользовательских дискуссиях”No 2020662702.

1. Tankovska H. Number of global social network users 2017-2025. — 2021.
2. Aggarwal C., Zhai C. A survey of text clustering algorithms. // Mining text data. — 2012. — с. 77—128.
3. A comprehensive survey on transfer learning / F. Zhuang, Z. Qi,
K. Duan, D. Xi, Y. Zhu, H. Zhu, H. Xiong, Q. He // Proceedings of the IEEE. — 2020. — т. 109, No 1. — с. 43—76.
4. Leopold E., Kindermann J. Text categorization with support vector machines. How to represent texts in input space? // Machine Learning. — 2002. — с. 423—444.
5. Sebastiani F. Machine learning in automated text categorization. // ACM computing surveys. — 2002. — с. 1—47.
6. Efficient Estimation of Word Representations in Vector Space /
T. Mikolov, K. Chen, G. Corrado, J. Dean // arXiv e-prints. — 2013. — arXiv—1301.
7. Enriching word vectors with subword information / P. Bojanowski,
E. Grave, A. Joulin, T. Mikolov // Transactions of the Association for Computational Linguistics. — 2017. — т. 5. — с. 135—146.
8. Deep Contextualized Word Representations / M. Peters, M. Neumann, M. Iyyer, M. Gardner, C. Clark, K. Lee, L. Zettlemoyer // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers). — 2018. — с. 2227—2237.
9. Character-level language modeling with deeper self-attention /
R. Al-Rfou, D. Choe, N. Constant, M. Guo, L. Jones // Proceedings of the AAAI Conference on Artificial Intelligence. т. 33. — 2019. —
с. 3159—3166.
10. Jing K., Xu J. A survey on neural network language models. — 2019.
59
11. Learning phrase representations using RNN encoder-decoder for statistical machine translation / K. Cho, B. Van Merri ̈enboer,
C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio // arXiv preprint arXiv:1406.1078. — 2014.
12. Cheng J., Dong L., Lapata M. Long short-term memory-networks for machine reading // arXiv preprint arXiv:1601.06733. — 2016.
13. Attention is all you need / A. Vaswani, N. Shazeer, N. Parmar,
J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin // arXiv preprint arXiv:1706.03762. — 2017.
14. Universal Sentence Encoder for English / D. Cer, Y. Yang, S.-y. Kong, N. Hua, N. Limtiaco, R. S. John, N. Constant, M. Guajardo-Cespedes, S. Yuan, C. Tar [и др.] // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. — 2018. — с. 169—174.
15. Deep unordered composition rivals syntactic methods for text classification / M. Iyyer, V. Manjunatha, J. Boyd-Graber,
H. Daum ́e III // Proceedings of the 53rd annual meeting of the association for computational linguistics and the 7th international joint conference on natural language processing (volume 1: Long papers). — 2015. — с. 1681—1691.
16. Kenton J. D. M.-W. C., Toutanova L. K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // Universal Language Model Fine-tuning for Text Classification. — 2018. — с. 278.
17. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer / C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, P. J. Liu // Journal of Machine Learning Research. — 2020. — т. 21. — с. 1—67.
18. The Natural Language Decathlon: Multitask Learning as Question Answering / B. McCann, N. Shirish Keskar, C. Xiong, R. Socher // arXiv e-prints. — 2018. — arXiv—1806.
60

19. Language models are unsupervised multitask learners / A. Radford,
J. Wu, R. Child, D. Luan, D. Amodei, I. Sutskever // OpenAI blog. — 2019. — т. 1, No 8. — с. 9.
20. Ba J. L., Kiros J. R., Hinton G. E. Layer Normalization // stat. — 2016. — т. 1050. — с. 21.
21. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — с. 770—778.
22. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever,
R. Salakhutdinov // The journal of machine learning research. — 2014. — т. 15, No 1. — с. 1929—1958.
23. Buck C., Heafield K., Van Ooyen B. N-gram Counts and Language Models from the Common Crawl. // LREC. т. 2. — Citeseer. 2014. — с. 4.
24. Trinh T. H., Le Q. V. A Simple Method for Commonsense Reasoning // arXiv e-prints. — 2018. — arXiv—1806.
25. Dirt cheap web-scale parallel text from the common crawl / J. Smith,
H. Saint-Amand, M. Plamada ̆, P. Koehn, C. Callison-Burch, A. Lopez // Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). — 2013. —
с. 1374—1383.
26. Memory-Efficient Adaptive Optimization for Large-Scale Learning / R. Anil, V. Gupta, T. Koren, Y. Singer. — 2019.
27. SuperGLUE: A stickier benchmark for general-purpose language understanding systems / A. Wang, Y. Pruksachatkun, N. Nangia,
A. Singh, J. Michael, F. Hill, O. Levy, S. R. Bowman // Advances in Neural Information Processing Systems. — 2019. — т. 32.
28. Beltagy I., Peters M. E., Cohan A. Longformer: The Long-Document Transformer // arXiv e-prints. — 2020. — arXiv—2004.
29. Revealing the Dark Secrets of BERT / O. Kovaleva, A. Romanov, A. Rogers, A. Rumshisky // arXiv e-prints. — 2019. — arXiv—1908.
61

30. Pay Less Attention with Lightweight and Dynamic Convolutions /
F. Wu, A. Fan, A. Baevski, Y. N. Dauphin, M. Auli // arXiv e-prints. — 2019. — arXiv—1901.
31. WaveNet: A Generative Model for Raw Audio / A. van den Oord, S. Dieleman, H. Zen, K. Simonyan, O. Vinyals, A. Graves,
N. Kalchbrenner, A. Senior, K. Kavukcuoglu // arXiv e-prints. — 2016. — arXiv—1609.
32. Blei D. M., Ng A. Y., Jordan M. I. Latent dirichlet allocation // the Journal of machine Learning research. — 2003. — т. 3. — с. 993—1022.
33. Text classification from labeled and unlabeled documents using EM / K. Nigam, A. K. McCallum, S. Thrun, T. Mitchell // Machine learning. — 2000. — т. 39, No 2. — с. 103—134.
34. Hofmann T. Probabilistic latent semantic analysis // arXiv preprint arXiv:1301.6705. — 2013.
35. BTM: Topic Modeling over Short Texts / C. Xueqi, Y. Xiaohui,
L. Yanyan, G. Jiafeng // IEEE Transactions on Knowledge and Data Engineering. — 2014. — с. 2928—2941.
36. Yuan Z., Jichang Z., Ke X. Word Network Topic Model: A Simple but General Solution for Short and Imbalanced Texts. — 2014.
37. Blekanov I., Tarasov N., Maksimov A. Topic modeling of conflict ad hoc discussions in social networks. // ACM International Conference Proceeding Series. — 2018. — с. 122—126.
38. Polylingual topic models / D. Mimno, H. Wallach, J. Naradowsky,
D. A. Smith, A. McCallum // Proceedings of the 2009 conference on empirical methods in natural language processing. — 2009. — с. 880—889.
39. Blekanov I., Tarasov N., Maksimov A. Topic Models with Neural Variational Inference for Discussion Analysis in Social Networks. //. — 2020.
40. Miao Y., Yu L., Blunsom P. Neural variational inference for text processing // International conference on machine learning. — PMLR. 2016. — с. 1727—1736.
62

41. Dieng A. B., Ruiz F. J., Blei D. M. Topic modeling in embedding spaces // Transactions of the Association for Computational Linguistics. — 2020. — т. 8. — с. 439—453.
42. Nallapati R., Zhai F., Zhou B. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents // Proceedings of the AAAI Conference on Artificial Intelligence. т. 31. — 2017.
43. Narayan S., Cohen S. B., Lapata M. Ranking Sentences for Extractive Summarization with Reinforcement Learning // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers). — 2018. — с. 1747—1759.
44. Neural Latent Extractive Document Summarization / X. Zhang,
M. Lapata, F. Wei, M. Zhou // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. — 2018. —
с. 779—784.
45. Liu Y., Titov I., Lapata M. Single document summarization as tree induction // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). — 2019. — с. 1745—1755.
46. Neural Document Summarization by Jointly Learning to Score and Select Sentences / Q. Zhou, N. Yang, F. Wei, S. Huang, M. Zhou,
T. Zhao // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). — 2018. —
с. 654—663.
47. Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond / R. Nallapati, B. Zhou, C. Gulcehre, B. Xiang [и др.] // arXiv e-prints. — 2016. — arXiv—1602.
48. See A., Liu P. J., Manning C. D. Get To The Point: Summarization with Pointer-Generator Networks // Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). — 2017. — с. 1073—1083.
63

49. Deep Communicating Agents for Abstractive Summarization / A. Celikyilmaz, A. Bosselut, X. He, Y. Choi // arXiv e-prints. — 2018. — arXiv—1803.
50. Paulus R., Xiong C., Socher R. A Deep Reinforced Model for Abstractive Summarization // International Conference on Learning Representations. — 2018.
51. Gehrmann S., Deng Y., Rush A. M. Bottom-Up Abstractive Summarization // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. — 2018. — с. 4098—4109.
52. Narayan S., Cohen S. B., Lapata M. Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. — 2018. — с. 1797—1807.
53. Liu Y., Lapata M. Text Summarization with Pretrained Encoders // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). — 2019. —
с. 3721—3731.
54. Unified Language Model Pre-training for Natural Language Understanding and Generation / L. Dong, N. Yang, W. Wang, F. Wei, X. Liu, Y. Wang, J. Gao, M. Zhou, H.-W. Hon // arXiv e-prints. — 2019. — arXiv—1905.
55. Medhat W., Hassan A., Korashy H. Sentiment analysis algorithms and applications: A survey // Ain Shams engineering journal. — 2014. — т. 5, No 4. — с. 1093—1113.
56. Yaakub M. R., Latiffi M. I. A., Zaabar L. S. A Review on Sentiment Analysis Techniques and Applications // IOP Conference Series: Materials Science and Engineering. т. 551. — IOP Publishing. 2019. — с. 012070.
57. Yaakub M. R., Latiffi M. I. A., Zaabar L. S. A Review on Sentiment Analysis Techniques and Applications // IOP Conference Series:
64

Materials Science and Engineering. т. 551. — IOP Publishing. 2019. — с. 012070.
58. Sentiment analysis using deep learning approaches: an overview /
O. Habimana, Y. Li, R. Li, X. Gu, G. Yu // Science China Information Sciences. — 2020. — т. 63, No 1. — с. 1—36.
59. The general inquirer: A computer system for content analysis and retrieval based on the sentence as a unit of information / P. J. Stone, R. F. Bales, J. Z. Namenwirth, D. M. Ogilvie // Behavioral Science. — 1962. — т. 7, No 4. — с. 484.
60. Lexicon-based methods for sentiment analysis / M. Taboada, J. Brooke, M. Tofiloski, K. Voll, M. Stede // Computational linguistics. — 2011. — т. 37, No 2. — с. 267—307.
61. Pang B., Lee L., Vaithyanathan S. Thumbs up? Sentiment Classification using Machine Learning Techniques // EMNLP. — 2002.
62. Peng W., Park D. H. Generate adjective sentiment dictionary for social media sentiment analysis using constrained nonnegative matrix factorization // Proceedings of the International AAAI Conference on Web and Social Media. т. 5. — 2011.
63. See A., Liu P. J., Manning C. D. Get To The Point: Summarization with Pointer-Generator Networks // Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). — 2017. — с. 1073—1083.
64. Content Sharing in Conflictual Ad-Hoc Twitter Discussions: National Patterns or Universal Trends? / S. Bodrunova, A. Smoliarova,
I. Blekanov, A. Litvinenko // Communications in Computer and Information Science. — 2017.
65. Bag of Tricks for Efficient Text Classification / A. Joulin, E. Grave,
P. Bojanowski, T. Mikolov // arXiv preprint arXiv:1607.01759. — 2016.
66. Angelov D. Top2Vec: Distributed Representations of Topics // arXiv e-prints. — 2020. — arXiv—2008.
65

67. Learning Cross-Lingual Sentence Representations via a Multi-task Dual-Encoder Model / M. Chidambaram, Y. Yang, D. Cer, S. Yuan,
Y. Sung, B. Strope, R. Kurzweil // Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019). — 2019. —
с. 250—259.
68. UMAP: Uniform Manifold Approximation and Projection / L. McInnes, J. Healy, N. Saul, L. Großberger // Journal of Open Source Software. — 2018. — т. 3, No 29. — с. 861.
69. McInnes L., Healy J., Astels S. hdbscan: Hierarchical density based clustering // Journal of Open Source Software. — 2017. — т. 2, No 11. — с. 205.