Автоматизация онлайн маркетинга

Тема продвижения бизнеса в социальных сетях набрала и продолжает набирать огромные обороты. Реклама в социальных сетях стала отличной альтернативой классическим рекламным каналам. Реклама в соцсетях позволяет пользователям создавать рекламные сообщения, которые можно точно таргетировать на нужную целевую аудиторию, например, по возрасту, по полу и по интересам. Это в свою очередь дает возможность бизнесу привлечь потенциальных клиентов, тем самым вывести бизнес на новый уровень.

Целью данной работы является сравнение методов генерации текстового контента для автоматизации он-лайн маркетинга в социальных сетях, а также разработка программного продукта, позволяющего по выбранной категории рынка товаров и услуг сформировать заголовок и текстовое наполнение рекламной записи. Для этого была использована крупнейшая языковая модель на русском языке GPT-3 от SBER. Решение данной задачи позволит малому и среднему бизнесу увеличить охват аудитории и повысить узнаваемость бренда без привлечения специалистов-маркетологов. В связи с этим тема магистерской диссертации является актуальной и имеет непосредственное практическое применение.

Маркетинг в социальных сетях претерпел большие изменения с момента его появления. Но свою актуальность он не теряет, а даже наоборот – его роль в бизнесе только возрастает с каждым годом.
Для достижения всех целей SMM необходимо выполнение большого количества рутинной работы, которая стандартными средствами может выполняться достаточно долго и затратно в финансовом плане. В магистерской диссертации предлагается способ решения этой проблемы путём автоматизации маркетинга в социальных сетях, с помощью Python и передовых нейросетевых технологий.
В ходе работы был подобран и исследован широкий круг информационных источников, были рассмотрены популярные социальные сети и особенности SMM в каждой из них. В следующих главах теоретической части было дано представление об инструментах сбора обработки данных из социальных сетей на языке Python, с помощью которых можно достичь автоматизации следующих действий: поиск и разбор текста через библиотеку BS4, эмуляция работы через Selenium, редактирование текстов через регулярные выражения, а также информация о том, как с помощью библиотеки Natasha извлекать именованные сущности из текстов, документов.
В последних главах теоретической части были рассмотрены задачи области NLP в целом и задача NLG в частности. А также технология Transformer и модели основанные на этой технологии: Bert, все поколения GPT и ruGPT-3. Проанализировав существующие модели, был сделан выбор в пользу технологии GPT-3 для дальнейшего исследования на практике.
В результате выполнения магистерской диссертации были разработаны подпрограммы, являющиеся частями одного общего программного обеспечения, позволяющего автоматизировать продвижение и рекламирование в социальных сетях. Практическая реализация происходила в несколько этапов, на каждом из которых была разработана программа, а в качестве языка реализации был выбран Python.
На первом этапе были собраны данные из рекламных компаний из социальных сетей ВКонтакте и Instagram и выполнена их предобработка для дальнейшего использования.
На следующем этапе была разработана модель, выполняющая генерацию заголовков рекламных записей статистическим методом. При этом пользователь самостоятельно влиял результат через предварительные ответы на некоторые вопросы о продвигаемом бизнесе, продукте или бренде.
Заключающим этапом данного исследования был подбор модели искусственного интеллекта, обеспечивающей наилучшую генерацию рекламного текста по ряду критериев. Сравнивались две модели: дообученная на датасете из рекламных постов с первого этапа ruGPT-3 Small и исходная ruGPT-3 XL. В результате было выявлено, что обе модели действительно хорошо справляются с генерацией текста, но XL имеет значение метрики PPL – 12.05, это более чем в 2 раза лучше, чем обученная нами модель Small (PPL – 27.777). Кроме того имеет лучшую оригинальность текста, связность предложений, и демонстрирует смысловую вариативность и рекламный характер среди сгенерированных предложений, поэтому ruGPT-3 XL являлась лидером в выборе модели для программного продукта.
Таким образом, в ходе работы над магистерской диссертацией был проделан значительный объем работы по созданию программного продукта для малого и среднего бизнеса по автоматизации онлайн-маркетинга.

43 Social Media Advertising Statistics that Matter to Marketers in 2020 [Электронный ресурс]: URL: https://blog.hootsuite.com/social-media-advertising-stats/ (дата обращения: 10.02.2021).
10 SOCIAL MEDIA STATISTICS YOU NEED TO KNOW IN 2021 [Электронный ресурс]: URL: https://www.oberlo.com/blog/social-media-marketing-statistics (дата обращения: 10.02.2021).
Рашка С., Мирджалили В. Python и машинное обучение, 3-е издание / С. Рашка, В. Мирджалили. – М.: Наука, 2020. – 848 c.
Natural language processing [Электронный ресурс]: URL: (дата обращения: 11.03.2021).
Touseef Iqbal, Shaima Qureshi, The survey: Text generation models in deep learning // Journal of King Saud University – Computer and Information Sciences, 2020, ISSN 1319-1578, URL: .
Giuseppe Rizzo, Thai Hao Marco Van, Adversarial text generation with context adapted global knowledge and a self-attentive discriminator // Information Processing & Management, Volume 57, Issue 6, 2020, 102217, ISSN 0306-4573, URL: https://doi.org/10.1016/j.ipm.2020.102217.
Liye Ma, Baohong Sun, Machine learning and AI in marketing – Connecting computing power to human insights // International Journal of Research in Marketing, Volume 37, Issue 3, 2020, p. 481-504, ISSN 0167-8116, URL: .
K. Wang, X. Wan, Automatic generation of sentimental texts via mixture adversarial networks // Artificial Intelligence, Volume 275, 2019, p. 540-558, ISSN 0004-3702, URL: .
Yang Li, Quan Pan, Suhang Wang, Tao Yang, Erik Cambria, A Generative Model for category text generation // Information Sciences, Volume 450, 2018, p. 301-315, ISSN 0020-0255, URL: .
Jose Ramon Saura, Using Data Sciences in Digital Marketing: Framework, methods, and performance metrics // Journal of Innovation & Knowledge, Volume 6, Issue 2, 2021, p. 92-102, ISSN 2444-569X, URL: https://doi.org/10.1016/j.jik.2020.08.001.
Transformer (machine learning model) [Электронный ресурс]: URL:(дата обращения: 11.04.2021).
Brown T., MannLanguage B. [и др.], Models are Few-Shot Learners // Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
Jieh-Sheng Lee, Jieh Hsiang, Patent claim generation by fine-tuning OpenAI GPT-2 // World Patent Information, Volume 62, 2020, 101983, ISSN 0172-2190, URL: .
Radford A. Language Models are Unsupervised Multitask Learners // 2019 International Conference on Information and Communication Technology (ICoICT).
Как оценить модели генерации текста: метрики для автоматической оценки моделей NLP [Электронный ресурс]: URL:(дата обращения: 11.03.2021).
Как создавать контент в социальных сетях- руководство для бизнеса // VC.RU [Электронный ресурс]: URL:(дата обращения: 16.03.2021).
Аудитория шести крупнейших соцсетей в России в 2020 году: изучаем инсайты [Электронный ресурс]: URL:(дата обращения: 16.03.2021).
Аудитория шести крупнейших соцсетей в России в 2020 году: изучаем инсайты [Электронный ресурс]: URL:https://ppc.world/articles/auditoriya-shesti-krupneyshih-socsetey-v-rossii-v-2020-godu-izuchaem-insayty/ (дата обращения: 17.03.2021).
Twitter // Wikipedia [Электронный ресурс]: URL:(дата обращения: 17.03.2021).
Особенности создания публикаций для разных социальных сетей [Электронный ресурс]: URL:(дата обращения: 18.03.2021).
Почему контент для разных соцсетей должен отличаться? // VC.RU [Электронный ресурс]: URL: (дата обращения: 18.03.2021).
Twitter audience overview in Russia as of January 2021, by indicator // Statista [Электронный ресурс]: URL: (дата обращения: 18.03.2021).
Social media marketing // Wikipedia [Электронный ресурс]: URL: (дата обращения: 11.09.2020).
Trattner C., Kappe F.: Social Stream Marketing on Facebook: A Case Study // International Journal of Social and Humanistic Computing (IJSHC)
Web-парсинг – что это такое? [Электронный ресурс]: URL: https://ipipe.ru/info/parsing (дата обращения: 15.10.2020).
Selenium для Python [Электронный ресурс]: URL: https://habr.com/ru/post/248559/ (дата обращения: 18.10.2020).
Регулярные выражения. Модуль re для Python [Электронный ресурс]: URL:(дата обращения: 20.10.2020).
Named-entity recognition [Электронный ресурс]: URL:(дата обращения: 25.10.2020).
Python. Библиотека Natasha [Электронный ресурс]: URL:https://istories.media/workshops/2021/02/19/python-biblioteka-natasha/ (дата обращения: 25.10.2020).
Машинный перевод: как это работает [Электронный ресурс]: URL:https://sysblok.ru/nlp/mashinnyj-perevod-kak-jeto-rabotaet/ (дата обращения: 22.03.2021).
Как НЛП изменяет маркетинг? [Электронный ресурс]: URL:https://blog.greensmm.ru/?p=4418 (дата обращения: 25.03.2021).
Другое НЛП: как работает Google-переводчик и что еще компьютер умеет делать с языком [Электронный ресурс]: URL:https://theoryandpractice.ru/posts/14105-nlp (дата обращения: 25.03.2021).
Тарасов С. Д. – Исследование и оптимизация параметров алгоритма Manifold Ranking на основе метрики автоматической оценки качества обзорного реферирования ROUGE-RUS // Балтийский Государственный Технический Университет им. Д.Ф.Устинова «ВОЕНМЕХ», 2013.
Bag-Of-Words model [Электронный ресурс]: URL:(дата обращения: 27.10.2020).
Generative Pre-trained Transformer 3 (GPT-3) [Электронный ресурс]: URL:(дата обращения: 23.03.2021).
Jacob Devlin. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // arXiv:1810.04805v2 [cs.CL] 24 May 2019.
BERT (языковая модель) [Электронный ресурс]: URL:(дата обращения: 01.03.2021).
BERT: прорыв в NLP-технологиях или очередной хайп на теме Deep Learning? [Электронный ресурс]: URL:(дата обращения: 02.03.2021).
Demirkiran F., Cayr A. Website Category Classification Using BERT Language Model // 5th international conference on computer science and Engineering, 2018.
Generative Pre-trained Transformer 2 (GPT-2) [Электронный ресурс]: URL: https://en.wikipedia.org/wiki/GPT-2 (дата обращения: 10.03.2021).
GPT-2 в картинках (визуализация языковых моделей Трансформера) // Хабра-Хабр [Электронный ресурс]: URL:(дата обращения: 10.03.2021).
Md. Rakibul H., Maisha M., Arifuzzaman M. Sentiment Analysis with NLP on Twitter Data // International Conference on Computer, Communication, Chemical, Materials and Electronic Engineering (IC4ME2), 11-12 July, 2019.
Внимание это всё, что Вам нужно [Электронный ресурс]: URL:(дата обращения: 11.04.2021).
The Illustrated GPT-2 (Visualizing Transformer Language Models) [Электронный ресурс]: URL:https://jalammar.github.io/illustrated-gpt2/ (дата обращения: 11.04.2021).
How to generate text: using different decoding methods for language generation with Transformers // HuggingFace [Электронный ресурс]: URL:(дата обращения: 09.04.2021).
Особенности модели BERT [Электронный ресурс]: URL:https://ichi.pro/ru/analiz-bert-cast-2-osobennosti-bert-56487190568051 (дата обращения: 11.04.2021).
R. H. Suraperwata, S. Suyanto. Language Modeling for Journalistic Robot based on Generative Pretrained Transformer 2 // 2020 8th International Conference on Information and Communication Technology (ICoICT), 2020.
OpenAI API [Электронный ресурс]: URL:(дата обращения: 14.04.2021).
Microsoft teams up with OpenAI to exclusivelylicense GPT-3 language model [Электронный ресурс]: URL:(дата обращения: 14.04.2021).
Feeling unproductive? Maybe you should stop overthinking. [Электронный ресурс]: URL: (дата обращения: 15.04.2021).
Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ // Хабра-Хабр [Электронный ресурс]: URL: https://habr.com/ru/company/sberbank/blog/524522/ (дата обращения: 17.04.2021).
Телеграм-бот, отвечающий на сообщения, с помощью GPT-3 (RUS) [Электронный ресурс]: URL:(дата обращения: 16.04.2021).
Нейросеть «Сбера» ruGPT-3 стала вдвое «умнее» [Электронный ресурс]: URL:(дата обращения: 20.04.2021).