Анализ аудиоданных и распознавание событий для систем безопасности

В данной работе рассматривается задача классификации аудио информации, а также применяется архитектура свёрточных нейронной сетей, которая достигает хороших результатов в других прикладных задачах. Помимо этого, описывается реализация алгоритма извлечения характеристик, скачивания и подготовки данных. Для повышения качества работы классификатора представлены методы увеличения объёма данных и регуляризации. Веса нейронной сети, которая предварительно обучается на большом наборе данных, используются для небольшого узкоспециализированного набора городских звуков. Полученные модели сравниваются по точности и времени обучения в задачах бинарной классификации и мультиклассификации.

Введение …………………………………………………………………………………………. 3
Постановка задачи …………………………………………………………………………… 7
Обзор литературы …………………………………………………………………………… 11
Глава 1. Подготовка данных ……………………………………………………………. 13
1.1. Наборы данных ……………………………………………………………….. 13
1.2. Скачивание данных …………………………………………………………. 15
Глава 2. Характеристики аудио ……………………………………………………….. 18
2.1. Характеристики, связанные со временем ………………………….. 18
2.2. Спектральные характеристики …………………………………………. 20
2.3. Извлечение характеристик ……………………………………………….. 25
Глава 3. Классификация ………………………………………………………………….. 30
3.1. Предыдущие результаты ………………………………………………….. 30
3.2. Используемые методы ……………………………………………………… 31
3.3. Data Augmentation ……………………………………………………………. 32
3.4. Batch Normalization ………………………………………………………….. 34
3.5. Dropout ……………………………………………………………………………. 35
3.6. Transfer Learning ……………………………………………………………… 35
3.7. Архитектура сети …………………………………………………………….. 36
Глава 4. Тестирование и результаты ………………………………………………… 40
Заключение …………………………………………………………………………………….. 45
Список литературы …………………………………………………………………………. 47

В ходе работы удалось выполнить поставленные задачи. Были реализованы
алгоритмы скачивания данных, извлечения характеристик. Помимо этого, были
найдены решения для увеличения объёма выборки для небольших наборов
данных.

Полученные модели, основанные на нейросетях, способны
классифицировать широкий спектр звуковых событий. Они не уступают по
показателям ранее разработанным алгоритмам на основе методов k-ближайших
соседей и опорных векторов.

Модели, обученные на большом наборе AudioSet, неплохо показали себя
для расширенного набора Urban Sound Classification. Предыдущие работы
достигали 74% точности, предварительно обученным VGG моделям удалось
улучшить этот результат, доведя точность до 85%.

Можно отметить, что увеличение количества скрытых слоёв в VGG-
подобных моделях повышает точность лишь на небольшие значения. Возможно,
стоит обратить внимание на более простые модели с меньшим количеством
параметров, потому что для некоторых задач увеличение вычислительной
сложности только повышает время обучения.

Классификация аудиозаписей происходит со скоростью, достаточной для
работы в реальном времени. Следующими шагами в исследовании будут
внедрение автоматического захвата аудио и одновременного анализа
аудиопотока, что позволит классифицировать звуковые события, захваченные
микрофоном на любом устройстве.

Реализованные классификаторы могут быть использованы в различных
областях. Они могут помочь заранее оповестить службы об экстренной ситуации,
либо о состоянии пациента, который проходит мониторинг. Некоторые
приложение даже включают в себя отслеживание миграции животных на основе
звукового анализа.

Кроме того, подобные сети можно использовать для автоматической
генерации новых аудиозаписей. Большой интерес составляет применение
вариационных автоэнкодеров и генеративно-состязательных сетей в области
музыки.

Вероятно, новейшие алгоритмы, основанные на остаточном обучении, и
более тонкая настройка параметров смогут значительно повысить эффективность
решения задач классификации и анализа аудиоданных.

1. Dale E. Audio-Visual Methods in Teaching, 3rd ed., Holt, Rinehart & Winston,
New York, 1969, P. 108.
2. Tzanetakis G., Cook P. Audio Information Retrieval (AIR) Tools. 2002.
3. Martin K., Scheirer E., Vercoe B. Musical content analysis through models of
audition. In Proc. ACM Multimedia Workshop on Content-Based Processing of
Music, Bristol, UK, 1998.
4. Chen H., Chen A.L.P. A Music Recommendation System Based on Music and
User Grouping. J Intell Inf Syst 24, 113–132 (2005).
5. День Иоганна Себастьяна Баха.
https://www.google.com/doodles/celebrating-johann-sebastian-bach
6. LeCun Y., Cortes C., Burges CJ. MNIST handwritten digit database. // ATT
Labs. Vol. 2. 2010.
7. Free Spoken Digit Dataset (FSDD). https://github.com/Jakobovski/free-spoken-
digit-dataset
8. Goetze S., Schroder J., Gerlach S., Hollosi D., Appell J.-E., Wallhoff F. Acoustic
monitoring and localization for social care // Journal of Computing Science and
Engineering, vol. 6, no. 1, pp. 40–50.
9. 2012.Stowell D., Clayton D. Acoustic event detection for multiple overlapping
similar sources // 2015 IEEE Workshop on Applications of Signal Processing to
Audio and Acoustics (WASPAA), 2015, pp. 1-5.
10. Jayant N., Johnston J., Safranek R. // “Signal Compression Based on Models of
Human Perception”. Proceedings of the IEEE. 81 (10): 1385–1422. (October
1993).
11. Çakir E., Parascandolo G., Heittola T., Huttunen H., Virtanen T. Convolutional
Recurrent Neural Networks for Polyphonic Sound Event Detection. 2017.
12. Giannakopoulos T. pyAudioAnalysis: An Open-Source Python Library for
Audio Signal Analysis. 2015.
13. Defferrard M., Benzi K., Vandergheynst P., Bresson X. FMA: A dataset for
music analysis. 2017.
14. Bertin-Mahieux T., Ellis D., Whitman B., Lamere P. The Million Song Dataset
// Proceedings of the 12th International Conference on Music Information
Retrieval (ISMIR). 2011.
15. Nagrani A., Chung J.S., Zisserman A. VoxCeleb: a large-scale speaker
identification dataset // INTERSPEECH. 2017.
16. Baumann T., Köhn A., Hennig F. The Spoken Wikipedia Corpus collection:
Harvesting, alignment and an application to hyperlistening // Language
Resources and Evaluation. 2018.
17. Gemmeke J., Ellis D., Freedman D., Jansen A., Lawrence W., Moore R.C.,
Plakal M., Ritter M. Audio Set: An ontology and human-labeled dataset for audio
events // Proc. IEEE ICASSP. 2017.
18. Salamon J., Jacoby C., Bello J. P. A Dataset and Taxonomy for Urban Sound
Research // 22nd ACM International Conference on Multimedia. 2014.
19. pytube3 9.6.4 documentation. https://python-pytube.readthedocs.io/en/latest/
20. FFMpeg. https://ffmpeg.org/
21. scikit-learn: machine learning in Python. https://scikit-learn.org/stable/
22. NumPy. https://numpy.org/
23. Librosa. https://librosa.github.io/
24. Ioffe S., Szegedy C. Batch normalization: Accelerating deep network training
by reducing internal covariate shift // Proceedings of Machine Learning
Research, vol. 37. PMLR, 07–09 Jul 2015, pp. 448–456.
25. Santurkar S., Tsipras D., Ilyas A., Madry A. How does batch normalization help
optimization? // Curran Associates, Inc., 2018, pp. 2483–2493.
26. G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov.
Improving neural networks by preventing co-adaptation of feature detectors //
CoRR, vol. abs/1207.0580, 2012.
27. PyTorch. https://pytorch.org/
28. K. Song and Y. Yan. A noise robust method based on completed local binary
patterns for hot-rolled steel strip surface defects // Applied Surface Science, vol.
285, pp. 858 – 864, 2013.
29. K. Simonyan and A. Zisserman. Very deep convolutional networks for large-
scale image recognition // CoRR, vol. abs/1409.1556, 2014.
30. D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” 2014.
31. Google Colaboratory. https://colab.research.google.com/