Сегментация МРТ-изображений с использованием нейронных сетей

В данной работе рассматривается задача сегментации изображений позвоночника, полученных с помощью магнитно-резонансной томографии. В последнее время активно идет разработка и создание средств для автоматизации сегментации медицинских изображений, использование которых позволит ускорить процесс постановки диагноза, повысить его точность, а также обеспечить более раннюю диагностику. В работе представлен алгоритм сегментации изображений, включающий два этапа: предварительную обработку изображений и сегментацию с помощью сверточной нейронной сети.
Рассматриваются несколько методов предварительной обработки, среди которых метод, основанный на матрице смежности уровней серого Харалика, фильтры Габора, геометрический алгоритм Кримминса и фильтр «нерезкое маскирование». Также рассмотрены и реализованы несколько архитектур сверточных нейронных сетей. Проведено сравнение точности для различных архитектур и методов предварительной обработки.

Введение ……………………………………………………………………………………………………. 3

Постановка задачи……………………………………………………………………………………… 5

Обзор литературы………………………………………………………………………………………. 6

Исходные данные …………………………………………………………………………………….. 11

Глава 1. Применение методов обработки изображений …………………………….. 13

1.1. Матрица смежности уровней серого …………………………………………… 13

1.2. Геометрический фильтр Кримминса …………………………………………… 15

1.3. Фильтр «Нерезкое маскирование» ……………………………………………… 16

1.4. Фильтры Габора …………………………………………………………………………. 17

Глава 2. Архитектуры нейронных сетей для сегментации изображений ……. 19

2.1. U-Net …………………………………………………………………………………………. 19

2.2. Residual U-Net ……………………………………………………………………………. 20

2.3. ResUnet++ ………………………………………………………………………………….. 22

2.4. UNet++ ………………………………………………………………………………………. 23

Глава 3. Разработка и реализация алгоритма автоматической сегментации .. 24

3.1. Предварительная обработка изображений ………………………………….. 25

3.2. Сегментация изображений …………………………………………………………. 29

3.2.1. Обучение без дополнительной предварительной обработки. …. 30

3.2.2. Обучение с применением дополнительной предварительной
обработки …………………………………………………………………………………………. 34

Выводы ……………………………………………………………………………………………………. 36

Заключение ……………………………………………………………………………………………… 37

Список литературы ………………………………………………………………………………….. 38

В данной работе представлен разработанный алгоритм сегментации
МРТ изображений, который включает в себя предобработку, а также
применение сверточных нейронных сетей на основе архитектур семейства U-
Net.
Предварительная обработка включает в себя: приведение к одному
формату и размеру; затемнение областей, не представляющих интереса; для
некоторых изображений потребовалась коррекция контрастности и
построение маски. Для повышения точности сегментации были предложены
несколько методов дополнительной предварительной обработки
изображений.
Реализовано несколько моделей сверточных нейронных сетей: U-Net,
ResUnet, ResUnet++, UNet++, а также проведено сравнение точности
сегментации для различных архитектур и методов предварительной
обработки.

1. Cieza, A., K. Causey, K. Kamenov, S.W. Hanson, S. Chatterji et al., 2020.
Global estimates of the need for rehabilitation based on the Global Burden of
Disease study 2019: a systematic analysis for the Global Burden of Disease
Study 2019. The Lancet, 369, pp. 2006-2017.
2. Jafarinia, M., T. Vos, S. Lim, M. Naghavi, C. Murray et al., 2020. Global
burden of 369 diseases and injuries in 204 countries and territories, 1990–
2019: a systematic analysis for the Global Burden of Disease Study 2019. The
Lancet, 369, pp. 1204-1222.
3. Hartvigsen J, M.J. Hancock, A. Kongsted et al., 2018. What low back pain is
and why we need to pay attention. The Lancet; 391, pp. 2356–2367.
4. Jusman, Y., L.A. Dewiprabamukti, A.N.N. Chamim, Z. Mohamed, S.N.A.M.
Kanafiah and N.H.A. Halim, 2020. Application of Watershed Algorithm and
Gray Level Co-Occurrence Matrix in Leukemia Cells Images. 3rd
International Conference on Mechanical, Electronics, Computer, and
Industrial Technology (MECnIT), Medan, Indonesia, pp. 9-14.
5. Pratap, T. and P. Kokil, 2019. Approximate Optimization of Gabor Filter
Parameters in Application to Blood Vessel Segmentation in Retinal Images.
WIE Conference on Electrical and Computer Engineering (WIECON-ECE),
IEEE International, pp. 1-5.
6. Wen, Z., R. Feng, J. Liu, Y. Li and S. Ying, 2021. GCSBA-Net: Gabor-Based
and Cascade Squeeze Bi-Attention Network for Gland Segmentation. IEEE
Journal of Biomedical and Health Informatics, 25(4), pp. 1185-1196.
7. Yookwan, W., K. Chinnasarn and B. Jantarakongkul, 2018. Automated
Vertebrae Pose Estimation in Low-Radiation Image using Modified Gabor
Filter and Ellipse Analysis. 5th International Conference on Advanced
Informatics: Concept Theory and Applications (ICAICTA), IEEE, pp. 141-
146.
8. Cruz-Aceves, I., F. Oloumi, R.M. Rangayyan, J.G. Aviña-Cervantes and A.
Hernandez-Aguirre, 2016. Automatic segmentation of coronary arteries using
Gabor filters and thresholding based on multiobjective optimization.
Biomedical Signal Processing and Control, 25: 76-85.
9. Jaware, T.H., V.R. Patil, R.D. Badgujar, S. Bhattacharyya, R. Dey, and R.S.
Dhar, 2021. Performance Investigations of Filtering Methods for T1 and T2
Weighted Infant Brain MR Images. Microsystem Technologies, pp. 1-13.
10.Loizou, C.P., C.S. Pattichis, C.I. Christodoulou, R.S. Istepanian, M. Pantziaris
and A. Nicolaides, 2005. Comparative evaluation of despeckle filtering in
ultrasound imaging of the carotid artery. IEEE Transactions on Ultrasonics,
Ferroelectrics and Frequency Control, 52: pp. 1653-1669.
11.Hille G., S. Saalfeld, S. Serowy, and K. Tönnies, 2018. Vertebral body
segmentation in wide range clinical routine spine MRI data. Computer
Methods and Programs in Biomedicine, 155: 93–99
12.Mikulka J., D. Chalupa, J. Svoboda, M. Filipovič, M. Repko and M. Maxová,
2020. Multimodal and Multiparametric Spatial Segmentation of Spine. 19th
International Conference on Mechatronics-Mechatronika (ME), IEEE, pp. 1-
5.
13.Gaweł D., P. Główka, T, Kotwicki and M. Nowak, 2018. Automatic spine
tissue segmentation from MRI data based on cascade of boosted classifiers
and active appearance model. BioMed Research International, vol. 2018, pp.
13.
14.Jamaludin, A., 2017. Automated analysis of spinal MRI using deep learning,
PhD thesis, St Hilda’s College, Oxford.
15.Lu J-T., S. Pedemonte, B. Bizzo et al., 2018. Deep spine: automated lumbar
vertebral segmentation, disc-level designation, and spinal stenosis grading
using deep learning. Machine Learning for Healthcare Conference, pp. 403-
419.
16.Lessmann N., B. van Ginneken, P.A. de Jong, and I. Išgum, 2019. Iterative
Fully Convolutional Neural Networks for Automatic Vertebra Segmentation
and Identification. Medical Image Analysis, 53 pp. 142–155.
17.Zukić D., A. Vlasák, J. Egger, D. Hořínek, C. Nimsky and A. Kolb, 2014.
Robust detection and segmentation for diagnosis of vertebral diseases using
routine MR images. Computer Graphics Forum, 33(6), pp. 190-204.
18.Haralick R. M. Statistical and structural approaches to texture, 1979.
Proceedings of the IEEE, 67(5), pp. 786-804.
19.Haralick R. M. K. Shanmugan, I. Dinstein, 1979. Textural Features for Image
Classification. IEEE Transactions on systems, man and cybernetics, vol. 6,
pp. 610-621.
20.Crimmins, T. R. 1986. Geometric filter for reducing speckle. Optical
Engineering, 25(5), pp. 651–654.
21.Unsharp masking [Электронный ресурс]: Википедия. Свободная
энциклопедия.–Режимдоступа:
https://en.wikipedia.org/wiki/Unsharp_masking(датаобращения:
10.04.2021).
22.Gaborfilter[Электронныйресурс]:Википедия.Свободная
энциклопедия. – Режим доступа: https://en.wikipedia.org/wiki/Gabor_filter
(дата обращения: 5.04.2021).
23.Ronneberger O., P. Fischer and T. Brox, 2015. U-Net: convolutional networks
for biomedical image segmentation. International Conference on Medical
image computing and computer-assisted intervention, Springer, Cham, pp.
234-241.
24.Zhang, Z., Q. Liu, and Y. Wang, 2018. Road extraction by deep residual U-
Net. IEEE Geoscience and Remote Sensing Letters, 15(5), pp.749-753.
25.Jha D, P.H. Smedsrud, M.A. Riegler et al., 2019. ResUNet++: An advanced
architecture for medical image segmentation. IEEE International Symposium
on Multimedia (ISM), pp. 225–2255.
26.Zhao T. et al. UNet++-Based multi-channel speech dereverberation and
distant speech recognition, 2021 12th International Symposium on Chinese
Spoken Language Processing (ISCSLP), Chinese Spoken Language
Processing (ISCSLP), pp. 1–5.