Разработка приложения для 3D-реконструкции анатомических структур сердца на основе методов полуавтоматической сегментации

Цель работы заключается в извлечении из медицинских снимков геометрических параметров сердца и разделение изображения на сегменты с помощью полуавтоматической сегментации и построение трехмерной модели сердца пациента. Задача состоит в проектировании и реализации программного приложения для преобразования набора изображений областей сердца в 3D модель.

Введение ……………………………………………………………………………………………….. 13

1 Литературный обзор …………………………………………………………………………… 15

1.1 Трехмерная графика ……………………………………………………………………… 15

1.1.1 Воксельная графика …………………………………………………………………. 15

1.1.2 Полигональная графика …………………………………………………………… 17

1.2 Сегментация изображений …………………………………………………………….. 18

1.2.1 Классификация методов сегментации ………………………………………. 19

1.2.2 Пороговые алгоритмы ……………………………………………………………… 20

1.2.3 Граничные алгоритмы ……………………………………………………………… 21

1.3 Представление изображений в медицине ……………………………………….. 26

1.3.1 Формат медицинских изображений ………………………………………….. 26

1.3.2 Денситометрические характеристики……………………………………….. 29

1.4 Обзор программных решений………………………………………………………… 30

1.4.1 ITK-SNAP Medical Image Segmentation Tools ……………………………. 30

1.4.2 Inobitec Dicom Viewer ………………………………………………………………. 31

2 Проектирование………………………………………………………………………………….. 34

2.1 Описание этапов проектирования ………………………………………………….. 34

2.2 Варианты использования ………………………………………………………………. 35

2.3 Инструменты реализации ………………………………………………………………. 36

2.4 Выбор метода сегментации ……………………………………………………………. 37

2.4.1 Архитектура сегментационной сети …………………………………………. 38

2.4.2 Выбор библиотеки машинного обучения………………………………….. 40

2.5 Библиотека визуализации ……………………………………………………………… 42
2.6 Проектирование логической модели ……………………………………………… 42

3 Реализация …………………………………………………………………………………………. 44

3.1 Получение данных пикселей DICOM …………………………………………….. 44

3.2 Сегментация………………………………………………………………………………….. 44

3.2.1 Функция сходства ……………………………………………………………………. 47

3.2.2 Результаты сегментации…………………………………………………………… 49

3.3 Подготовка изображения к 3D рендерингу …………………………………….. 51

3.3.1 Интерполяция ………………………………………………………………………….. 52

4.5 Рендеринг модели ………………………………………………………………………………. 53

4 Финансовый менеджмент,……………………………………………………………………….

Ресурсоэффективность и ресурсосбережение ……………………………………………. 54

5 Социальная ответственность ………………………………………………………………. 85

Заключение ……………………………………………………………………………………………… 98

Список использованных источников ………………………………………………………. 102

Приложение A Three-Dimensional Graphics, Segmentation Methods And Medical
Images ……………………………………………………………………………………………… 105

В ходе выполнения научно-исследовательской работы были изучены
методы и особенности трехмерной визуализации, к которым относятся
воксельная и полигональная графика. Помимо этого были проанализированы
методы сегментации изображений, проведена их классификация в отношении
решаемых ими задач и особенностей сегментируемого изображения.
После анализа теоретической части были выбраны методы и средства
для реализации приложения. Для сегментации изображений был выбран и
обоснован метод с использованием машинного обучения, в частности с
использованием полносверточной нейронной сети. Для реконструкции и
визуализации были выбраны методы построения воксельной модели.
Помимо этого языком программирования был выбран Python, а
вспомогательными программными библиотеками выступили TensorFlow,
Keras и VTK.
В полной мере были реализованы методы сегментации и получена
трехмерная модель сердца. В процессе реализации метода сегментации за
основу была взята нейронная сеть U-Net, которая была доработана и
модифицирована для достижения более высоких результатов в обработке
изображений. Рендеринг в приложении был выполнен при помощи методов
библиотеки VTK.
Полученное программное приложение было протестировано на
нескольких сериях двухмерных снимках сердца.
В результате выполнения научно-исследовательской работы было
реализовано приложение, позволяющее, используя методы
полуавтоматической сегментации, построить трехмерную модель отдельных
областей сердца для решения задач диагностики и лечения сердечно-
сосудистых заболеваний.
Из научных результатов можно выделить реализацию
модифицированного алгоритма сегментации медицинских изображений с
использованием машинного обучения, который дает значительный прирост в
качестве результатов сегментации, что доказано с использованием функции
сходства Дайса.
Помимо реализации в данной научно-исследовательской в работе
были рассмотрены вопросы конкурентоспособности исследования, его
сильные и слабые стороны, произведен расчет бюджета исследования,
определена финансовая, бюджетная, социальная и экономическая
эффективность, коммерческий потенциал проекта и перспективность
исследования.
Также были определены основные требования социальной
ответственности, рассмотрены вопросы экологической и производственной
безопасности. Вместе с этим определены методы и средства для
предотвращения вредных и опасных факторов на рабочем месте, а также
приведены правовые и организационные вопросы обеспечения безопасности.
Все поставленные задачи были решены в полном объеме, а цели
достигнуты.
CONCLUSION

In the course of the research work, methods and features of three-
dimensional visualization were studied, including voxel and polygonal graphics. In
addition, the methods of image segmentation were analyzed, their classification
was carried out with respect to the tasks and features of the segmented image.
After analyzing the theoretical part, the methods and tools for
implementing the application were chosen. For segmentation of images, a method
using machine learning, in particular using a full-convolution neural network, was
selected and justified. For reconstruction and visualization, the methods for
constructing the voxel model were chosen. In addition, Python was chosen as the
programming language, and auxiliary programming libraries were TensorFlow,
Keras and VTK.
The segmentation methods were fully realized and a three-dimensional
model of the heart was obtained. In the process of implementing the segmentation
method, the U-Net neural network was used as a basis, which was modified to
achieve better results in image processing. A rendering in the application was
performed using the methods of the VTK library.
The resulting software application was tested in several series of two-
dimensional images of the heart.
As a result of the research work, an application was implemented that
allows using the methods of semiautomatic segmentation to build a three-
dimensional model of individual areas of the heart for solving problems of
diagnosis and treatment of cardiovascular diseases.
From the scientific results, it is possible to single out the implementation of
the modified algorithm for segmentation of medical images using machine
learning, which gives a significant increase in the quality of segmentation results,
which is proved using the function of Dice’s similarity.
In addition to the implementation of this research, the issues of
competitiveness of the study, its strengths and weaknesses, calculation of the
research budget, financial, budgetary, social and economic efficiency, commercial
potential of the project and the prospectivity of the research were considered.
Also, the main requirements of social responsibility were defined, and
environmental and industrial safety issues were considered. Along with this,
methods and means for preventing harmful and dangerous factors in the workplace
was defined, and legal and organizational issues of ensuring security are also
presented.
All the tasks were solved in full, and the goals were achieved.

1.Инженерная 3D компьютерная графика / А.Л. Хейфец и др. –
Москва: СИНТЕГ, 2011. – 464 c.
2.Григорьев,С.Н.Построениевоксельныхмоделей
геометрических объектов / С.Н. Григорьев. – М.: Синергия, 2013. – 715 c.
3.Шикин, Е. В. Компьютерная графика. Полигональные модели /
Е.В. Шикин, А.В. Боресков. – М.: Диалог-Мифи, 2005. – 464 c.
4.Глушаков, С.В. Компьютерная графика / С.В. Глушаков, Г.А.
Кнабе. – М.: Харьков: Фолио, 2012. – 500 c.
5.Ярославский, Л.П. Введение в цифровую обработку изображений
/ Л.П. Ярославский. – М.: [не указано], 2015. – 633 c.
6. Гонсалес Р., Вудс Р. Цифровая обработка изображений. – М.:
Техносфера, 2005. – 1072 с
7.Skarbek W., Koschan A. Colour image segmentation – a survey //
Techn.Rep.94–32.–TechnicalUniversityBerlin.1994.URL:
http://iristown.engr.utk.edu/~koschan/paper/coseg.pdf(датаобращения:
09.04.2018).
8.Фисенко В.Т., Фисенко Т.Ю., Компьютерная обработка и
распознавание изображений: учеб. пособие. – СПб: СПбГУ ИТМО, 2008. –
192 с.
9.Вежневец В., Баринова О. Алгоритмы сегментации изображений:
автоматическаясегментация[Электронныйресурс].–URL:
http://www.cgm.computergraphics.ru.postman.ru/content/view/147.Дата
обращения: 12.04.2018
10. Классификацияивыделениеобъектовнаизображениях.
[Электронный ресурс]. URL: https://habrahabr.ru/post/108212 (дата обращения:
03.02.2018).
11. Пороговые методы (сегментация) [Электронный ресурс]. URL:
http://ru.bmstu.wiki/Пороговые_методы_(Сегментация)(датаобращения:
22.01.2017).
12. Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2006. –
1104 c.
13. Ковалев, В. А. Анализ текстуры трехмерных медицинских
изображений / В.А. Ковалев. – Москва: Огни, 2008. – 846 c.
14. Информационные технологии в медицине. [Электронный ресурс]
URI: http://itm.consef.ru, свободный. – Загл. с экрана. – Яз. рус. Дата
обращения: 10.05.2018
15. МеждународныйстандартICCSR26000:2011«Социальная
ответственность организации»
16. ГОСТ 12.0.003-74 ССБТ. Опасные и вредные производственные
факторы. Классификация. – М.: Издательство стандартов, 2001. – 4 с.
17. Безопасность жизнедеятельности. /Под ред. Н.А. Белова – М.:
Знание, 2000 – 364с.
18. СанПиН2.2.4.548–96.Гигиеническиетребованияк
микроклимату
19. СНиП 23-05-95. Естественное и искусственное освещение. – М.:
Центр проектной продукции в строительстве, 2011. – 70 с.
20. ГОСТ 6825-91. Лампы люминесцентные трубчатые для общего
освещения. – М.: Издательство стандартов, 1992. – 242 с
21. Борьба с шумом на производстве: Справочник / Е.Я. Юдин, Л.А.
Борисов; Под общ. ред. Е.Я. Юдина – М.: Машиностроение, 1985. – 400с., ил.
22. ГОСТ 12.1.003-83. ССБТ. Общие требования безопасности. – М.:
Издательство стандартов, 2002. – 13 с.
23. СНиП 23-03-2003. Защита от шума. – М.: Госстрой России, 2004.
– 34 с.
24. СанПиН2.2.2/2.4.1340-03.Гигиеническиетребованияк
персональнымэлектронно-вычислительныммашинамиорганизации
работы.– М.: Информационно-издательский центр Минздрава России, 2003. –
54 с.
25. НПБ 105-95. Определение категорий помещений и зданий по
взрывопожарной и пожарной опасности. / Шебеко Ю.Н. – М.: ВНИИПО,
1998. – 119 с.
26. СП 12.13130.2009. Определение категорий помещений, зданий и
наружных установок по взрывопожарной и пожарной опасности. – М.:
Проспект, 2010. – 32 с.
27. ГОСТ Р 51768-2001. Ресурсосбережение. Обращение с отходами.
Методикаопределенияртутивртутьсодержащихотходах.Общие
требования. – М: Издательство стандартов, 2001. – 13 с.
28. ППБ 01-03. Правила пожарной безопасности в Российской
Федерации. – М.: ФГУ ВНИИПО МЧС России, 2003. – 111 с.
29. ГОСТР51057-01.Огнетушителипереносные.Общие
технические требования. Методы испытаний. – М.: Издательство стандартов,
2001. – 48 с.
30. Трудовой кодекс Российской Федерации” от 30.12.2001 N 197-
ФЗ.КонсультантПлюс[Электронныйресурс]Точка
доступа: http://www.consultant.ru/ (дата обращения: 09.05.2018).