Cancer UrologyCancer UrologyОнкоурология1726-97761996-1812Publishing House ABV Press164110.17650/1726-9776-2023-19-2-101-110REVIEWSОБЗОРЫAnalysis of deep learning approaches for automated prostate segmentation: literature reviewАнализ подходов к глубокому обучению для автоматизированного выделения и сегментации предстательной железы: обзор литературыhttps://orcid.org/0000-0002-3521-8937TalyshinskiiA. E.ТалышинскийА. Э.
Russian Federation

 Ali El’manovich Talyshinskii 

Build. 1, 11 Serebryakova Proezd, Moscow 129343, Russia 

 Али Эльманович Талышинский 

Россия, 129343 Москва, пр-д Серебрякова, 11, корп. 1 

ali-ma@mail.ruhttps://orcid.org/0000-0002-2359-6973GulievB. G.ГулиевБ. Г.
Russian Federation

41 Kirochnaya St., Saint Petersburg 191015, Russia

56 Liteynyy Prospekt, Saint Petersburg 191014, Russia 

Россия, 191015 Санкт-Петербург, ул. Кирочная, 41

Россия, 191014 Санкт-Петербург, Литейный пр-кт, 56 

gulievbg@mail.ruhttps://orcid.org/0000-0002-8351-9216KamyshanskayaI. G.КамышанскаяИ. Г.
Russian Federation

Build. 1, 11 Serebryakova Proezd, Moscow 129343, Russia 

56 Liteynyy Prospekt, Saint Petersburg 191014, Russia

7–9 Universitetskaya Naberezhnaya, Saint Petersburg 199034, Russia 

Россия, 129343 Москва, пр-д Серебрякова, 11, корп. 1 

Россия, 191014 Санкт-Петербург, Литейный пр-кт, 56

Россия, 199034 Санкт-Петербург, Университетская набережная, 7–9 

irinaka@mail.ruhttps://orcid.org/0000-0003-4359-979XNovikovA. I.НовиковА. И.
Russian Federation

41 Kirochnaya St., Saint Petersburg 191015, Russia 

lit. A, 68A Leningradskaya St., Pesochnyy, Saint Petersburg 197758, Russia 

Россия, 191015 Санкт-Петербург, ул. Кирочная, 41 

Россия, 197758 Санкт-Петербург, пос. Песочный,  Ленинградская ул., 68А, лит. А 

novikov_urol@mail.ruhttps://orcid.org/0000-0003-1849-6924ZhanbyrbekulyU.ЖанбырбекулыУ.
Kazakhstan

Department of Urology and Andrology

49A Beybitshilik St., Astana 010000, Republic of Kazakhstan 

кафедра урологии и андрологии

Республика Казахстан, 010000 Астана, ул. Бейбитшилик, 49A 

Ulanbek.amu@gmail.comhttps://orcid.org/0000-0002-6800-4505MamedovA. E.МамедовА. Э.
Russian Federation

34 Moskovskoye Shosse, Samara 443086, Russia 

Россия, 443086 Самара, Московское шоссе, 34 

anar555mamedov@gmail.comhttps://orcid.org/0000-0002-3145-0245PovagoI. A.ПовагоИ. А.
Russian Federation

41 Kirochnaya St., Saint Petersburg 191015, Russia 

Россия, 191015 Санкт-Петербург, ул. Кирочная, 41 

eetwo@yandex.ruhttps://orcid.org/0000-0001-6905-0581AndriyanovA. A.АндрияновА. А.
Russian Federation

41 Kirochnaya St., Saint Petersburg 191015, Russia 

Россия, 191015 Санкт-Петербург, ул. Кирочная, 41 

mr.haisenberg001@gmail.comMed-RayООО «Мед-Рей»I.I. Mechnikov North-West State Medical University, Ministry of Health of RussiaФГБОУ ВО «Северо-Западный государственный медицинский университет им. И.И. Мечникова» Минздрава РоссииMariinsky HospitalСПб ГБУЗ «Городская Мариинская больница»Saint Petersburg State UniversityФГБОУ ВО «Санкт-Петербургский государственный университет»N.P. Napalkov Saint Petersburg Clinical Scientific and Practical Center for Specialized Types of Medical Care (Oncological)ГБУЗ «Санкт-Петербургский клинический научно-практический центр специализированных видов медицинской помощи (онкологический) им. Н.П. Напалкова»Astana Medical UniversityНАО «Медицинский университет Астана»Samara UniversityФГАОУ ВО «Самарский национальный исследовательский университет им. акад. С.П. Королева»140820231921011100312202214042023https://oncourology.abvpress.ru/oncur/article/view/1641

Background. Delineation of the prostate boundaries represents the initial step in understanding the state of the whole organ and is mainly manually performed, which takes a long time and directly depends on the experience of the radiologists. Automated prostate selection can be carried out by various approaches, including using artificial intelligence and its subdisciplines – machine and deep learning.Aim. To reveal the most accurate deep learning-based methods for prostate segmentation on multiparametric magnetic resonance images.Materials and methods. The search was conducted in July 2022 in the PubMed database with a special clinical query (((AI) OR (machine learning)) OR (deep learning)) AND (prostate) AND (MRI). The inclusion criteria were availability of the full article, publication date no more than five years prior to the time of the search, availability of a quantitative assessment of the reconstruction accuracy by the Dice similarity coefficient (DSC) calculation.Results. The search returned 521 articles, but only 24 papers including descriptions of 33 different deep learning networks for prostate segmentation were selected for the final review. The median number of cases included for artificial intelligence training was 100 with a range from 25 to 365. The optimal DSC value threshold (0.9), in which automated segmentation is only slightly inferior to manual delineation, was achieved in 21 studies.Conclusion. Despite significant achievements in the development of deep learning-based prostate segmentation algorithms, there are still problems and limitations that should be resolved before artificial intelligence can be implemented in clinical practice.

Введение. Определение границ предстательной железы является начальным шагом в понимании состояния органа и в основном выполняется вручную, что занимает длительное время и напрямую зависит от опыта рентгенолога. Автоматизация в выделении предстательной железы может быть осуществлена различными подходами, в том числе с помощью искусственного интеллекта и его субдисциплин – машинного и глубокого обучения.Цель работы – детальный анализ литературы для определения наиболее эффективных способов автоматизированной сегментации предстательной железы по снимкам мультипараметрической магнитно-резонансной томографии посредством глубокого обучения.Материалы и методы. Поиск публикаций проводился в июле 2022 г. в поисковой системе PubMed с помощью клинического запроса (((AI) OR (machine learning)) OR (deep learning)) AND (prostate) AND (MRI). Критериями включения были доступность полного текста статьи, дата публикации не более 5 лет на момент поиска, наличие количественной оценки точности реконструкции предстательной железы с помощью коэффициента Серенсена–Дайса (Dice similarity coefficient, DSC).Результаты. В результате поиска найдена 521 статья, из которой в анализ были включены только 24 работы, содержавшие описание 33 различных способов глубокого обучения для сегментации предстательной железы. Медиана количества исследований, включенных для обучения искусственного интеллекта, составила 100 с диапазоном от 25 до 365. Оптимальным значением DSC, при котором автоматизированная сегментация лишь незначительно уступает ручному послойному выделению предстательной железы, составляет 0,9. Так, DSC выше порогового достигнут в описании 21 алгоритма.Заключение. Несмотря на значимые достижения в автоматизированной сегментации предстательной железы с помощью алгоритмов глубокого обучения, до сих пор существует ряд проблем и ограничений, требующих решения для внедрения искусственного интеллекта в клиническую практику.

prostate cancermultiparametric magnetic resonance imagingartificial intelligenceprostate segmentationрак предстательной железымультипараметрическая магнитно-резонансная томографияискусственный интеллектсегментация предстательной железыKossov P.A., Chernyaev V.A., Akhverdieva G.I. et al. Role and significance of multiparametric magnetic resonance imaging in prostate cancer diagnostics. Onkourologiya = Cancer Urology 2017;13(1):122–33. (In Russ.). DOI: 10.17650/1726-9776-2017-13-1-122-133Коссов Ф.А., Черняев В.А., Ахвердиева Г.И. и др. Роль и значение мультипараметрической магнитно-резонансной томографии в диагностике рака предстательной железы. Онкоурология 2017;13(1):122–33. DOI: 10.17650/1726-9776-2017-13-1-122-133Beetz N.L., Haas M., Baur A. et al. Inter-reader variability using PI-RADS v2 versus PI-RADS v2.1: most new disagreement stems from scores 1 and 2. Rofo 2022;194(8):852–61. DOI: 10.1055/a-1752-1038Kovalev V.A., Voynov D.M., Malyshau V.D. et al. Computerized diagnosis of prostate cancer based on whole slide histology images and deep learning methods. Informatika = Informatics 2020;17(4): 48–60. (In Russ.). DOI: 10.37661/1816-0301-2020-17-4-48-60Ковалев В.А., Войнов Д.М., Малышев В.Д. и др. Компьютеризированная диагностика рака простаты на основе полнослайдовых гистологических изображений и методов глубокого обучения. Информатика 2020;17(4):48–60. DOI: 10.37661/1816-0301-2020-17-4-48-60Reva S.A., Shaderkin I.A., Zyatchin I.V. et al. Artificial intelligence in cancer urology. Eksperimental'naya i klinihceskaya urologiya = Experimental and Clinical Urology 2021;14(2):46–51. (In Russ.). DOI: 10.29188/2222-8543-2021-14-2-46-51Рева С.А., Шадеркин И.А., Зятчин И.В. и др. Искусственный интеллект в онкоурологии. Экспериментальная и клиническая урология 2021;14(2):46–51. DOI: 10.29188/2222-8543-2021-14-2-46-51Da Silva G.L.F., Diniz P.S., Ferreira J.L. et al. Superpixel-based deep convolutional neural networks and active contour model for automatic prostate segmentation on 3D MRI scans. Med Biol Eng Comput 2020;58(9):1947–64. DOI: 10.1007/s11517-020-02199-5Wang B., Lei Y., Tian S. et al. Deeply supervised 3D fully convolutional networks with group dilated convolution for automatic MRI prostate segmentation. Med Phys 2019;46(4):1707–18. DOI: 10.1002/mp.13416Liu Q., Fu M., Gong X. et al. Densely dilated spatial pooling convolutional network using benign loss functions for imbalanced volumetric prostate segmentation. Curr Bioinform 2018;15(7):788–99. DOI: 10.48550/arXiv.1801.10517Nai Y.H., Teo B.W., Tan N.L. et al. Evaluation of multimodal algorithms for the segmentation of multiparametric MRI prostate images. Comput Math Methods Med 2020;20;2020:8861035. DOI: 10.1155/2020/8861035Yu L., Yang X., Chen H. et al. Volumetric ConvNets with mixed residual connections for automated prostate segmentation from 3D MR images. Proc AAAI Conf Artif Intell 2017;31(1):66–72. DOI: 10.1609/aaai.v31i1.10510Comelli A., Dahiya N., Stefano A. et al. Deep learning-based methods for prostate segmentation in magnetic resonance imaging. Appl Sci 2021;11(2):1–13. DOI: 10.3390/app11020782Karimi D., Samei G., Kesch C. et al. Prostate segmentation in MRI using a convolutional neural network architecture and training strategy based on statistical shape models. Int J Comput Assist Radiol Surg 2018;13(8):1211–9. DOI: 10.1007/s11548-018-1785-8Ushinsky A., Bardis M., Glavis-Bloom J. et al. A 3D-2D Hybrid U-Net convolutional neural network approach to prostate organ segmentation of multiparametric MRI. AJR Am J Roentgenol 2021;216(1):111–6. DOI: 10.2214/AJR.19.22168Yan K., Wang X., Kim J. et al. A propagation-DNN: deep combination learning of multi-level features for MR prostate segmentation. Comput Methods Programs Biomed 2019;170:11–21. DOI: 10.1016/j.cmpb.2018.12.031Jia H., Xia Y., Song Y. et al. 3D APA-Net: 3D adversarial pyramid anisotropic convolutional network for prostate segmentation in MR images. IEEE Trans Med Imaging 2020;39(2):447–57. DOI: 10.1109/TMI.2019.2928056Bardis M., Houshyar R., Chantaduly C. et al. Segmentation of the prostate transition zone and peripheral zone on MR images with deep learning. Radiol Imaging Cancer 2021;3(3):e200024. DOI: 10.1148/rycan.2021200024Liu Y., Miao Q., Surawech C. et al. Deep learning enables prostate MRI segmentation: a large cohort evaluation with inter-rater variability analysis. Front Oncol 2021;11:801876. DOI: 10.3389/fonc.2021.801876Nie D., Wang L., Gao Y. et al. STRAINet: Spatially-varying sTochastic Residual AdversarIal Networks for MRI pelvic organ segmentation. IEEE Trans Neural Networks Learn Syst 2019;30(5):1552–64. DOI: 10.1109/TNNLS.2018.2870182Sanford T.H., Zhang L., Harmon S.A. et al. Data augmentation and transfer learning to improve generalizability of an automated prostate segmentation model. AJR Am J Roentgenol 2020;215(6):1403–10. DOI: 10.2214/AJR.19.22347Liu Q., Dou Q., Yu L. et al. MS-Net: Multi-Site Network for improving prostate segmentation with heterogeneous MRI data. IEEE Trans Med Imaging 2020;39(9):2713–24. DOI: 10.1109/TMI.2020.2974574Wang W., Wang G., Wu X. et al. Automatic segmentation of prostate magnetic resonance imaging using generative adversarial networks. Clin Imaging 2021;70:1–9. DOI: 10.1016/j.clinimag.2020.10.014Aldoj N., Biavati F., Michallek F. et al. Automatic prostate and prostate zones segmentation of magnetic resonance images using DenseNet-like U-net. Sci Reports 2020;10(1):14315. DOI: 10.1038/s41598-020-71080-0Nhat To M.N.N., Vu D.Q., Turkbey B. et al. Deep dense multi-path neural network for prostate segmentation in magnetic resonance imaging. Int J Comput Assist Radiol Surg 2018;13(11):1687–96. DOI: 10.1007/s11548-018-1841-4Zhu Q., Du B., Yan P. Boundary-weighted domain adaptive neural network for prostate MR image segmentation HHS public access. IEEE Trans Med Imaging 2020;39(3):753–63. DOI: 10.1109/TMI.2019.2935018Zhu Y., Wei R., Gao G. et al. Fully automatic segmentation on prostate MR images based on cascaded fully convolution network. J Magn Reson Imaging 2019;49(4):1149–56. DOI: 10.1002/jmri.26337Meyer A., Chlebus G., Rak M. et al. Anisotropic 3D multi-stream CNN for accurate prostate segmentation from multi-planar MRI. Comput Methods Programs Biomed 2021;200:105821. DOI: 10.1016/j.cmpb.2020.105821Geng L., Wang J., Xiao Z. et al. Encoder-decoder with dense dilated spatial pyramid pooling for prostate MR images segmentation. Comput Assist Surg 2019;24(sup2):13–9. DOI: 10.1080/24699322.2019.1649069Chen J., Wan Z., Zhang J. et al. Medical image segmentation and reconstruction of prostate tumor based on 3D AlexNet. Comput Methods Programs Biomed 2021;200:105878. DOI: 10.1016/j.cmpb.2020.105878Yan L., Liu D., Xiang Q. et al. PSP net-based automatic segmentation network model for prostate magnetic resonance imaging. Comput Methods Programs Biomed 2021;207:106211. DOI: 10.1016/j.cmpb.2021.106211Khan S., Vohra S., Farnan L. et al. Using health insurance claims data to assess long-term disease progression in a prostate cancer cohort. Prostate 2022;82(15):1447–55. DOI: 10.1002/pros.24418Toth R., Madabhushi A. Multifeature landmark-free active appearance models: Application to prostate MRI segmentation. IEEE Trans Med Imaging 2012;31(8):1638–50. DOI: 10.1109/TMI.2012.2201498Qiu W., Yuan J., Ukwatta E. et al. Dual optimization based prostate zonal segmentation in 3D MR images. Med Image Anal 2014;18(4):660–73. DOI: 10.1016/j.media.2014.02.009Ghose S., Mitra J., Oliver A. et al. A random forest based classification approach to prostate segmentation in MRI. In: MICCAI Gd. Chall. Prostate MR Image Segmentation, 2012. Pp. 125–128.Rundo L., Militello C., Russo G. et al. Automated prostate gland segmentation based on an unsupervised fuzzy C-means clustering technique using multispectral T1w and T2w MR imaging. Inf 2017;8(2):49. DOI: 10.3390/info8020049Litjens G., Debats O., van de Ven W. et al. A pattern recognition approach to zonal segmentation of the prostate on MRI. Med Image Comput Comput Assist Interv 2012;15(Pt 2):413–20. DOI: 10.1007/978-3-642-33418-4_51Jin J., Zhang L., Leng E. et al. Bayesian spatial models for voxelwise prostate cancer classification using multi-parametric magnetic resonance imaging data. Stat Med 2022;41(3):483–99. DOI: 10.1002/sim.9245Sharma N., Ray A.K., Shukla K.K. et al. Automated medical image segmentation techniques. J Med Phys 2010;35(1):3–14. DOI: 10.4103/0971-6203.58777Chen D., Liu S., Kingsbury P. et al. Deep learning and alternative learning strategies for retrospective real-world clinical data. NPJ Digit Med 2019;2:43. DOI: 10.1038/s41746-019-0122-0Bura V., Caglic I., Snoj Z. et al. MRI features of the normal prostatic peripheral zone: the relationship between age and signal heterogeneity on T2WI, DWI, and DCE sequences. Eur Radiol 2021;31(7):4908–17. DOI: 10.1007/s00330-020-07545-7