Эффективность машинного обучения в прогнозировании ранней послеоперационной смерти после операции коронарного шунтирования

Авторы: Голухова Е.З., Керен М.А., Завалихина Т.В., Булаева Н.И., Гречишникова Д.А., Сигаев И.Ю., Яхяева К.Б.

Организация:
ФГБУ «Национальный медицинский исследовательский центр сердечно-сосудистой хирургии им. А.Н. Бакулева» Минздрава России, Москва, Российская Федерация

Для корреспонденции: Сведения доступны для зарегистрированных пользователей.

Тип статьи: Оригинальные статьи

DOI: https://doi.org/10.24022/1997-3187-2023-17-1-77-93

УДК: 616.132.2-089.86:617-089.168.85

Для цитирования:  Голухова Е.З., Керен М.А., Завалихина Т.В., Булаева Н.И., Гречишникова Д.А., Сигаев И.Ю., Яхяева К.Б. Эффективность машинного обучения в прогнозировании ранней послеоперационной смерти после операции коронарного шунтирования. Креативная кардиология. 2023; 17 (1): 77–93. DOI: 10.24022/1997-3187-2023-17-1-77-93

Поступила / Принята к печати:  09.01.2023 / 13.03.2023

Ключевые слова: методы машинного обучения, коронарное шунтирование, прогнозирование смерти



Оформить подписку 🔒

 

Аннотация

Цель. Разработка и оценка эффективности моделей машинного обучения в прогнозировании внутригоспитального летального исхода после операции коронарного шунтирования (КШ) в сравнении со шкалой риска EuroSCORE II.

Материал и методы. В анализ были включены обезличенные медицинские данные 2826 больных со стабильным течением ишемической болезни сердца (ИБС), перенесших операцию изолированного КШ с 2018 по 2022 г. В исследуемой выборке смертность составила 1,45% (n = 41). Целевым для прогнозирования признаком являлась смерть от любых причин, наступившая после операции КШ за период госпитализации. Для прогнозирования смерти после КШ были разработаны модели на основе логистической регрессии (ЛР), градиентного бустинга (LightGBM, XGBoost, CatBoost) и ансамблевой модели (АМ), объединившего все четыре разработанные модели. Полученные модели сравнили с моделью Европейской системы оценки сердечного операционного риска-II (EuroSCORE II). В качестве показателей производительности моделей использовали точность (precision), полноту (recall), F1-меру (F1-score), AUC.

Результаты. На исследуемой выборке ЛР продемонстрировала наилучшую способность к прогнозированию исходов положительного класса среди общего класса (recall – 0,88), но обладала самым низким значением точности (precision – 0,03). Модели градиентного бустинга (LightGBM, XGBoost, Catboost) и АМ обладали более высокими показателями точности и приемлемыми показателями полноты и F1-меры. Показатели, свидетельствующие о более высокой эффективности, были получены для АМ (recall – 0,50, precision – 0,67, F1-мера – 0,57, AUC – 0,85), что показывает ее преимущество над остальными моделями. Шкала EuroSCORE II не продемонстрировала достаточной эффективности в отношении возможности предсказания риска смерти при КШ на анализируемой выборке пациентов (recall – 0,143, precision – 0,125, F1-мера – 0,133, AUC – 0,47). Наилучшие показали дискриминации были получены для моделей, реализованных с помощью LightGBM (AUC 0,84), Catboost (AUC 0,87) и АМ (AUC 0,85).

Заключение. В исследовании разработаны различные модели для прогнозирования внутригоспитальной смертности после операции коронарного шунтирования с использованием методов машинного обучения (ЛР, LightGBM, XGBoost, CatBoost и АМ). Метрики качества полученных моделей, разработанных с помощью методов машинного обучения, в особенности методы градиентного бустинга, превосходят прогностические возможности шкалы EuroSCORE II.

Литература

  1. Рекомендации ESC/EACTS по реваскуляризации миокарда 2018. Российский кардиологический журнал. 2019; 8: 151–226. DOI: 10.15829/1560-4071-2019-8-151-226
  2. Allyn J., Allou N., Augustin P., Philip I., Martinet O., Belghiti M. et al. Comparison of a machine learning model with EuroSCORE II in predicting mortality after elective cardiac surgery: a decision curve analysis. PLoS One. 2017; 12 (1): e0169772. DOI: 10.1371/journal.pone.0169772
  3. Molina R.S., Molina-Rodríguez M.A., Rincón F.M., Maldonado J.D. Cardiac operative risk in Latin America: a comparison of machine learning models vs EuroSCORE-II. Ann. Thorac. Surg. 2022; 113 (1): 92–9. DOI: 10.1016/j.athoracsur.2021.02.052
  4. Deo R.C. Machine learning in medicine. Circulation. 2015; 132 (20): 1920–30. DOI: 10.1161/CIRCULATIONAHA.115.001593
  5. Arfat Y., Mittone G., Esposito R., Cantalupo B., de Ferrari G.M., Aldinucci M. Machine learning for cardiology. Minerva Cardiol. Angiol. 2022; 70 (1): 75–91. DOI: 10.23736/S2724-5683.21. 05709-4
  6. Penny-Dimri J.C., Bergmeir C., Perry L., Hayes L., Bellomo R., Smith J.A. Machine learning to predict adverse outcomes after cardiac surgery: a systematic review and meta-analysis. J. Card. Surg. 2022; 37 (11): 3838–45. DOI: 10.1111/jocs.16842
  7. Benedetto U., Dimagli A., Sinha S., Cocomello L., Gibbison B., Caputo M. et al. Machine learning improves mortality risk prediction after cardiac surgery: systematic review and meta-analysis. J. Thorac. Cardiovasc. Surg. 2022; 163 (6): 2075–87.e9. DOI: 10.1016/j.jtcvs.2020.07.105
  8. Nashef S.A., Roques F., Sharples L.D., Nilsson J., Smith C., Goldstone A.R. et al. EuroSCORE II. Eur. J. Cardiothorac. Surg. 2012; 41 (4): 734–44; discussion 744–5. DOI: 10.1093/ejcts/ezs043
  9. Shahian D.M., O’Brien S.M., Filardo G., Ferraris V.A., Haan C.K., Rich J.B. et al. Society of Thoracic Surgeons Quality Measurement Task Force. The Society of Thoracic Surgeons 2008 cardiac surgery risk models: part 1 – coronary artery bypass grafting surgery. Ann. Thorac. Surg. 2009; 88 (1 Suppl.): S2–22. DOI: 10.1016/j.athoracsur. 2009.05.053
  10. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning. New York; Springer: 2009. https://link.springer.com/book/10.1007/978-0- 387-84858-7 (дата обращения 04.03.2023 /accessed March 04, 2023).
  11. Verma A., Sanaiha Y., Hadaya J., Maltagliati A.J., Tran Z., Ramezani R. et al. University of California Cardiac Surgery Consortium. Parsimonious machine learning models to predict resource use in cardiac surgery across a statewide collaborative. JTCVS Open. 2022; 11: 214–28. DOI: 10.1016/j.xjon.2022.04.017
  12. Lee H.C., Yoon H.K., Nam K., Cho Y.J., Kim T.K., Kim W.H. et al. Derivation and validation of machine learning approaches to predict acute kidney injury after cardiac surgery. J. Clin. Med. 2018; 7 (10): 322. DOI: 10.3390/jcm7100322
  13. Ivanov J., Tu J.V., Naylor C.D. Ready-made, recalibrated, or Remodeled? Issues in the use of risk indexes for assessing mortality after coronary artery bypass graft surgery. Circulation. 1999; 99 (16): 2098–104. DOI: 10.1161/01.cir.99.16.2098
  14. Silverborn M., Nielsen S., Karlsson M. The performance of EuroSCORE II in CABG patients in relation to sex, age, and surgical risk: a nationwide study in 14,118 patients. J. Cardiothorac. Surg. 2023; 18 (1): 40. DOI: 10.1186/s13019-023-02141-4
  15. Shahian D.M., Blackstone E.H., Edwards F.H., Grover F.L., Grunkemeier G.L., Naftel D.C. et al. STS workforce on evidence-based surgery. Cardiac surgery risk models: a position article. Ann. Thorac. Surg. 2004; 78 (5): 1868–77. DOI: 10.1016/j.athoracsur.2004.05.054 16. Karim M.N., Reid C.M., Cochrane A., Tran L., Alramadan M., Hossain M.N. Mortality risk prediction models for coronary artery bypass graft surgery: current scenario and future direction. J. Cardiovasc. Surg. (Torino). 2017; 58 (6): 931–42. DOI: 10.23736/S0021-9509.17.09965-7 17. Harrell F.E., Jr. Regression modeling strategies. With applications to linear models, logistic regression, and survival analysis. New York; Springer: 2001. https://link.springer.com/book/10.1007/978-1-4757-3462-1 (дата обращения 10.03.2023 /accessed March 10, 2023).
  16. Lawton J.S., Tamis-Holland J.E., Bangalore S., Bates E.R., Beckie T.M., Bischoff J.M. et al. 2021 ACC/AHA/SCAI Guideline for Coronary Artery Revascularization. Circulation. 2022; 145 (3): e4–17. DOI: 10.1161/CIR.0000000000001039

Об авторах

  • Голухова Елена Зеликовна, д-р мед. наук, профессор, академик РАН, директор; ORCID
  • Керен Милена Абрековна, д-р мед. наук, ст. науч. сотр.; ORCID
  • Завалихина Татьяна Владимировна, канд. мед. наук, зам. главного врача по амбулаторно-клинической работе ИКХ им. В.И. Бураковского; ORCID
  • Булаева Наида Ибадулаевна, канд. биол. наук, ст. науч. сотр., врач-кардиолог, заведующая отделом; ORCID
  • Гречишникова Дарья Александровна, канд. физ.-тех. наук; ORCID
  • Сигаев Игорь Юрьевич, д-р мед. наук, профессор, заведующий отделением; ORCID
  • Яхяева Кумушджан Батырджановна, врач-кардиолог; ORCID

Электронная подписка

Для получения доступа к тексту статей журнала воспользуйтесь услугой «Электронная подписка»:

Оформить подписку Подробнее об электронной подписке

Главный редактор

Лео Антонович Бокерия, академик РАН и РАМН

Лео Антонович Бокерия, доктор медицинских наук, профессор, академик РАН и РАМН, президент



 Если вы заметили опечатку, выделите текст и нажмите alt+A