• Главная
• Редакция
• Вход
• Регистрация
• Поиск
• Свежий номер
• Архив
• Новости
• Статистика

Николаева Е.В., Владимиров А.А., Михеева Н.А, Мозес В.Г., Саблинский А.И., Костюченко Е.Ю., Исаева М.Е., Рудаева Е.В., Елгина С.И., Мозес К.Б.

Кемеровский государственный университет, Кузбасская областная клиническая больница им. С.В. Беляева, Кемеровский государственный медицинский университет,
г. Кемерово, Россия,
Томский государственный университет систем управления и радиоэлектроники,
г. Томск, Россия

ОБЗОР ИССЛЕДОВАНИЙ ПО РАЗРАБОТКЕ ПРИЛОЖЕНИЙ ДЛЯ ДИАГНОСТИКИ НЕОНАТАЛЬНОЙ ЖЕЛТУХИ ПО ФОТОГРАФИЧЕСКИМ ИЗОБРАЖЕНИЯМ СКЛЕР И КОЖНЫХ ПОКРОВОВ

Неонатальная желтуха встречается у 60-80% новорожденных детей. Чаще всего она носит физиологический характер и требует только наблюдения. Однако сверхнормативный почасовой прирост билирубина у новорожденных может указывать на патологическую гипербилирубинемию, например, у новорожденных с изоиммунной гемолитической болезнью по любому из факторов крови, желтуху недоношенных, метаболические нарушения, врожденные инфекционные заболевания, и необходимость неотложного обследования и лечения. К повышенному уровню билирубина следует относиться как к потенциально опасному состоянию, которое может оказать вредное воздействие на организм, в том числе, привести к необратимым последствиям у новорожденных.
Данная обзорная статья посвящена разработкам нового неинвазивного метода диагностики желтухи по фотографическим изображениям кожного покрова, склеры глаза человека. Приведены и описаны научные статьи, в которых данный способ был реализован с помощью мобильных приложений.

Ключевые слова: новорожденный; билирубин; желтуха; гипербилирубинемия; прогнозирование; кожные покровы; склера; мобильное приложение; фотографическое изображение4 компьютерное зрение

Nikolaeva E.V., Vladimirov A.A., Mikheeva N.A., Moses V.G., Sablinsky A.I., Kostyuchenko E.Yu., Isaeva M.E., Rudaeva E.V., Elgina S.I. , Moses K.B.

Kemerovo State University, Kuzbass Regional Clinical Hospital named after S.V. Belyaev, Kemerovo State Medical University,
Kemerovo, Russia,
Tomsk State University of Control Systems and Radioelectronics,
Tomsk, Russia

A REVIEW OF RESEARCH ON THE DEVELOPMENT OF APPLICATIONS FOR THE DIAGNOSTICATION OF NEONATAL JAUNDICE FROM PHOTOGRAPHIC IMAGES OF THE SCLERA AND SKIN

Neonatal jaundice occurs in 60-80% of newborns. Most often, it is physiological in nature and requires only observation. However, an excessive hourly increase in bilirubin in newborns may indicate pathological hyperbilirubinemia, for example, in newborns with isoimmune hemolytic disease for any of the blood factors, jaundice of prematurity, metabolic disorders, congenital infectious diseases, and the need for urgent examination and treatment. An elevated bilirubin level should be treated as a potentially dangerous condition that can have a harmful effect on the body, including leading to irreversible consequences in newborns.
This review article is devoted to the development of a new non-invasive method for diagnosing jaundice using photographic images of the skin and sclera of the human eye. Scientific articles in which this method was implemented using mobile applications are presented and described.

Key words: newborn; bilirubin; jaundice; hyperbilirubinemia; prognosis; skin; sclera; mobile application; photographic image; computer vision

Желтушность кожных покровов, слизистых и склер новорожденного известна как неонатальная желтуха или непрямая гипербилирубинемия новорожденного. Ее проявления чаще связаны с повышением уровня непрямой фракции билирубина в сыворотке или плазме крови выше нормативного значения. На первой неделе жизни, по разным источникам, желтуха встречается примерно у 60% доношенных и 80% недоношенных новорожденных [1]. Чаще всего она носит физиологический характер и не требует лечения. Однако непрямой билирубин, образующийся в процессе распада гемоглобина, обладает нейротоксическими свойствами и при повышенных уровнях в крови он может оказывать токсико-метаболическое действие на нейроны головного мозга и клетки нейроглии.
Индивидуальный порог токсико-метаболического поражения головного мозга при гипербилирубинемии определяется степенью морфофункциональной зрелости гемато-энцефалического барьера, и обратно пропорционален гестационному возрасту, поэтому особо уязвимыми являются недоношенные новорожденные. В отличие от доношенных новорожденных и недоношенных детей, родившихся на сроке беременности 35 недель и более, у глубоко недоношенных детей (гестационного возраста 34 недель и менее) развивается подостро. При этом токсическое влияние билирубина на нейроны головного мозга и клетки нейроглии возможно при концентрациях ОБ сыворотки крови менее 342 мкмоль/л. Сочетание перенесенной гипоксии, недоношенности, метаболических нарушений, низкой массы тела при рождении с длительным воздействием высоких уровней билирубина может привести к развитию билирубиновой энцефалопатии, характеризуюшейся повреждением подкорковых ядер и коры головного мозга [2, 3].
В ряде случаев признаки токсико-метаболического поражения головного мозга у крайне недоношенных детей выявляются отсроченно в виде нарушений слуха по типу слуховой невропатии, задержки двигательного развития с атетозом или дистонией, паралича взгляда вверх из-за глазодвигательного пареза, появления сигнала высокой интенсивности в бледном шаре (globus pallidus) на МРТ головного мозга, выполненном в течение первого года жизни, и могут трактоваться как проявления хронической билирубиновой энцефалопатии.
В тяжелых случаях высокий уровень билирубина может привести к таким заболеваниям, как церебральный паралич, умственная отсталость, слуховые и зрительные расстройства, а также к необратимому поражению головного мозга – ядерной желтухе, приводящей к инвалидности и смерти [4-6]. Важно отметить, что своевременная диагностика и лечение гипербилирубинемии у новорожденных могут значительно снизить риск развития этих осложнений. Применение фототерапии, обменного переливания крови и других методов лечения позволяет эффективно снижать высокий уровень билирубина и предотвращать его токсическое воздействие на головной мозг.
Самый распространенный способ оценки распростараненности желтухи является визуальный осмотр по шкале Крамера. Однако данная оценка весьма субъективна и зависит от освещения в помещении, цвета кожи, опыта врача. Золотым стандартом скрининга является определение билирубина в сыворотке крови (TSB), но процесс взятия крови может быть травматичным, трудным (особенно для недоношенных детей), а также существует риск инфицирования.
Самым распространенным неинвазивным методом скрининга является транскутанный способ с применением билирубинометров, процесс получения результатов быстр и прост. Однако на их точность могут влиять такие факторы, как окружающий свет, время проведения оценки, цвет кожи, например, смуглость из-за этнического происхождения. Более темный цвет кожного покрова способствует занижению показаний значения билирубина, тогда как у недоношенных детей из-за тонкой кожи показатели могут быть выше [7]. В исследовании говорится о занижении показателей у детей с высоким уровнем билирубина. В связи с высокой стоимостью данных приборов не все медицинские центры могут позволить себе их приобрести [8].
Внедрение технологий искусственного интеллекта в здравоохранение и медицину в настоящее время показывает впечатляющие результаты, повышая качество диагностики и медицинских услуг, создавая новые лекарственные препараты, подбирая необходимую дозировку лекарств, увеличивая точность диагностики, уменьшая затраты.
Поэтому с развитием информационных технологий и устройств для диагностики желтухи идет поиск новых альтернативных эффективных и более экономичных способов с использованием цифровых камер и смартфонов по фотографическим изображениям кожных покровов и склер человека.
Целью данного исследования явился поиск и анализ научных работ по использованию фотографических изображений кожных покровов, склер глаза при диагностике неонатальной желтухи.
Литературный обзор научных статей посвящен описанию способов определения уровня билирубина по фотографическим изображениям человека с последующей возможностью реализации в виде мобильного приложения. Анализ опубликованных работ позволил выявить общие тенденции применения машинного обучения в разработке данного метода. В частности, результатом интереса было согласование значений билирубина, полученных с помощью предлагаемого в работах метода, и TSB. Наблюдается заинтересованность в научных исследованиях, направленных на разработку представленных в работах методах. Результаты литературного обзора легли в основу дальнейшего исследования, направленного на разработку диагностики неонатальной желтухи по анализу фотографических изображений кожного покрова новорожденного с использованием методов машинного обучения.

МЕТОДИКА ИССЛЕДОВАНИЯ

Поиск используемой литературы в литературном обзоре проводился в PubMed, ResearchGate, MEDLINE, ScienceDirect, Google Scholar, MDPI, Scopus и Web of Science. В качестве объектов изучения выступили научные статьи, опубликованные в журналах, либо являющиеся материалами конференций.

РЕЗУЛЬТАТЫ

Разработкой новых методов, способов и алгоритмов в области диагностики желтухи по фотографическим изображениям человека в мире занимаются более 20 лет.
Одной из первых работ по определению концентрации билирубина с помощью анализа фотографических изображений стала работа Leartveravat S. с участием 61 новорожденного [9]. С помощью графического редактора Photoshop были вручную определены компоненты M (Magenta (пурпурный, малиновый)) и Y (Yellow (желтый)) цветового пространства CMYK изображения новорожденного. Была установлена корреляция между общим сывороточным билирубином в крови (TSB) и значением разности компонент Y-M. Этот способ не обладал высокой точностью и был приближенным, однако он положил начало поиска и разработок новых неинвазивных методов диагностики желтухи.
В 2012 году Mansor M.N. и др. [10] предложили определять желтуху у новорожденных с помощью метода определения цвета кожи при круглосуточном мониторинге в отделениях интенсивной терапии. Полученные в ходе исследования изображения обрабатывались с помощью программы Matlab с использованием Image Acquisition Toolbox. Для определения цвета кожи и исключения уровня освещенности, так как изображения отличались условиями освещенности, расстоянием и углом захвата, использовалось цветовое пространство YCbCr, преимуществом которого является цветность (CrCb) и отдельно яркость (Y), и цветовой тон Hue цветовой модели HSV. Для отнесения пикселя изображения к цвету кожи использовались следующие диапазоны параметров: 140 < Cr < 165, 140 < Cb < 195, 0.01 < Hue < 0.1. На рисунке 1 представлены результаты обнаружения участка кожи на изображении.

Рисунок 1. Определение участка кожи ребенка на изображении в работе
Figure 1. Identifying the area of the child's skin in the image in the work

 

Далее было проведено сравнение количественных характеристик (Mean, Standard Deviation, Skewness, Kurtosis, Energy, Entropy) из участка кожи ребенка с желтухой и здорового ребенка. Авторами было установлено, что kurtosis дает самое высокое значение, если ребенок болен, в отличие от остальных характеристик. Авторы продолжили свою работу, и в 2013 году для определения степени желтухи использовали метод ближайших соседей k-nn. Экспериментальные результаты показали, что предложенный метод может выступать в качестве дополнения для разработанного ранее способа более раннего обнаружения и быстрого эффективного лечения благодаря улучшенному распознаванию желтухи [11].
В 2014 г. в Великобритании Leung T.S. и др. [12] установили взаимосвязь между цветом склеры глаз новорожденного и уровнем билирубина. В 2015 г. они расширили датасет до 110 изображений и улучшили методологию. Для получения изображений использовалась камера Nikon D3200, для сопоставления цвета склеры с контрольным значением цвета на диаграмме была взята специальная цветовая таблица, приведенная на рисунке 2. Полученные изображения анализировались с помощью программы Matlab с использованием Statistics and Machine Learning Toolbox. При обработке изображения использовались усредненные значения R, G и B пикселей из области 30 × 30 склеры (Sclera), кожи (Scin) и белого эталона цветовой таблицы. Была получена формула множественной линейной регрессии, соответствующая прогнозируемому значению билирубина. В результате исследования была установлена высокая корреляция между рассчитанным прогнозируемым значением билирубина именно из изображения склеры и значением билирубина, полученным из анализа крови (TSB), коэффициент корреляции Пирсона r и Спирмена ρ для склеры глаза и кожи составили r = 0,75, ρ = 0,72 и r = 0,56, ρ = 0,54 соответственно. В данном проекте изначально были получены 133 изображения, однако 18 изображений были получены в других помещениях с отличными условиями окружающей среды, что отразилось на результатах обработки, и данные изображения были отклонены (на одном изображении не полностью были открыты глаза и для двух не было определено значение билирубина по анализу крови). Координаты пикселей для исследования определялись вручную, что достаточно усложняло процесс обработки для большого количества данных [13].

Рисунок 2. Изображение, полученное в работе
Figure 2. Image obtained in the work

 

Исследователи из Саудовской Аравии также в 2014 г. представили свой проект по разработке системы по прогнозированию значения билирубина по изображениям коньюктивы глаз с помощью машинного обучения, включая линейную регрессию. У 25 участников исследования были получены значения билирубина в сыворотке крови и изображения левого и правого глаза. Для расчета плотности желтого цвета зоны интереса использовался Matlab. Предварительно изображение RGB было преобразовано в эквивалентное изображение цветового пространства HSV, в котором желтый цвет лежит в диапазоне от 55° до 65°. В результате была установлена линейная взаимосвязь между концентрацией билирубина в сыворотке крови и плотностью желтого цвета в коньюктиве глаз [14].
В 2014 г. Greef L. и др. [15] представили прототип приложения Bilicam для оценки степени желтухи, который использует камеру смартфона (рис. 3). Алгоритм работы приложения заключается в основных трех этапах: сбалансировать цвет изображения, определить интенсивности различных отраженных длин волн и проанализировать хроматические и ахроматические свойства кожи, определить уровень билирубина с помощью машинного обучения. Для цветового баланса была использована калибровочная карта, расположенная на животе ребенка. BiliCam преобразует исходные значения RGB, полученные из фотографических изображений со вспышкой и без вспышки лба и грудины ребенка, в цветовые пространства YCbCr и Lab. Таким образом, из двух изображений одного ребенка извлекаются 21 усредненное значение характеристик цветовых пространств, которые используются для машинного обучения с помощью 5 регрессионных алгоритмов: k-NN (k ближайших соседей), LARS (метод наименьших углов), LARS-Lasso Elastic Net (комбинация регрессии Лассо вместе с LARS для отбора признаков и гребневой регрессии), SCR (метод опорных векторов), Random Forest (случайный лес). Для тестирования приложения разработчики использовали 100 фотографий новорожденных из Медицинского центра Университета Вашингтона, у которых в течение 2-х часов после съемки брали анализ крови на общий билирубин (TSB). В результате работы была установлена корреляция порядка 0,85 с TSB при среднем отклонении 2,0 мг/дл. Как указывают сами авторы работы, фотографии были получены с помощью iPhone 4S, использование других смартфонов может изменить результат, т.к. телефоны разных моделей оснащены разными камерами, фильтрами, объективами и цветокоррекцией. Также на результат может повлиять принадлежность ребенка к разным расам. В ходе работы данные были получены как со лба, так и с грудины, однако исследователи остановились на грудине, т.к. корреляция полученных значений с грудины с TSB оказалась выше, что возможно было связано с тем, что калибровочная карта была расположена ближе к грудине.

Рисунок 3. Изображение съемки с помощью приложения BiliCam
Figure 3. Image taken using the BiliCam app

 

В другом исследовании Taylor J.A. и др. [16] установили приложение BiliCam на iPhone 5s и протестировали его работу на 530 новорожденных разных рас и этнического происхождения (55,4% белые, 20,8% афроамериканцы, 26,3% латиноамериканцы и 21,2% азиатоамериканцы). После съемки изображения для обработки отправлялись на сервер через интернет. Рассчитанные значения билирубина (BSB) сравнивались с общим билирубином в сыворотке крови (TSB). Общая корреляция составила 0,91 (доверительный интервал 0,89–0,92), однако для белых корреляция оказалась выше и составила 0,92 (доверительный интервал 0,90–0,93). Ниже всех коэффициент корреляции был у азиатоамериканцев – 0,88 (доверительный интервал 0,81–0,91). Пределы согласия BCB и TSB по методу Бланда-Альтмана от -3,6 до +3,6 мг/дл. Также в работе была оценена эффективность использования BiliCam для новорожденных, находящихся в зоне высокого риска по номограмме Bhutani и с уровнем TSB ≥ 17 мг/дл.: чувствительность (sensitivity) составила 84,6% и 100%, специфичность (specificity) – 75,1% и 76,4%, соответственно, что говорит о неидеальности приложения для детей с уровнями TSB в зоне высокого риска. К преимуществам данной технологии диагностики желтухи с помощью приложения относится то, что она является недорогой и легкодоступной, особенно для стран с низким уровнем дохода, и показывает высокую эффективность у новорожденных с высоким значением TSB. Недостатком можно считать неработоспособность при отсутствии доступа к интернету.
В своем исследовании Aidin M. и др. [17] использовали 40 изображений здоровых младенцев и 40 изображений младенцев с желтухой в возрасте 24-48 часов после рождения, снятых камерой смартфона Samsung Galaxy Alpha без вспышки. Для обработки изображений и машинного обучения использовалась среда Matlab. Чтобы устранить проблему, связанную с разными условиями освещения, авторы использовали 8-цветную калибровочную карту, которую при фотографировании располагали на животе ребенка. На первом этапе исследования, который назывался цветовой баланс, была произведена сегментация изображения с использованием калибровочной карты, в результате чего, «ненужные области» были окрашены в черный цвет, для независимости изображений от освещения, теней и отражения был применен метод баланса белого. Результаты данного этапа приведены на рисунке. 4. Название второго этапа – выделение признаков. На данном этапе цвет кожи младенца и характеристики калибровочной карты были извлечены в цветовых пространствах RGB, YCbCr и Lab. На третьем этапе для данных со второго этапа были применены алгоритмы регрессий k-NN и SVR (регрессия опорных векторов) для прогнозирования уровня билирубина. Корреляция результатов, полученных с помощью k-NN и SVR алгоритмов, по сравнению с результатами TSB, составила 85% и 75% соответственно.

Рисунок 4. Сегментация изображения с использованием баланса цвета в исследовании
Figure 4. Image segmentation using color balance in research

 

Целью проекта было исследование возможности применения камеры iPhone 6 для определения концентрации билирубина. Были произведены снимки глабеллы новорожденного тремя методами: прямой метод, при котором камера iPhone 6 прикладывалась непосредственно к коже; метод с использованием дерматоскопа, расположенного между кожей и камерой телефона; и метод с использованием желтовато-зеленого фильтра Враттена № 11, который размещался между iPhone 6 и дерматоскопом. Для расчета средней интенсивности красного, зеленого и синего каналов RGB для каждого пикселя применялся Matlab. Для оценки связи между интенсивностью канала и уровнем билирубина был рассчитан коэффициент корреляции Пирсона. Эксперимент показал, что прямой метод и метод с использованием фильтра не дали значительной корреляции интенсивности цвета с уровнями билирубина. А для метода, основанного на изображениях, полученных с помощью смартфона, подключенного к дерматоскопу и приложенного к глабелле новорожденного, были выявлены значительные корреляции между уровнями интенсивности синего и зеленого цвета и значением концентрации билирубина. Тем не менее, данный проект не достиг достаточной степени достоверности, чтобы в дальнейшем провести клинические использования [18].
Padidar P. и др. из Ирана [19] описали приложение для смартфона на базе Android для определения уровня билирубина новорожденного. Однако, помимо смартфона для получения изображения, было предложено использовать увеличительный прибор со 100-кратным увеличением и встроенным белым светодиодом с интенсивностью 550 lux. В разработанном методе сначала необходимо было сделать по 5 съемок каждого цвета калибровочной карты размером 6 на 8 см – красного, синего и зеленого, расположенной на лбу ребенка, после этого 5 съемок кожи лба ребенка с использованием микроскопа (рис. 5). Как указывают авторы, время сбора изображений занимало от 1 минуты.

Рисунок 5. Изображение съемки в работе
Figure 5. Image of shooting in progress

 

Оценка уровня билирубина с помощью разработанного метода проводилась для 113 новорожденных и имела достоверность 68% и специфичность 92,3% для уровней билирубина, лежащих в диапазоне менее 10 мг/дл, и достоверность 82,1% и специфичность 100% для уровней билирубина от 10 до 15 мг/дл, а также корреляцию 0,479 с общими значениями билирубина в сыворотке крови. Преимуществом представленного авторами приложения является то, что оно не требовало подключения к сети интернет.
Также в работах тестировалось приложение BiliScan компании Shenzhen Beishen Healthcare Technology Co для диагностики неонатальной желтухи с помощью камеры смартфона и калибровочной карты. Для получения снимка калибровочную карту, имеющую в центре отверстие, располагали на грудине ребенка и совмещали с рамкой фотографии на смартфоне [20-23]. Процесс получения изображения показан на рисунке 6.

Рисунок 6. Изображение съемки с помощью приложения BiliScan
Figure 6. Image taken using the BiliScan app

 

Проводилась оценка данного приложения, установленного на iPhone 6s, на 35 индийских детях возрастом ≤ 7 дней, корреляция с TSB составила 0,6 (p < 0.0001) [20]. Сингапурские ученые протестировали данное приложение на детях с гестационным возрастом ≥ 35 недель с клинической желтухой, а также на детях, которые были рекомендованы для скрининга на желтуху в течение 21 дня после рождения. Значения билирубина, полученные с помощью BiliScan (BsB), сравнивались со значениями общего билирубина в сыворотке крови (TSB) (получено 61 парное измерение TSB-BsB) и значениями, полученными с помощью билирубинометра (TcB) (85 парных измерений TcB-BsB). График Блэнда-Альтмана для всей группы показал, что 54% (33/61) парных значений TSB-BsB и 66% (56/85) парных значений TcB-BsB находились в пределах максимально допустимой клинически разницы в 35 мкмоль/л. Коэффициент корреляции Пирсона составил для BsB по сравнению с TSB и TcB 0,54 (p < 0,001) и 0,66 (p < 0,001) соответственно. По сравнению с TSB, чувствительность BiliScan для детей с желтухой, которым необходима фототерапия, составила 76,92%, а специфичность – 70,83% [21].
Другие исследователи из Индии [22] в своей работе при анализе фотографических изображений 143 новорожденных получили корреляцию значений, полученных с помощью BiliScan и TSB, коэффициент корреляции 0,6. По графику Блэнда-Альтмана среднее смещение составило 1,1 г/дл (с разбросом -3 до +5,3 г/дл). BiliScan показал чувствительность 90% при выявлении высоких уровней сывороточного билирубина по номограмме Bhutani.
Китайские ученые, при оценке BiliScan на 296 данных от 194 новорожденных, получили следующие результаты: для детей, у которых концентрация сывороточного билирубина (TSB) была в диапазоне от 10 мг/дл до 20 мг/дл, точность BsB не уступала TcB, однако для группы детей с TSB ≤ 10 мг/дл и TSB > 20 мг/дл точность BsB ниже, чем у TcB, корреляция между BsB и TSB составила 0,824, согласованность 96,5%, и пришли к выводу, что BiliScan может использоваться для мониторинга в динамике умеренной желтухи новорожденных и детей раннего возраста в домашних условиях [23].
Существуют также приложения для смартфона для диагностики желтухи по склере глаз [24-26]. Ученые из университета Вашингтона в 2017 г. представили приложение BiliScreen для оценки уровня билирубина взрослого человека по фотографическим изображениям склеры глаз, т.к. желтуха является биомаркером рака поджелудочной железы. Исследователи остановились на склере в связи с тем, что она не зависит от этнического происхождения человека. Для уменьшения воздействия освещенности окружающей среды и калибровки они использовали разработанный ими бокс в виде очков для виртуальной реальности, изготовленный на 3D-принтере, и калибровочные бумажные очки соответственно (рис. 7), и сравнили их между собой. Для прогнозирования уровня билирубина использовалась регрессия случайного леса. В ходе исследования с 70 участниками при использовании приложения BiliScreen с боксом результаты оказались лучше: коэффициент корреляции Пирсона по сравнению с TSB составил 0,89, а средняя ошибка прогнозирования – 0,09 ± 2,76 мг/дл [24].

Рисунок 7. Изображение съемки с помощью приложения BiliScreen
Figure 7. Image captured using the BiliScreen app

 

В исследовании Rizvi M.R. и др. [25] оценивали уровень билирубина 100 новорожденных с гестационным возрастом в среднем 39 недель и массой тела более 2 кг, полученный с помощью билирубинометра BiliChek, который производил измерения на лбу, и уровень билирубина, полученный с помощью приложения BiliCapture при анализе изображения коньюктивы глаза, снятого с помощью телефона Samsung с 10-кратным зумом. В результате работы была установлена достаточно высокая корреляция между TSB и BiliChek (r2 = 0,88) и между TSB и BiliCapture (r2 = 0,73). Оценка с помощью графиков Блэнда-Альтмана показала высокий уровень соответствия TSB и значений билирубина, полученных с помощью BiliChek и BiliCapture. Чувствительность и специфичность полученного значения билирубина составили для BiliChek и BiliCapture 88% и 76% и 92% и 75,6% соответственно. Полученные результаты показывают, что BiliCapture может являться альтернативой традиционному лабораторному анализу билирубина и транскутанному билирубинометру BiliChek.
Учеными из Индии было разработано приложение jScan для диагностики желтухи у взрослых по фотографическому изображению склеры глаза. Для разработки алгоритма использовался язык программирования Python, методы машинного обучения и библиотека OpenCV для обработки изображений. Приложение было разработано с помощью Android Studio (на Java). Корреляция разработанной модели по сравнению с TSB составила R2 = 0,956 со средней ошибкой ±1,05 мг/дл и чувствительностью 92,85% для 102 участников со средним возрастом 35,5 лет. Как утверждают авторы, приложение хорошо работает на различных устройствах при нормальном освещении, однако оно разработано и протестировано только на взрослых из Индии, принадлежность к другой расе может дать другие результаты [26].
Eisa Zarehpour и др. из Ирана [27] представили приложение для смартфона под названием BiliBin. Набор данных состоял из 446 изображений груди новорожденных из четырех медицинских центров Ирана. Для учета освещения они использовали калибровочную карту. Для прогнозирования билирубина были применены регрессионные методы машинного обучения: k-NN, SVR, Random Forest и Bayesian regression (Байесовская регрессия) и Gaussian process regression (GPR) (регрессия с использованием гауссовских процессов). Наилучшим методом машинного обучения оказался GPR. По построенному графику Блэнда-Альтмана полученные значения хорошо коррелировали с TSB. Средняя абсолютная погрешность составила 1,807, а коэффициент корреляции по сравнению с TSB – 0,701.
В работах для диагностики неонатальной желтухи также использовалось разработанное авторами приложение для смартфона на основе анализа цвета склеры Neonatal Scleral-Conjunctival Bilirubin (neoSCB) (рис. 8) [28, 29]. Пилотное исследование было проведено на 37 новорожденных в больнице Университетского колледжа Лондона. Для устранения влияния окружающей среды на цвет глаза предлагался метод вычитания фонового освещения с использованием экрана телефона для подсветки глаза [28]. Делались два изображения со вспышкой (с применением подсветки экрана телефона) и без (с выключенным экраном телефона). Для сравнения полученных значений с помощью приложения (SBS) с TSB использовали две модели: SCB_JECI, основана на индексе цвета глаз при желтухе (JECI), предложенном Leung T.S и др. [12] и SCB_xy, которая использует в качестве независимых переменных цветность по осям x и y цветового пространства CIE. Лучшая модель SCB_xy (модель с вычитанием фонового освещения) достигла корреляции r = 0,75 (p < 0,01) с TSB, без вычитания освещения коэффициент корреляции составил r = 0,56 (p < 0,01). Разработанный метод вычитания из окружающей среды повысил эффективность скрининга в данной работе. Полученные результаты были сопоставимы с показателями транскутанных билирубинометров BiliChek и Draeger Jaundice Meter JM-103.

Рисунок 8. Изображение съемки с помощью приложения neoSCB
Figure 8. Image taken using neoSCB app

 

Целью годового исследования было проверить методологию neoSCB и оптимизировать его работу в клинических условиях. В исследовании участвовали 724 новорожденных. Для сравнения уровней билирубина TSB и полученных с помощью приложения и транскутанного билирубинометра JM-105 были отобраны участники, которые не получали лечение в качестве фототерапии с гестационным возрастом ≥ 35 недель, также были отсеяны те, у которых билирубинометр JM-105 не показывал значения. В ходе исследования разработчики доработали приложение neoSCB, оптимизировав вычтенное отношение сигнал-шум (SSNR) для контроля качества в реальном времени и добавили функцию, которая позволяет увеличивать масштаб полученных изображений и вручную выбирать интересующую область на склере для получения расчетного значения билирубина в реальном времени. Также авторами показано, что при более высоких значениях TSB, в то время как билирубинометр JM-105 не выдавал числовые значения, приложение neoSCB занижало уровень билирубина. При сравнении значений, полученных при использовании одного и трех снимков, результат был выше при трех, т.к. обработка нескольких изображений позволяет свести к минимуму случайные помехи. Также в исследовании говорится о снижении эффективности применения приложения и билирубинометра у детей, прошедших лечение желтухи в виде фототерапии, т.к. данный факт влияет на точность обнаружения желтухи. Отмечается, что приложение не рекомендуется использовать для детей с гестационным возрастом менее 37 недель, т.к. оно не дооценивает пожелтение склеры, возможно, из-за ее тонкости и незрелости у недоношенных детей, которая может пропускать пигмент сосудистой оболочки, что противодействует пожелтению из-за возрастания билирубина [29].
Учеными из Норвежского университета технологии и науки и компании Picterus AS было разработано мобильное решение для выявления неонатальной желтухи под названием Picterus Jaundice Pro (Picterus JP), которое было протестировано в норвежских больницах [30, 31], а также в ходе пилотных исследований в Мексике и на Филиппинах [32]. Picterus JP представляет собой комплекс из приложения для смартфонов для получения и отправки изображений кожи новорожденного ребенка, калибровочной карты для коррекции цвета изображений с круглым центральным отверстием для захвата кожи и сервера для обработки и хранения изображений. В результате оценки приложения на 302 новорожденных коэффициент корреляции Пирсона полученных значений билирубина по сравнению с TSB составил 0,84, по сравнению со значениями, полученными с помощью билирубинометров Dräger JM-103 или Dräger JM-105, составил 0,81. Корреляция с TSB оказалась выше для группы детей европеоидной расы (r = 0,87) по сравнению с неевропеоидной (r = 0,75), однако это может быть связано с тем, что число детей неевропеоидной расы составило всего 20%. В данном исследовании отмечается, что разработанный метод является перспективным для новорожденных, которые родились в срок, однако у недоношенных детей чаще проявляется тяжелая форма желтухи, и важно проводить исследования именно у данной категории пациентов [30].
Целью дугого исследования было описание комплекса Picterus JP от идеи до реализации проекта в виде медицинского устройства с маркировкой Conformité Européenne (CE). Были представлены три этапа разработки проекта, в ходе которых на каждом из них проходили клинические испытания по сбору и анализу изображений. В результате первого этапа была выпущена первая версия приложения, на втором и третьем по результатам исследований, тестирования и испытания приложений проходила оптимизаций разработанных версий, а также совершенствование калибровочной карты. В ходе валидационного исследования из 248 новорожденных согласно установленным критериям был отобран 201 участник. Корреляция полученных результатов с помощью Picterus JP со значениями TcB и TSB показали одинаковые результаты (коэффициент Пирсона r = 0,85; P < 0,001). Средняя разница между значениями Picterus JP и уровнями TSB составила -9,7 мкмоль/л. Отмечалось, что комплекс Picterus JP показывает точные результаты, прост в использовании и является надежным неинвазивным методом скрининга, особенно для стран с низким уровнем дохода, т.к. именно на них приходится большинство тяжелых случаев в результате гипербилирубинемии. Однако, т.к. валидация для всех типов кожи не была продемонстрирована, данный комплекс не может быть использован для новорожденных, рожденных от родителей с самым темным типом кожи, определяемым как тип 5 и 6 по шкале Fitzpatrick [31].
В таблице представлены разработанные приложения для диагностики желтухи, указанные в научных статьях, количество участников, характеристики их выборки и полученные результаты.

Таблица. Результаты исследований разработанных приложений по диагностике желтухи
Table. Research results on developed applications for the diagnosis of jaundice

Из анализа работ, приведенных в таблице, следует, что высокая корреляция зависит от условий проведения съемки, набора датасета фотографических изображений, этнического происхождения, расы человека. Специфичность и чувствительность получаемых значений имеет прямую зависимость от значения TSB, соответствующего зоне риска. Увеличение обучающего датасета позволит повысить точность таких методов.

ЗАКЛЮЧЕНИЕ

Проведенный обзор научных работ показал опыт использования фотографических изображений кожных покровов, склер и коньюктивы глаза в качестве скрининга неонатальной желтухи.
Так, при разработке приложений, использование калибровочных карт позволяет исключить шумы на фотографических изображениях, возникающих из-за различных условий освещенности окружающего пространства. Использование в исследованиях комбинаций различных цветовых пространств, таких как RGB, YCbCr , Lab и HSV, повышает качество результатов обработки фотографических изображений, эффективность выделения кожных покровов и склер, а также улучшает определение признаков для дальнейшего машинного обучения.
Применение машинного обучения позволяет получать прогнозируемые результаты уровня билирубина, сопоставимые со значением сывороточного билирубина в крови. Данное направление по разработке новых неинвазивных методов диагностики желтухи является актуальным в связи с развитием современных цифровых технологий, т.к. своевременная диагностика является ключевым аспектом для снижения риска серьезных последствий и обеспечения здоровья новорожденных.

Информация о финансировании и конфликте интересов

Исследование не имело спонсорской поддержки.
Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

ЛИТЕРАТУРА / REFERENCES:

1.      Hansen TWR. Narrative review of the epidemiology of neonatal jaundice. Pediatr Med. 2021; 4: 18. doi: 10.21037/pm-21-4
2.      Sindrom zheltuxi u detej, kriterii potencial`noj opasnosti: ucheb. posobie /Musatova L.A., Krasnova L.I., Kartasheva N.S. [i dr.]. Penza: Izd-vo PGU, 2022. 88 s. Russian (Синдром желтухи у детей, критерии потенциальной опасности: учеб. пособие /Мусатова Л.А., Краснова Л.И., Карташева Н.С. [и др.]. Пенза: Изд-во ПГУ, 2022. 88 с.)
3.      Neonatologiya. Klinicheskie rekomendacii /pod red. N.N. Volodina, D.N. Degtyareva, D.S. Kryuchko. M.: GE`OTAR-Media, 2020. 320 s. Russian (Неонатология. Клинические рекомендации /под ред. Н.Н. Володина, Д.Н. Дегтярева, Д.С. Крючко. М.: ГЭОТАР-Медиа, 2020. 320 с.)
4.             Usman F, Diala UM, Shapiro SM, Le Pichon JB, Slusher TM. Acute bilirubin encephalopathy and its progression to kernicterus: current perspectives. Research and Reports in Neonatology. 2018; 8: 33-44. doi: 10.2147/RRN.S125758
5.             Karimzadeh P, Fallahi M, Kazemian M, Taleghani NT, Nouripour S, Radfar M. Bilirubin Induced Encephalopathy. Iran J Child Neurol. 2020; 14(1): 7-19
6.       Olusanya BO, Teeple S, Kassebaum NJ. The Contribution of Neonatal Jaundice to Global Child Mortality: Findings From the GBD 2016 Study. Pediatrics. 2018; 141(2): e20171471. doi: 10.1542/peds.2017-1471
7.       Abiha U, Banerjee DS, Mandal S. Demystifying non-invasive approaches for screening jaundice in low resource settings: a review. Front Pediatr. 2023; 11: 1292678. doi: 10.3389/fped.2023.1292678
8.       Kumar D, Kumar D. A prospective comparison of serum and transcutaneous bilirubin in Indian neonates. J Pediatr Intensive Care. 2020; 11(2): 100-104. doi: 10.1055/s-0040-1721067
9.        Leartveravat S. Transcutaneous bilirubin measurement in full term neonate by digital camera. Med J Srisaket Surin Buriram Hosp. 2009; 24(1): 105-118
10.    Mansor MN, Yaacob S, Hariharan M, Basah SN, Jamil S, Khidir MLBM, et al. Jaundice in newborn monitoring using color detection method. Procedia Engineering. 2012; 29: 1631-1635. doi: 10.1016/j.proeng.2012.01.185
11.    Mansor MN, Hariharan M, Basah S, Yaacob S. New newborn jaundice monitoring scheme based on combination of pre-processing and color detection method. Neurocomputing. 2013; 120: 258-261. doi: 10.1016/j.neucom.2012.10.034
12.    Leung TS, Guilliam A, MacDonald L, Meek J. Investigation of the relationship between the sclera colour of the eye and the serum bilirubin level in newborn infants, in 42nd Annual Meeting of the International Society on Oxygen Transport to Tissue, (London, 2014)
13.     Leung TS, Kapur K, Guilliam A, Okell J, Lim B, MacDonald LW, Meek J. Screening neonatal jaundice based on the sclera color of the eye using digital photography. Biomed Opt Express. 2015; 6(11): 4529-4538. doi: 10.1364/BOE.6.004529
14.    Alabdulwahhab KM, Messaoud AA, Almutaihi OM, Alaskar FM, Albaradie RS, Rizvi MR. An Image Processing-based Tool for Noninvasive Measurement of Bilirubin Level. Proceedings of the IASTED International Conference on Biomedical Engineering, BioMed. 2014; 54-58. doi: 10.2316/P.2014.818-024
15.     Greef L, Goel M, Seo MJ, Larson EC, Stout JW, Taylor JA, Patel S. Bilicam: Using Mobile Phones to Monitor Newborn Jaundice, in Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing, pp. 331-342, 13-17 September 2014, Seattle, WA, USA, ISBN: 9781450329682, doi: 10.1145/2632048.2632076
16.    Taylor JA, Stout JW, de Greef L, Goel M, Patel S, Chung EK, et al. Use of a Smartphone App to Assess Neonatal Jaundice. Pediatrics. 2017; 140(3): e20170312. doi: 10.1542/peds.2017-0312
17.    Aydın M, Hardalaç F, Ural B, Karap S. Neonatal jaundice etection system. J Med Syst. 2016; 40(7): 1-11. doi: 10.1007/s10916-016-0523-4
18.    Munkholm SB, Krøgholt T, Ebbesen F, Szecsi PB, Kristensen SR. The smartphone camera as a potential method for transcutaneous bilirubin measurement. PloS One. 2018; 13(6): e0197938. doi: 10.1371/journal.pone.0197938
19.    Padidar P, Shaker M, Amoozgar H, Khorraminejad-Shirazi M, Hemmati F, Najib KS, Poorarian S. Detection of Neonatal Jaundice by Using an Android OS-Based Smartphone Application. Iran J Pediatr. 2019; 29(2): e84397. doi: 10.5812/ijp.84397
20.    Swarna S, Pasupathy S, Chinnasami B, Manasa ND, Ramraj B. The smart phone study: assessing the reliability and accuracy of neonatal jaundice measurement using smart phone application. Int J Contemp Pediatr. 2018; 5: 285-289. doi: 10.18203/2349-3291.ijcp20175928
21.    Ngeow AJH, Tan MG, Dong X, Tagamolila V, Ereno I, Tay YY, et al. Validation of a smartphone-based screening tool (Biliscan) for neonatal jaundice in a multi-ethnic neonatal population. J Paediatr Child Health. 2023; 59(2): 288-297. doi: 10.1111/jpc.16287
22.    Lingaldinna S, Konda KC, Bapanpally N, Alimelu M, Singh H, Ramaraju M. Validity of Bilirubin Measured by Biliscan (Smartphone Application) in Neonatal Jaundice – An Observational study. Journal of Nepal Paediatric Society. 2021; 41(1): 93-98. doi: 10.3126/jnps.v40i3.29412
23.    Yang B, Huang D, Gao X, Su M, Li M, Lei H, et al. Neonatal and early infantile jaundice: assessment by the use of the smartphone. Chinese Journal of Neonatology. 2018; 277-282. doi：10.3760/cma.j.issn.2096-2932.2018.04.009
24.      Mariakakis A, Banks MA, Phillipi L, Yu L, Taylor J, Patel SN. BiliScreen: Smartphone-based scleral jaundice monitoring for liver and pancreatic disorders Proc. ACM Interact., Mobile, Wear- able Ubiquitous Technol, 2017; 1(2): 1-26, Jun.. doi: 10.1145/3090085
25.    Rizvi MR, Alaskar FM, Albaradie RS, Rizvi NF, Al-Abdulwahab K. A novel non-invasive technique of measuring bilirubin levels using bilicapture. Oman Med J. 2019; 34(1): 26-33. doi: 10.5001/OMJ.2019.05
26.    Prajapati J, Das D, Udutalapally V, Mahapatra R, Wasnik PN. jScan: Smartphone-Assisted Bilirubin Quantification and Jaundice Screening. IEEE Sensors Journal. 2023; 23(21): 26654-26661. doi: 10.1109/JSEN.2023.3315452
27.      Zarehpour E, et al. BiliBin: An Intelligent Mobile Phone-based Platform to Monitor Newborn Jaundice. 2023. doi: 10.21203/rs.3.rs-2424329/v1
28.    Outlaw F, Nixon M, Odeyemi O, MacDonald LW, Meek J, Leung TS. Smartphone screening for neonatal jaundice via ambient-subtracted sclera chromaticity. PLoS One. 2020; 15(3): e0216970. doi: 10.1371/journal.pone.0216970
29.    Enweronu-Laryea C, Leung T, Outlaw F, Brako NO, Insaidoo G, Hagan-Seneadza NA, et al. Validating a Sclera-Based Smartphone Application for Screening Jaundiced Newborns in Ghana. Pediatrics. 2022; 150(1): e2021053600. doi: 10.1542/peds.2021-053600
30.      Aune A, Vartdal G, Bergseng H, Randeberg LL, Darj E. Bilirubin estimates from smartphone images of newborn infants’ skin correlated highly to serum bilirubin levels. Acta Paediatr Int J Paediatr. 2020; 109(12): 2532-2538. doi: 10.1111/apa.15287
31.    Aune A, Vartdal G, Jimenez Diaz G, Gierman LM, Bergseng H, Darj E. Iterative development, validation, and certification of a smartphone system to assess neonatal jaundice: development and usability study. JMIR Pediatr Parent. 2023; 6: e40463. doi: 10.2196/40463
32.    Jiménez-Díaz G, Aune A, Elizarrarás-Rivas J, Gierman LM, Keitsch M, Marcuzzi A, Infanti JJ. Neonatal jaundice detection in low-resource Mexican settings: possibilities and barriers for innovation with mobile health. BMC Health Serv Res. 2024; 24(1): 671. doi: 10.1186/s12913-024-11141-6

Корреспонденцию адресовать:

ЕЛГИНА Светлана Ивановна
650029, г. Кемерово, ул. Ворошилова, д. 22а, ФГБОУ ВО КемГМУ Минздрава России
Тел: 8 (3842) 73-48-56     E-mail: elginas.i@mail.ru

Сведения об авторах:

НИКОЛАЕВА Елена Владимировна
канд.физ.-мат. наук, руководитель ДНК им. П.А. Чихачева КемГУ, ФГБОУ ВО КемГУ, г. Кемерово, Россия
E-mail: nevkem@yandex.ru

ВЛАДИМИРОВ Александр Александрович
канд. техн. наук, проектный менеджер ДНК им. П.А. Чихачева КемГУ, ФГБОУ ВО КемГУ, г. Кемерово, Россия
E-mail: fizickemsu@mail.ru

МИХЕЕВА Наталья Анатольевна
зав. отделением новорожденных, ГАУЗ КОКБ им. С.В. Беляева, г. Кемерово, Россия
E-mail: mikheeva42@mail.ru

МОЗЕС Вадим Гельевич
доктор мед. наук, профессор, директор медицинского института, ФГБОУ ВО КемГУ, г. Кемерово, Россия
E-mail: vadimmoses@mail.ru

САБЛИНСКИЙ Алексей Игоревич
канд. техн. наук, доцент кафедры фундаментальной математики, ФГБОУ ВО КемГУ, г. Кемерово, Россия
E-mail: s_a_i@mail.ru

КОСТЮЧЕНКО Евгений Юрьевич
канд. техн. наук, доцент, начальник научно-инженерингового центра «Интеллектуальные системы доверенного взаимодействия» ЦК НТИ ТДК, ФГАОУ ВО «ТУСУР», г. Томск, Россия
E-mail: key@fb.tusur.ru

ИСАЕВА Маргарита Евгеньевна
техник научно-инженерингового центра «Интеллектуальные системы доверенного взаимодействия» ЦК НТИ ТДК, ФГАОУ ВО «ТУСУР», г. Томск, Россия
E-mail: d13.h@mail.ru

РУДАЕВА Елена Владимировна
канд. мед. наук, доцент, доцент кафедры акушерства и гинекологии им. Г.А. Ушаковой, ФГБОУ ВО КемГМУ Минздрава России, г. Кемерово, Россия
E-mail: rudaevae@mail.ru

ЕЛГИНА Светлана Ивановна
доктор мед. наук, доцент, профессор кафедры акушерства и гинекологии им. Г.А. Ушаковой, ФГБОУ ВО КемГМУ Минздрава России, г. Кемерово, Россия
E-mail: elginas.i@mail.ru

МОЗЕС Кира Борисовна
ассистент кафедры поликлинической терапии и сестринского дела, ФГБОУ ВО КемГМУ Минздрава России, г. Кемерово, Россия
E-mail: kbsolo@mail.ru

Information about authors:

NIKOLAEVA Elena Vladimirovna
candidate of physics and mathematics sciences, head of the P.A. Chikhachev DNA of Kemerovo State University, Kemerovo State University, Kemerovo, Russia
E-mail: nevkem@yandex.ru

VLADIMIROV Aleksandr Aleksandrovich
candidate of technical sciences, project manager of the P.A. Chikhachev DNA of Kemerovo State University, Kemerovo State University, Kemerovo, Russia
E-mail: fizickemsu@mail.ru

MIKHEEVA Natalia Anatolyevna
head of the neonatal department, State Kuzbass Regional Clinical Hospital named after S.V. Belyaev, Kemerovo, Russia
E-mail: mikheeva42@mail.ru

MOZES Vadim Gelievich
doctor of medical sciences, professor, director of the Medical Institute, Kemerovo State University, Kemerovo, Russia
E-mail: vadimmoses@mail.ru

SABLINSKY Aleksey Igorevich
candidate of technical sciences, docent of the department of fundamental mathematics, Kemerovo State University, Kemerovo, Russia
E-mail: s_a_i@mail.ru

KOSTYUCHENKO Evgeny Yuryevich
candidate of technical sciences, docent, head of the scientific and engineering center “Intelligent Systems of Trusted Interaction” of the NTI TDK Center, Tomsk State University of Control Systems and Radioelectronics, Tomsk, Russia
E-mail: key@fb.tusur.ru

ISAEVA Margarita Evgenievna
technician of the scientific and engineering center “Intelligent systems of trusted interaction” of the NTI TDK Center, Tomsk State University of Control Systems and Radioelectronics, Tomsk, Russia
E-mail: d13.h@mail.ru

RUDAEVA Elena Vladimirovna
candidate of medical sciences, docent, docent of the G.A. Ushakova department of obstetrics and gynecology, Kemerovo State Medical University, Kemerovo, Russia
E-mail: rudaeva@mail.ru

ELGINA Svetlana Ivanovna
doctor of medical sciences, docent, professor of the G.A. Ushakova department of obstetrics and gynecology, Kemerovo State Medical University, Kemerovo, Russia
E-mail: elginas.i@mail.ru

MOZES Kira Borisovna
assistant of the department of polyclinic therapy and nursing, Kemerovo State Medical University, Kemerovo, Russia
E-mail: kbsolo@mail.ru

Ссылки

• На текущий момент ссылки отсутствуют.