EмоМинд: декодирование эмоциональных подписей по фМРТ активности мозга человека

Статья описывает методику EmoMind, позволяющую реконструировать эмоциональную подпись визуальных сцен на основе сигналов функциональной магнитно-резонансной томографии (фМРТ). Метод включает два этапа обработки данных: сначала извлекается нейтральное описание сцены, соответствующее активностям мозга, а затем оно преобразуется в эмоциональный вектор, представленный в виде 34-мерного пространства эмоций. Для балансировки между сохранением содержательной точности и выраженностью эмоции используется подход без классификаторов, обеспечивающий плавную интерполяцию между семантической точностью и эмоциональной выразительностью. Оценка эффективности методики проводится с помощью трехуровневого подхода, включающего проверку специфичности восприятия, структурной геометрии и каузального контроля. Результаты показывают значительное превосходство предложенного метода над традиционными системами, использующими категориальные метки эмоций, особенно в случаях, когда требуется учитывать индивидуальные особенности эмоционального опыта.

Статья описывает методику построения эмоциональных подписей на основе анализа мозговой активности во время просмотра видеороликов. Исследователи использовали данные функциональной магнитно-резонансной томографии (фМРТ) для выявления специфической реакции мозга на различные эмоции. В качестве исходных данных были выбраны короткие эмоциональные клипы, содержащие непрерывные метки эмоций каждые секунду. Для оценки качества полученных результатов применялись стандартные методы машинного обучения, такие как регрессия DeBERTa-v3 и корреляционный анализ Pearson. Основной акцент сделан на сравнении эффективности предложенного подхода с моделью GPT-4, использующей символическое обучение и доступ к данным о субъективных эмоциях участников эксперимента. Исследование показало, что разработанный подход позволяет точнее выявлять эмоциональные состояния людей по активности их мозга. Ключевыми показателями оценки стали корреляция между реконструированными векторами эмоций и оценочными шкалами Cowen & Keltner, а также степень совпадения эмоциональных меток, заданных экспериментаторами, с результатами моделирования.

Исследование сравнивает результаты анализа эмоциональных подписей, полученных методом функциональной магнитно-резонансной томографии (фМРТ), с результатами модели GPT-4. Показано, что использование реальных мозговых сигналов позволяет получить более точные и разнообразные описания эмоций по сравнению с синтетическим подходом. В частности, измеряется степень сходства между оригинальными и реконструированными эмоциями, оцениваемая по метрикам CK34-косинус, лексической униграммы и редактирования символов. Результаты демонстрируют значительное преимущество метода фМРТ над моделью GPT-4, особенно в контексте оценки индивидуальных особенностей восприятия эмоций разными людьми. Исследование также подчеркивает важность учета уникальных характеристик каждого субъекта при анализе эмоциональных реакций.

В статье рассматривается сравнение эффективности различных методов декодирования эмоциональных подписей по данным функциональной МРТ (фМРТ). Исследуется степень сохранения эмоциональной специфики клипов после замены реальных сигналов фМРТ искусственными. Показано, что хотя информация о конкретных эмоциях сохраняется, структура различий между клипами теряется. Синтетические модели сохраняют индивидуальные эмоции каждого клипа, однако не передают различия между ними. В результате, декодеры, использующие реальные данные фМРТ, показывают значительно лучшую корреляцию с исходными эмоциональными характеристиками, чем модели, основанные на искусственных сигналах.

Исследование описывает подход к построению эмоциональных подписей на основе фМРТ активности мозга. Показано, что традиционные методы реконструкции теряют структуру клипов, поскольку эмоциональное содержание зависит от интроцептивных, контекстуальных или индивидуальных сигналов, еще не учтенных современными энкодерами видео-фМРТ. Двухэтапный метод позволяет разделить семантическое и эмоциональное декодирование, выделяя индивидуальную эмоциональную подпись, которую стандартные попарные классификаторы часто стирают. Ограничением является необходимость индивидуальной калибровки стимулов, использование единой временной векторизации для каждого клипа и ограниченность классификации по таксономии Cowen & Keltner.