Методология анализа неструктурированных данных (сетей и текстов)

Одно из направлений работы с данными такого типа в лаборатории посвящено разработке методологии для выявления межперсональных связей в нарративных текстах на русском языке. 

В диссертационном исследовании Егора Перехожева “Сетевой анализ (нарративных) текстов: методология экстракции данных о связях между элементами в русском языке” поставлено две задачи. Первая часть работы нацелена на создание программы для вычленения из текстов именованных сущностей с помощью пакетов stanza, Natasha и др. на языке программирования Python (в рамках проекта требуется провести сравнительное исследование инструментов для лучшего решения поставленных задач), а также построения между ними связей с последующей визуализацией (с помощью пакета NetworkX в Python). Вторая часть работы посвящена созданию программы для извлечения именованных сущностей из текстовых данных и анализа отношений между ними с учетом контекста (позитивное – нейтральное – негативное). Для реализации второй части предлагается с помощью пакетов Selenium или BeautifulSoup выкачать данные о сюжетах выпущенных в прокат российских фильмов, мультфильмов и сериалов из Википедии. Далее с помощью кодировщиков (то есть в ручную) или с помощью ChatGPT (автоматически) разметить эти тексты на предмет связей между главными героями, локациями и предметами. После этого полученная модель может быть использована для анализа нарративных текстов, например, социологических интервью, речей публичных спикеров и т.д.

Методология анализа неструктурированных данных (сетей и текстов) применяется в ряде проектов сотрудников лаборатории: например, для изучения структуры судейского корпуса в современной России и наиболее типичных карьерных траекториях судей, эмпирические правовые исследования, посвященные судебным решениям и преступности в России.

Проект направлен на исследование методов и алгоритмов по выявлению именованных сущностей, их отношений и наполнения графов знаний. Для более четкого понимания, его можно разделить на следующие подтемы:

• Entity Linking сущностей, извлеченных из текстов

При создании базы знаний на основе сущностей, извлеченных из текста, встают задачи сопоставления сущности с эталоном из базы знаний. Эта задача называется entity linking. Успешное решение этой задачи позволяет сделать: 

1. обнаружение сущностей, обозначающих один и тот же объект реального мира, и объединение относящейся к ним информации (например, "король Франции" и "Людовик XIV");

2. различение сущностей с одинаковыми названиями, но относящихся к разным объектам реального мира (например, см. https://ru.wikipedia.org/wiki/Иванов,_Сергей). Для этого могут использоваться внешние источники данных, но для некоторых прикладных задач это невозможно. 

Сама задача как правило относится к области NLP (входные данные для анализа идут из текстов), но для решения используют графовые методы.

В данной теме требуется разработать и реализовать алгоритм дизамбигуации сущностей, извлеченных из текста с помощью стороннего приложения, без использования внешних данных. Дополнительно следует обратить внимание на временную составляющую извлекаемых фактов - некоторые из них действительны ограниченное время. Для упрощения задачи предлагается использовать модельный массив реальных организаций.

• Метод сопоставления двудольных графов

Задача сопоставления двух графов позволяет найти узел из графа A в графе B не имея априорного знания об их связи.

В прикладных задачах это позволяет сопоставить группы и пользователей в различных сетях. Большинство существующих алгоритмов рассматривают только однородные графы в которых пользователи соединены с узлами того же типа (например, граф дружбы в двух соцсетях). Возможность анализа двудольного графа (Например граф членства пользователя в различных группах) позволяет использовать метрики сравнения двух вероятностных распределений в этой задаче, что даёт дополнительную информацию по сравнению с базовыми алгоритмами анализа и никем не применялось ранее.

Попытки решения этой задачи на синтетических данных очень сильно искажает результаты так как алгоритм оказывается чувствительным к способу порождения синтетического графа из исходного и не описывает реальных данных.

Предлагается сопоставить группы и пользователей для двух реально существующих графов на примере сравнения баз imdb и кинопоиска. Обе базы имеет значительные пересечение по фильмам и по актёрскому составу но есть и отличия. При этом  не составляет труда сопоставить  команду фильма и название в двух базах по косвенным признакам. 

• Методы извлечения отношений из текстов
• Методы извлечения количественной информации из текстов
• Методы классификации товаров на основе графовых моделей 

Проект посвящен внедрению преимущественно графовых моделей в прикладные задачи анализа текста.

При достаточно высокой сложности современных языковых моделей оказывается, что в силу итеративности обучения они не используют все данные о предметной области. Некоторые исследователи решают эту задачу искусственным формированием обучающей выборки с нужной последовательностью входных документов, однако это нельзя использовать в общем случае.

Предлагается выполнить предварительную кастомизацию входного массива документов,  после чего дополнить существующую базовую языковую модель меткой или вектором кластера которому относится документ и исследовать изменение качество решения задачи прогнозирования пропущенного токена. 

Исследование нацелено на анализ доступных методов тематического моделирования на предмет качества их результатов на коротких текстах. Актуальность исследования обусловливается устойчивым ростом доли текстов, производимых в социальных медиа и ограниченных платформенными лимитами на объём публикации. Выделение тематической структуры в массивах коротких текстов производится при помощи методов, основанных на вероятностном моделировании соприсутствия слов, так и на методах выделения сообществ в бимодальных сетях и кластеризации предобученных словарных эмбеддингов. Результирующие темы оцениваются на предмет когерентности, разнообразия и качества классификации для размеченных данных.

Social Media Listening как инструмент исследователя. Мониторинг медиа-пространства для выявления трендов, анализа восприятия брендов и других СХ-исследований.