Методология сбора и обработки открытых данных

Сотрудниками лаборатории разрабатывается и активно применяется методология сбора открытых данных с помощью библиотек Requests, Selenium на Python и API, а также вычленение атрибутов из html-разметки страниц. Производится детекция проблем при сборе открытых данных. Рассматриваются варианты использования альтернативных методов сбора открытых данных в обход существующих ограничений сайтов и API. 

Методология сбора и обработки открытых данных используется для реализации исследовательских проектов - например, для анализа открытых данных судов или данных YouTube.  Данные API Youtube используются в исследованиях в области вычислительных социальных наук в рамках количественного контент-анализа для изучения динамики популярности определенных феноменов и отношения аудитории Youtube к определенному тематическому контенту.

Другим примером такой работы может служить сбор данных через API-сервис электронной библиотеки eLibrary, в рамках которого была разработана методология сбора, предобработки и анализа данных текстов публикаций из указанной библиотеки, которая легла в основу продукта лаборатории - программы для ЭВМ “Bib-eLib”.