Функция LDA () в пакете topicmodels - это только одна реализация скрытого алгоритма распределения Дирихле. Например, пакет mallet (Mimno 2013) реализует оболочку вокруг пакета Java MALLET для инструментов классификации текста, а пакет tidytext также предоставляет tidiers для выходных данных этой модели.

Пакет с молотком использует несколько иной подход к входному формату. Например, он берет не токенизированные документы и сам выполняет токенизацию, а также требует отдельного файла стоп-слов.Это означает, что мы должны свернуть текст в одну строку для каждого документа перед выполнением LDA.

 Библиотека  (молоток)

# создаем вектор с одной строкой на главу
свернуто <- by_chapter_word%>%
  anti_join (stop_words, by = "word")%>%
  mutate (word = str_replace (word, "'", ""))%>%
  group_by (документ)%>%
  суммировать (текст = вставить (слово, collapse = ""))

# создаем пустой файл "игнорируемых слов"
file.create (пустой_файл <- временный файл ())
docs <- mallet.import (свернутый документ $, свернутый текст $, пустой_файл)

mallet_model <- MalletLDA (число.themes = 4)
mallet_model $ loadDocuments (документы)
mallet_model $ train (100)  

Однако после создания модели мы можем использовать функции tidy (), и augment () , описанные в остальной части главы, почти идентичным образом. Это включает в себя извлечение вероятностей слов в каждой теме или темах в каждом документе.

  # пары слово-тема
аккуратный (mallet_model)

# пара документ-тема
tidy (mallet_model, matrix = "гамма")

# столбец должен называться "термин" вместо "расширение"
term_counts <- переименовать (word_counts, term = word)
увеличение (mallet_model, term_counts)  

Мы могли бы использовать ggplot2 для исследования и визуализации модели так же, как мы делали вывод LDA.

Обзор тематического моделирования и его текущих приложений в биоинформатике | SpringerPlus

Прежде всего, тематическое моделирование направлено на обнаружение и аннотирование больших наборов данных со скрытой «тематической» информацией: каждый образец данных представляет собой смесь «тем», где «тема» состоит из набора «слов», которые часто встречаются вместе по образцам. Эта сущность тематического моделирования полностью соответствует интересам биологов, которые включают обнаружение скрытых закономерностей в массивных биологических данных.Таким образом, в последние годы были проведены обширные исследования в области тематического моделирования биологических данных. В этом разделе мы обсуждаем существующие исследования тематических моделей, применяемых в биоинформатике. Сначала описывается процесс отбора статей.

Выбор товаров

Процесс выбора состоит из четырех этапов. Например, сначала мы ищем потенциально релевантные статьи, опубликованные с 1999 по 2016 год в PubMed и Web of Science. В PubMed строка поиска (биоинформатика [термины MeSH] ИЛИ вычислительная биология [термины MeSH]) И («тематическая модель» ИЛИ «тематическое моделирование»).В Web of Science поисковой строкой является тема: [тематическая модель ИЛИ тематическое моделирование) И тема: ((биология ИЛИ медицина) ИЛИ биомедицина]. Во-вторых, для получения более подробной информации извлекаются соответствующие статьи (судя по названию и аннотации). Оценка.В-третьих, мы ищем дополнительные ссылки в библиографиях соответствующих статей.Наконец, все найденные статьи проверяются с помощью следующих критериев включения: 1) оригинальные исследования, опубликованные на английском языке; 2) обработка биологических данных; и 3) использование LSI, PLSA, LDA или других вариантов модели LDA.При этом мы исключаем статьи, соответствующие следующему критерию: использование тематической модели для чисто текстовых данных. Эта стратегия поиска выявила 30 публикаций.

Чтобы провести комплексный анализ этих 30 статей, мы изучаем их на основе трех тем: задачи тематической модели, тип тематической модели и аналогия между документом-темой-словом и биологическим объектом. Эти три темы также составляют основу для глубокого понимания использования тематических моделей в биоинформатике и обсуждаются далее.

Задачи в тематической модели для биоинформатики

Прежде всего, мы уделяем особое внимание ролям и задачам тематической модели в биоинформатике. Изучив соответствующие исследования, мы обнаружили, что задачи тематической модели для биологических данных в основном сосредоточены на трех концепциях: кластерный анализ биологических данных, классификация биологических данных и извлечение признаков биологических данных. Чтобы проиллюстрировать взаимосвязь между этими тремя задачами, диаграмма показана на рис. 5 (Задачи тематической модели в биоинформатике).Треугольники, круги и прямоугольники разного цвета представляют биологические образцы, обработанные тематической моделью. Их цветовые различия указывают на то, что эти биологические образцы имеют высокую вероятность для разных тем. Другими словами, их можно сгруппировать или классифицировать по разным темам. Эти три концепции будут обсуждаться индивидуально в следующих разделах.

Задачи тематической модели в биоинформатике

Использование в кластерном анализе биологических данных

Как обсуждалось в разделе «Тематическое моделирование», процесс обучения модели LDA полностью не контролируется; следовательно, его область исследований в настоящее время сосредоточена на немаркированных данных.Основная функция тематической модели - это кластеризация документов в текстовом домене: каждый документ представлен распределением вероятностей темы, и документы, имеющие высокую вероятность для одной и той же темы, могут считаться кластером. Следовательно, в отличие от традиционной кластеризации, тематическая модель позволяет получать данные из смеси кластеров, а не из одного кластера. Естественно, кластеризация данных также является основной функцией тематического моделирования биологических данных, но «тема» имеет особое биологическое значение.

Как показано на рис. 5, несколько биологических «тем» были извлечены из совокупности биологических данных путем кластеризации тематической модели, и их также можно рассматривать как биологические «кластеры». Важно отметить, что кластерный анализ предназначен для немаркированных данных. Следовательно, кластеризация тематической модели может только обнаруживать темы, но не возвращает автоматически соответствующие биологические метки. В этом разделе несколько примеров связанных статей проиллюстрируют этот вид исследований, которые преобладают при использовании тематического моделирования биологических данных.Эти исследования разделены на группы в зависимости от типа биологических данных и отображаются в хронологическом порядке.

Во-первых, было проведено множество исследований по тематическому моделированию данных экспрессионных микрочипов. В этих исследованиях генная выборка в этом наборе данных сравнивалась со словесным документом, и каждая выборка моделировалась как смесь скрытых тем. Rogers et al. (2005) и Masada et al. (2009) использовали разложение скрытого процесса (LPD) для обнаружения групповой структуры в образцах и генах.Поскольку описание данных микрочипа выражений представляет собой матрицу действительных чисел вместо неотрицательной целочисленной матрицы, LPD ввел в LDA гауссовские распределения вместо полиномиальных распределений слов. После этого модель PLSA была использована Bicego et al. (2010a) для экстракции бикластеров; эта модель одновременно группирует гены и образцы.

Для получения данных о взаимодействии белков Sinkkonen et al. (2008) предложили бесконечную тематическую модель для поиска функциональных генных модулей (тем) в сочетании с данными об экспрессии генов.В процессе поиска темы эта модель темы фокусируется на отношениях между документами; следовательно, он также подходит для кластеризации других реляционных данных.

Чтобы запросить эксперименты, относящиеся к конкретным биологическим вопросам, Caldas et al. (2009) применили LDA к экспериментальным геномным данным. Запрос соответствует одному микрочипу, а результат поиска - это набор наиболее похожих микрочипов. В BoW этой работы один тип слова соответствовал одному набору генов; следовательно, количество дифференциально экспрессируемых генов в наборах генов считалось эквивалентным количеству слов.Другими словами, запрос был закодирован как вектор, содержащий количество дифференциально экспрессируемых генов. Затем каждый эксперимент соответствовал документу, который содержал смесь компонентов (тем), и каждый компонент (тема) соответствовал распределению по наборам генов. Наконец, на основе обнаруженных компонентов эти авторы использовали принципы текстовых запросов для экспериментального запроса.

Учитывая большую коллекцию флуоресцентных изображений, Coelho et al. (2010) использовали LDA для определения паттернов субклеточной локализации на этих изображениях.Их работа похожа на то, что делается в компьютерном зрении: изображение представлено смесью нескольких основных паттернов (тем), а ключевые моменты определяются как визуальные слова.

Для данных о последовательности генов желательной задачей является охарактеризовать набор общих геномных признаков, общих для одного и того же вида. Chen et al. (2010, 2012a, b) проанализировали состав последовательностей ДНК на уровне генома с помощью LDA. Во-первых, они представляли последовательности ДНК частотами N-мер. После этого последовательности генома считались документами, а N-мерки считались «словами.Затем были обнаружены статистические закономерности (темы) на уровне генома путем введения модели LDA. Каждая предполагаемая тема представляет собой определенный компонент всего генома.

Исследование Chen et al. (2011) были сосредоточены на данных о численности таксонов микробных сообществ, включая кодирующие белки последовательности и их таксономические уровни NCBI. В этом исследовании модель LDA с фоновым распределением (LDA-B) расширяет модель LDA, добавляя фоновое распределение общих функциональных элементов.Модель LDA-B использовалась для обнаружения функциональных групп: набор геномов служил корпусом документов, который содержал смесь функциональных групп; каждая функциональная группа (тема) представляла собой взвешенную смесь функциональных элементов; функциональные элементы служили «словами».

Для данных аннотации генома Konietzny et al. (2011) использовали LDA для прямой идентификации функциональных модулей семейств белков. Во-первых, чтобы обрабатывать аннотации генома как документы, словарь слов фиксированного размера был определен на основе аннотаций, и одно слово можно было рассматривать как функциональный дескриптор.Затем темы, определенные LDA, представляют собой функциональные модули.

Лю и др. (2011) и Zhang et al. (2012a) описали тематическую модель, которая может обнаруживать функциональные регуляторные модули микроРНК (FMRM) в профилях экспрессии микроРНК и мРНК. В этом исследовании они сопоставили темы с функциональными модулями, образцы с документами, а образцы были профилированы с помощью набора микроРНК и набора мРНК. Следовательно, функциональные модули, выведенные с помощью модифицированного соответствия латентного распределения Дирихле (Corr-LDA), действуют как мост между микроРНК и мРНК.Corr-LDA успешно использовался для аннотирования изображений с помощью подписных слов. Наконец, набор данных экспрессии из экспериментальной модели на мышах был эмулирован этой тематической моделью для исследования рака груди человека.

Для анализа клеточных конечных точек на основе анализов высокого содержания (HCS) in vitro, Bisgin et al. (2013) также представили LDA. Для каждого препарата они создали документ для каждой из четырех временных точек. Предполагалось, что документ содержит вхождения измерений конечной точки (слова).Они предположили, что выражение конечных точек HCS можно смоделировать как распределение вероятностей «тем». Затем агентство LDA построило вероятностные ассоциации между темами и наркотиками.

Использование для классификации биологических данных

Помимо кластеризации немаркированных биологических данных, тематическая модель может выполнять задачи классификации помеченных биологических данных. Другими словами, тематическая модель может не только открывать темы, но и заставлять их соответствовать истинным биологическим ярлыкам.Тем не менее, как модели обучения без учителя, PLSA и LDA не предлагают очевидного способа включения контролируемого набора в свою процедуру обучения. Следовательно, для этих типов исследований модель LDA должна быть так или иначе адаптирована.

Как показано на рис. 5, как и кластеризация, тематическая модель классифицирует открытия биологических «тем» из множества биологических данных. Между тем, эти биологические «темы» помечены настоящими биологическими терминами, которые также можно назвать ярлыками. Для помеченных данных этот режим работы тематической модели полезен для интерпретации темы и предоставляет инструменты для настройки сгенерированных тем в соответствии с приложением конечного использования.Более того, по сравнению с другими подходами к классификации, такими как машина опорных векторов (SVM) (Rubin et al. 2011), результат классификации тематической модели при определенных условиях показывает конкурентоспособность. Точно так же несколько примеров соответствующих статей проиллюстрируют подобные проекты в этом разделе.

Во-первых, для данных экспрессии микрочипов, предмет исследования исследований Perina et al. (2010) аналогична работе Rogers et al. (2005) и Пратанванич и Лио (2014): существует прямая аналогия между парами слово-документ и ген-образец.Тем не менее, Perina et al. представили биологически осведомленное латентное распределение Дирихле (BaLDA) для выполнения задачи классификации, которая расширяет модель LDA за счет интеграции зависимостей документов и начинается с LPD. BaLDA не содержит предположения, присутствующего как в PLSA, так и в LDA, что каждый ген генерируется независимо с учетом соответствующей скрытой темы. Априорное знание об отношениях между генами выражается в терминах классификации генов. На этапе обучения эту категоризацию (тему) можно вычислить заранее; на этапе тестирования его также можно оценить.Наконец, авторы продемонстрировали полезность BaLDA в двух классификационных экспериментах. Другое исследование по классификации данных экспрессии генов - это модель LDA на основе путей, предложенная Пратанваничем и Лио (2014). Это исследование было направлено на изучение отношений между лекарственным средством, путем и геном, рассматривая известные ассоциации генов и путей как предварительные знания. В этом исследовании они провели аналогию между геном-лекарственным средством и словом-темой-документом. Они рассматривали гены как слова и рассматривали путь как тему. Во-первых, на этапе обучения были созданы псевдолекарственные документы, а модель была изучена путем вывода параметров.Затем, для нового псевдолекарственного документа, эта модель может предсказать чувствительность пути к новому лекарственному лечению.

Для связанных с пациентами текстов, построенных на основе клинических и многомерных геномных измерений, Доусон и Кендзиорски (2012) предложили модель скрытого распределения Дирихле с контролируемым выживанием (SurLDA), которая представляет собой модель контролируемых тем. Модель SurvLDA была вдохновлена ​​sLDA (Mcauliffe and Blei, 2008), примененной к оценке фильмов, и решала следующие задачи: характеристика подтипов рака и классификация отдельных пациентов в соответствии с этими подтипами.Они считают текст каждого пациента «документом», а «слова» описывают клинические события, протоколы лечения и геномную информацию из множества источников. Тогда «темы» - это неявные категории пациентов.

Наконец, в проблеме классификации геномных последовательностей La Rosa et al. (2015) считают геномные последовательности документами, небольшие фрагменты цепочки ДНК размером k - словами, а темам, обнаруженным LDA, присваиваются таксономические ярлыки. Примечательно, что это исследование похоже на исследование Chen et al.(2010, 2012а, б). Тем не менее, разница в том, что тема, обнаруженная в данных о геномных последовательностях, не только имеет распределение вероятностей по словам, но также соответствует истинной таксономической метке.

Использование для извлечения признаков биологических данных

В тематическом моделировании термин «пространство документов» был преобразован в пространство «темы», а пространство «тема» меньше, чем пространство слов. Поэтому вероятностная тематическая модель также является популярным методом уменьшения размерности для коллекций текстовых документов или изображений.Точно так же уменьшение размерности является общей и часто необходимой задачей при анализе биологических данных. Как показано на рис. 5, мы можем использовать тематическую модель для проецирования исходного пространства признаков биологических данных на скрытое тематическое пространство. После уменьшения размерности таким образом другие алгоритмы, такие как классификатор, могут обрабатывать результирующие характеристики темы на более позднем этапе, как в общем пространстве функций.

Одно исследование в этой области было проведено для магнитно-резонансной томографии (МРТ).Чтобы повысить точность классификации различий между здоровыми субъектами и пациентами с шизофренией, Castellani et al. (2010) применили модель PLSA: каждое изображение рассматривалось как документ, дескрипторы формы изображений служили визуальными словами, а затем геометрические узоры поверхности мозга рассматривались как визуальные темы. Они извлекли генеративную оценку из изученной модели, которая использовалась в качестве входных данных SVM для задачи классификации.

Для данных о последовательности белков Pan et al.(2010) предложили иерархическую модель скрытого случайного распределения Дирихле (LDA-RF) для прогнозирования белок-белковых взаимодействий человека. Во-первых, пространство признаков локальной последовательности было спроецировано на скрытое семантическое пространство (темы) с помощью модели LDA; это тематическое пространство отражает скрытые структуры между белками и является входом для следующего шага. Затем вероятность взаимодействия двух белков была предсказана с помощью модели случайного леса на основе тематического пространства.

Как и в других исследованиях данных экспрессионных микрочипов (Rogers et al.2005; Masada et al. 2009), Bicego et al. (2010b, 2012) также провели аналогию между парами слово-документ и ген-образец. Тем не менее, последнее исследование ввело модели PLSA, LDA и LPD в задачу классификации микрочипов. На этапе обучения использовалась тематическая модель для извлечения вектора признаков, который на самом деле представляет собой набор тем. Затем классификатор, основанный на правиле K-ближайшего соседа, был обучен в преобразованном обучающем наборе. На этапе тестирования тот же процесс извлечения признаков был применен к набору тестов, который затем был классифицирован с помощью обученного классификатора.

Zhang et al. (2015) использовали тематическую модель для отнесения метагеномных чтений к разным видам или таксономическим классам. Во-первых, они представляли каждое метагеномное чтение (документ) как набор «k-мер» (слов). Затем модель LDA была применена к чтениям и сгенерирован ряд скрытых «тем». Наконец, они использовали SKWIC - вариант классического алгоритма K-средних - для кластеризации этих чтений, представленных распределениями тем.

Использование в других областях биоинформатики

В дополнение к вышеупомянутым исследованиям существует несколько проектов, в которых тематическая модель была применена к биологическим данным инновационным способом.Выяснить основные законы этой области сложно из-за ее разнообразия. Тем не менее, ниже представлены примеры соответствующих статей.

Чтобы использовать тематическую модель для бимолекулярных аннотаций, Masseroli et al. (2012), Пиноли и др. (2013, 2014) определили матрицу совместной встречаемости как аннотации. В матрице, если ген аннотирован онтологическим термином, значение равно 1.0; в противном случае - 0. Учитывая корпус аннотаций, представленный этой матрицей, они использовали модифицированную тематическую модель для оценки распределений вероятностей терминов по теме и распределений вероятностей темы по генам.Затем они смогли перестроить матрицу аннотаций. Элемент этой матрицы дает оценку вероятности того, что ген аннотирован для термина. Следует отметить, что, хотя как вышеупомянутое исследование, так и исследование Konietzny et al. (2011) посвящены данным аннотации генома, Пиноли и его коллеги использовали тематическую модель как инструмент разложения матрицы, а не алгоритм кластеризации.

Тематические модели, применяемые в биоинформатике

Из описания соответствующих статей выше мы можем сделать вывод, что большинство исследований по тематическому моделированию в биологических данных напрямую использовали существующие тематические модели, такие как PLSA и LDA.И PLSA, и LDA являются относительно простыми тематическими моделями и служат основой для других, расширенных тематических моделей. Между тем, основное предположение в LDA или PLSA может быть нарушено в специальном сценарии приложения; затем необходимо скорректировать процесс генерации и алгоритм вывода. Следовательно, некоторые исследователи в последние годы пытались улучшить модель LDA для новых биологических контекстов. Типы тематических моделей, которые использовались в 30 вышеупомянутых статьях, сведены в Таблицу 3.

«Документ-слово-тема» в биологических данных

В приведенном выше введении к тематическим моделям мы видим, что суть тематического моделирования состоит в назначении трех объектов: документов, слов и тем.Точно так же описания соответствующих исследований выше также указывают на то, что ключевая задача тематического моделирования в биологических данных - провести соответствующую аналогию между документом-темой-словом и биологическим объектом. В таблице 4 приведенные выше исследования сгруппированы по аналогии между терминами, используемыми в интеллектуальном анализе текста, и терминами в биологии.

Как показано в приведенном выше резюме, независимо от того, какие биологические данные моделируются, основная идея состоит в том, что набор биологических данных похож на набор документов.То есть набор данных состоит из смеси биологических процессов, которые можно рассматривать как темы, а биологический процесс состоит из набора биологических слов, которые можно сравнить со словами, используемыми для представления темы.

Тематическое моделирование в НЛП. С акцентом на Скрытый Дирихле… | автор: Арун Джагота

С акцентом на скрытое размещение Дирихле

В обработке естественного языка термин тема означает набор слов, которые «идут вместе».Это слова, которые приходят на ум при размышлениях над этой темой. Возьмем спорт . Вот несколько таких слов: Athlete , soccer и stadium .

Тематическая модель - это модель, которая автоматически обнаруживает темы, встречающиеся в коллекции документов. Затем можно использовать обученную модель, чтобы определить, какие из этих тем встречаются в новых документах. Модель также может выбирать, какие части документа охватывают какие темы.

Взгляните на Википедию.В нем миллионы документов по сотням тысяч тем. Разве не было бы замечательно, если бы их можно было обнаружить автоматически? Плюс более точная карта того, какие документы охватывают какие темы. Это были бы полезные дополнения для людей, желающих исследовать Википедию.

Мы также могли открывать для себя новые темы, когда о них писали документы. В некоторых условиях (например, в новостях), где постоянно создаются новые документы и актуальность имеет значение, это поможет нам выявить актуальные темы.

Этот пост описывает статистически мощный и широко используемый подход к этой проблеме.

Скрытое распределение Дирихле

Этот подход включает построение явных статистических моделей тем и документов.

Тема моделируется как распределение вероятностей по фиксированному набору слов (лексикону). Это формализует «набор слов, которые приходят на ум при обращении к этой теме». Документ моделируется как распределение вероятностей по фиксированному набору тем. Это раскрывает темы, охватываемые документом.

Цель обучения состоит в том, чтобы выявить из совокупности документов хорошее распространение слов по различным темам, а также правильные пропорции тем в различных документах.Количество тем является параметром этого обучения.

Создание документа

На этом этапе это поможет описать, как сгенерировать синтетический документ из изученной модели. Это позволит выявить ключевые аспекты работы этой модели, в которые мы еще не вникали.

Сначала мы выберем темы, которые будут рассмотрены в этом документе. Один из способов сделать это - сначала выбрать случайный документ из нашего корпуса, а затем установить пропорции темы нового документа в соответствии с пропорциями исходного документа.

Далее мы установим длину документа, назовем ее n .

Затем мы повторим следующее n раза:

 выборка темы из пропорций темы документа 
 выборка слова из распределения слов выбранной темы 

Это выдаст последовательность из n слов. Эти слова будут сопровождаться темами, из которых они были взяты.

Получившийся документ - тарабарщина. Пакет слов, взятых из множества тем.Это не проблема - это не предназначалось для чтения. Он действительно показывает, какие слова были созданы из каких тем, что может быть полезным.

Пример

  Словарь : {спортсмен, футбол, футбол, теннис, компьютер, смартфон, ноутбук, принтер, Intel, Apple, Google} 
  Num Topics : 3 
  Тема 1 : {спортсмен, футбол, футбол, теннис} 
  Тема 2 : {компьютер, смартфон, ноутбук, принтер} 
  Тема 3 : {Intel, Apple, Google} 
  Пропорции темы в документе : {2 ⇒ 70%, 3 ⇒ 30%} 

Выше мы описали тему как набор слов.Мы интерпретируем это так: все слова в наборе равновероятны; остальные слова в лексиконе имеют нулевую вероятность.

Рассмотрим документ, состоящий из 4 слов.

 Тема: 2 3 2 2 
 Word: ноутбук Intel смартфон компьютер 

Доля темы 3 в этом документе (25%) близка к ее доле (30%) в его выборочном распределении.

Обучение

Как обычно, именно здесь все становится особенно интересно.

Во-первых, напомним себе о цели обучения.Он предназначен для обнаружения из корпуса документов распределения слов различных тем и пропорций тем в различных документах. Короче говоря, какими словами описывается какая тема и какие темы освещаются в каком документе.

Алгоритм, который мы опишем, широко используется. Это тоже нетрудно понять. Это форма Gibbs Sampling .

Этот алгоритм работает, сначала каким-то образом присваивая темы различным словам в корпусе, а затем итеративно улучшая эти назначения.В процессе работы алгоритм отслеживает определенную статистику по текущим заданиям. Эти статистические данные помогают алгоритму в его последующем обучении. Когда алгоритм завершается, легко «считать» распределение слов по темам и пропорции тем по каждому документу из окончательных заданий по темам.

Начнем с описания статистики, упомянутой в предыдущем абзаце. Они имеют форму двух матриц счетчиков: topic_word и doc_topic. Оба являются производными от текущего присвоения тем словам в корпусе.topic_word ( t , w ) подсчитывает количество вхождений темы t для слова w . doc_topic ( d , t ) подсчитывает количество вхождений темы t в документ d .

Давайте посмотрим на числовой пример, чтобы убедиться, что все правильно. Ниже мы видим корпус из двух документов вместе с назначением тем для его слов. Лексика: A, B, C.

 Слова документа 1: ABACA Слова документа 2: BCCB 
 Темы документа 1: 1 1 1 2 2 Темы документа 2: 2 2 2 2 

На самом деле давайте сначала воспользуемся этой возможностью, чтобы поразмышлять над некоторые особенности мы видим.В документе 1 обратите внимание, что A иногда назначается теме 1, а иногда - теме 2. Это правдоподобно, если слово A имеет высокую вероятность в обеих темах. В документе 2 обратите внимание, что B последовательно назначается теме 2. Это правдоподобно, если документ 2 охватывает только тему 2, а B имеет положительную вероятность в распределении темы 2.

Хорошо, теперь к двум матрицам отсчетов.

  тема_слово :  doc_topic : 
  ABC 1 2  
  1  2 1 0  d1  3 2 
  2  1 2  3   d2  0 
01 4  некоторые записи, которые немного бросаются в глаза.Возможно, doc2 предпочитает тему 2. Возможно, тема 2 предпочитает слово C. 
 
 Хорошо, давайте начнем объяснять обучение. Первый шаг - пометить слова в корпусе случайно выбранными темами. Звучит достаточно просто. На самом деле это еще не все. Вместо того, чтобы жестко кодировать эту случайную выборку, лучше выбрать подходящие априорные распределения. Это дает нам потенциально мощный механизм для внедрения знаний предметной области или результатов внешнего анализа текста. 
 
 Этот априорный механизм работает следующим образом.Сначала мы делаем копии двух представленных ранее матриц. Назовите их Prior_topic_word и Prior_doc_topic соответственно. Как и раньше, записи в этих матрицах являются счетчиками. Эти подсчеты отражают наши предыдущие убеждения. 
 
 Эти предварительные матрицы влияют на первоначальное назначение тем. По мере обучения это влияние уменьшается, хотя и не до нуля. 
 
 Как именно мы выбираем первоначальное распределение тем из этих подсчетов? Сначала мы вычисляем 
 
 
  P  (w | t) = Prior_topic_word (t, w) / sum_w  ' (Prior_topic_word (t, w')) 
  P  (t | d) = Prior_doc_topic (t, d) / sum_t '(Prior_doc_topic (t', d) 
 
 
  P  ( w  |  t ) - это лишь часть заданий темы  t , слово которой равно  w . P  ( t  |  d ) - это лишь часть слов в документе  d , чья назначенная тема -  t . 
 
 Затем мы выбираем из них задания. В частности, мы выбираем тему для слова  w  в документе  d  из распределения, числителем которого является  P  ( w  |  t )  P  ( t  |  d ). 
 
 Это можно понять следующим образом.  P  ( w  |  t )  P  ( t  |  d ) - это в точности вероятность генерации слова  w  в документе  d  в нашей генеративной модели.Рассматриваемый как функция от  t , он отражает вероятность того, что  t  использовалось во время этого процесса. 
 
 Теперь давайте обсудим установку значений этих счетчиков в двух предыдущих матрицах. Для наших целей здесь все, о чем мы заботимся, - это чтобы ни одна тема не была предпочтительнее другой. Такие предпочтения были бы нежелательными предубеждениями. Мы можем добиться этого, установив для всех счетчиков в каждой матрице одно и то же положительное число. 1 - самый простой выбор. Рассуждения Оккама. 
 
 Prior_topic_word ( t ,  w ) = 1 для каждой темы  t  и word  w  
 Prior_doc_topic ( d ,  t ) = 1 для каждого документа  d  и  t  темы 
 Хорошо, поэтому тематические задания будут выбираться из этих подсчетов и выходить равномерно случайным образом.
 
 После этого начального задания мы будем постоянно делать следующее в надежде улучшить задание и, следовательно, наши модели извлекли уроки из него: 
 
 1. Выберите слово  w  из документа  d  в корпусе 
 2. Выберите тему  t  'из распределения с числителем 
  Q  ( w | t )  Q  ( t  |  d ) 
 3. Установите тему  w  в  d  до  т  '.
 
 Что такое  Q  ( w | t )? В настоящее время мы верим в вероятность образования слова  w  из темы  t . Фактически, нам нужны хорошие значения  Q  ( w  |  t ). Они сформируют окончательные тематические распределения слов. 
 
 Перед тем, как начать обучение, мы зафиксировали все предыдущие представления об этом распределении в  P  ( w  |  t ). По мере обучения  P  ( w  |  t ) начинает преобразовываться в апостериорное убеждение  Q  ( w  |  t ).
 
  Q  ( t  |  d ) объяснение аналогично. Наши предыдущие представления о пропорциях тем в каждом документе сводятся к  P  ( t  |  d ). По мере обучения они пересматриваются в  Q  ( t  |  d ). 
 
 Как вычисляются  Q  ( w  |  t ) и  Q  ( t  |  d )? Подумайте о распределении тем по различным словам в корпусе на любом этапе обучения.Из этого назначения тем мы можем вычислить количество в матрицах topic_word и doc_topic. Затем мы выполняем следующие действия: 
 
 posterior_topic_word = topic_word + Prior_topic_word 
 posterior_doc_topic = doc_topic + Prior_doc_topic 
 
 Обратите внимание, что «+» - это сложение матрицы. Из апостериорных версий матриц подсчета мы можем вычислить  Q  ( w  |  t ) и  Q  ( t  |  d ). Так же, как мы вычислили  P  ( w  |  t ) и  P  ( t  |  d ) из предыдущих версий.
 
  Немного интуиции  
 
 Как мы узнаем, что этот итеративный процесс на самом деле улучшает назначение тем? Мы не дадим доказательств. Вместо некоторой интуиции. 
 
 Во-первых, обратите внимание, что общее качество назначения тем словам в корпусе может быть получено путем умножения различных  Q  ( w  |  t )  Q  ( t  |  d  ) терминов по всем вхождениям слов  w  в корпусе. Здесь  d  обозначает документ, в котором фигурирует  w , а  t  - тема, назначенная этому вхождению.
 
 Далее мы покажем, что функция оценки имеет определенные желательные характеристики. 
 
  Эта функция оценки способствует специфичности темы  
 
 Под «специфичностью темы» мы подразумеваем, что  Q  ( w  |  t ) сосредоточен только на нескольких темах. Это желаемое свойство тех слов, которые сильно коррелируют с конкретными темами. Давайте уточним. Рассмотрим разнообразный корпус, такой как Википедия. Скажем, наша цель - открыть для себя широкий спектр тем, которые он охватывает.Рассмотрим слово  кошка . Его тематическая специфика высока, то есть затрагивает лишь некоторые из этих тем. Как это должно. Так что предвзятость функции оценки в пользу специфики темы - это хорошо. 
 
 Тем не менее, не каждое слово должно быть тематическим. Например  . Позже мы обсудим отдельный механизм, который будет противодействовать специфике темы в таких случаях. Во-первых, давайте объясним предвзятость тематики. Мы будем называть тематические слова  информативными .
 
 Рассмотрим  n  >> 1 вхождений одного и того же слова  w  в корпус, возможно, разбросанных по многим документам. Пусть  T  1 и  T  2 будут двумя разными тематическими назначениями для этих  n  вхождений. Все темы в  T  1 разные. Назовите этот набор { 1 ,  2 ,  3 ,…,  n }. Все темы в  T  2 одинаковые, та, которая максимизирует  Q  ( w  |  t ). № . Вероятность  T  2 может быть намного выше, чем вероятность  T  1, когда  w  является информативным, а  n  не слишком мала. 
 
 Этот анализ можно резюмировать как 
 
 Функция оценки побуждает информативные слова оставаться по теме 
 
  Эта функция оценки способствует специфичности документа  
 
 Под «специфичностью документа» мы подразумеваем, что документ охватывает только несколько тем. Документы имеют тенденцию быть конкретными. Вопрос в том, использует ли функция оценки (и, следовательно, алгоритм обучения) эту тенденцию, чтобы лучше выполнять свою работу.Ответ положительный. Как объяснено ниже. 
 
 Рассмотрим документ d на  n  слов. Пусть  T  1 и  T  2 будут двумя разными тематическими назначениями его словам. Все темы в  T  1 разные. Назовите этот набор { 1 ,  2 ,  3 ,…,  n }. Все темы в  T  2 одинаковы, на этот раз с наибольшей долей в  d . Назовите его  tmax .  T  Вероятность 1 ниже  Q  ( t  |  d ) равна  Q  ( 1  |  d ) Q (2 |  d ) *… *  Q  ( n  |  д ). № . Очевидно, что T2 может быть намного выше, особенно для больших документов. 
 
 Этот анализ можно резюмировать как 
 
 Функция оценки побуждает документы оставаться по теме 
 
  Эти влияния иногда соперничают!  
 
 Рассмотрим особенно распространенное слово:  the . Есть основания полагать, что он встречается почти во всех документах. Согласованность по темам способствует тому, что всем этим случаям назначается одна и та же тема. Протесты о специфичности документов, так как это заставит все эти документы охватывать только одну тему.
 
 Давайте представим, как это может закончиться. Последовательность темы может ослабить хватку для таких слов. Назначенные им темы могут просто «плыть по течению», приобретая идентичность той темы, которая обсуждается в округе. Несомненно, компонент согласованности темы вероятности этих заданий может уменьшиться. С другой стороны, доля специфики документа увеличится. 
 
  Подробнее об алгоритме обучения  
 
 Мы увидели, что функция оценки в хорошем смысле смещена.Это полезно только в том случае, если алгоритм обучения их хорошо использует. Итак, давайте перейдем к более подробному обсуждению алгоритма. 
 
 Начнем с того, что алгоритм работает путем локальной оптимизации глобального показателя качества задания темы. Одно это говорит о том, что он обращает внимание на предубеждения. 
 
 Далее мы рассмотрим одну или две итерации на простом примере. Это поможет читателю лучше понять его «локальную оптимизацию». Здесь больше нюансов, чем некоторые могут представить.
 
  Пример  
 
 Мы установим словарь на {A, B}. В нашем корпусе будет два документа: AAA (d1) и BBB (d2). (Хотя это может показаться глупым, это упражнение будет поучительным.) Мы постараемся уместить в корпус две темы. 
 
 Давайте установим все предыдущие отсчеты на 0,0000001. Он по-прежнему будет производить начальные назначения, которые будут равномерно случайными, хотя и упростит наши числовые вычисления. 
 
 Скажем, следующее является начальным назначением 
 
 d1 d2 
 AAA BBB 
 121 122 
 
 Модель, изученная в результате этого назначения: 
 
 Q (A | 1) = ⅔, Q (B | 1) = ⅓ // эти сумма 1 
 Q (A | 2) = ⅓, Q (B | 2) = ⅔ // эта сумма равна 1 
 Q (1 | d1) = ⅔, Q (2 | d1) = ⅓ // эта сумма равна 1 
 Q (1 | d2) = ⅓, Q (2 | d2) = ⅔ // эта сумма равна 1 
 
 А теперь представьте, что вы выбираете слово из  d  1 и повторно выбираете его тему.(Вместо этого мы могли бы выбрать  d  2, но рассуждения аналогичны.) Возможны три исхода: 121 → 121, 121 → 1  1  1, 121 → 12  2  или  2  21. Третий. эффективно то, с чего мы начали: поменяйте местами названия тем и измените порядок. Таким образом, первый и третий результат фактически вернули нас в одно и то же состояние. Итак, давайте увеличим масштаб второго: 121 → 111. Вероятность этого перехода положительна. (На самом деле довольно много, поскольку переключение с 2 на 1 улучшает как компонент вероятности темы, так и компонент вероятности документа.) Итак, если мы продолжим повторять этот процесс, в какой-то момент всем d1 будет назначена одна и та же тема  t  (= 1 или 2). 
 
 Затем мы повторно оцениваем различные параметры модели из этого назначения от  t  до  d  1.  Q  ( t  |  d  1) теперь 1.  Q  (A |  t  ) вполне может быть выше, чем  Q  (A | 1) было, когда мы начали этот процесс. Мы достигли «счастливого состояния», из которого трудно выбраться. 
 
  Варианты  
 
 Теперь рассмотрим несколько вариантов этого алгоритма.Сюда входит изменение шага 2 ниже. 
 
 1. Выберите слово  w  из документа  d  в корпусе 
 2.  Пример темы  t  'из распределения, числителем которого является 
  Q  ( w | t )  Q  ( t  |  d )  
 3. Установите тему  w  в  d  на  t  '. 
 
 Мы можем заменить шаг 2 на «установить  t’  в тему, которая максимизирует  Q  ( w | t )  Q  ( t  |  d ) ».Это называется оценкой максимального правдоподобия. В наших условиях это дает жадный алгоритм. 
 
 Этот вариант привлекателен своей простотой и может быстрее сойтись. Однако он более подвержен попаданию в ловушку неоптимальных локальных оптимумов. 
 
 В нашем следующем варианте вводится параметр, называемый  температура , который может варьироваться для охвата различных режимов от сэмплера Гиббса до жадного алгоритма. В этом и заключается привлекательность этого алгоритма. Однако это открывает новую проблему: как установить температуру.
 
 Оставив в стороне температуру, посмотрим, как она работает. Рассмотрим слово  w , текущая тема которого  t  рассматривается для переназначения. Для каждой темы t 'мы оцениваем 
 
 дельта (t') = - [log  Q  ( w  |  t  ')  Q  ( t ' |  d ) - log  Q  (  w  |  t )  Q  ( t  |  d )] 
 
 Мы не будем объяснять, почему здесь журнал. Отметим, что дельта ( t  ’), меньшая 0, соответствует  t ’, что лучше подходит, чем t в этой ситуации.Переход с  t  на t ’можно рассматривать как движение с уменьшением энергии (или спуском по склону). 
 
 Что будет дальше? Опишем качественно. Итак, теперь мы знаем дельту ( t  ’) для различных значений  t ’, включая  t . По этим дельта-значениям алгоритм определяет подходящее распределение вероятностей по темам. Это распределение параметризуется температурой. 
 
 При высокой температуре разрешены даже «движения в гору», т. Е. Переходы к темам, дельта-значения которых положительны.Такие шаги, хотя и возвращаются к текущему заданию по теме, могут помочь избежать локальных минимумов энергии. 
 
 При низкой температуре распределение благоприятствует движениям, дельта-значения которых отрицательны. В экстремальных условиях нулевой температуры это приводит к жадному поведению. 
 
  Richer Priors  
 
 На данный момент мы установили предварительный счет на 1. Здесь мы рассматриваем более богатые настройки. 
 
 Ранее мы отмечали, что желательно, чтобы определенные слова были тематическими. Можем ли мы найти такие слова и учесть их тематические предпочтения в предварительном подсчете? Это может ускорить последующее обучение.
 
 Вот разумный способ сделать это. Сначала мы установим все предыдущие подсчеты на 1. Затем для каждого слова  w,  мы вычислим  n  -  n  ( w ). Здесь  n  - общее количество документов в корпусе, а  n  ( w ) - количество документов, в которых встречается слово  w . Подумайте о  n  -  n  ( w ) как о чем-то вроде «обратной частоты документа» от  до . Далее мы проделаем следующие действия независимо для каждого из слов.Мы выберем тему  t  случайным образом из вселенной тем. Мы добавим  n  -  n  ( w ) к предыдущему счету word_topic ( t ,  w ). 
 
 Идея состоит в том, чтобы сопоставить необычные слова с определенными темами. Поскольку выбор темы случайный, разные слова, скорее всего, будут соответствовать разным темам. 
 
 Не слишком ли предвзято это априори? Мы можем легко смягчить его, если почувствуем, что это так. Есть несколько возможностей. Один из них - заменить  n  -  n  ( w ) на  log n  -  log n  ( w ).Второй - выбрать более одной темы (хотя и немного) при усилении предшествующего подсчета слова. 
 
  Другие улучшения моделирования  
 
 Какие еще области следует учитывать при улучшении модели? Во-первых, давайте поясним его предположения: 
 
 1. Темы, охватываемые документом, выбираются независимо. Они 
 на совместимость не проверяются. 
 2. Близость слов в документе не учитывается. 
 3. Иерархическая структура между темами не моделируется.
 
 Давайте поговорим немного о каждом. Совместимость тем может быть важной. Документ, скорее всего, будет охватывать  технологических компаний  и  компьютеров , чем  технических компаний  и  спорта.  Близость слова также имеет значение. Два слова, которые часто встречаются рядом друг с другом, с большей вероятностью относятся к одной теме, чем слова, разделенные тысячами слов. Иерархии тем лучше моделируют документы. Распространенный образец написания - документ, охватывающий широкую тему вместе с различными подтемами.
 
 Ниже мы описываем, как решить эти проблемы. Ослабления могут повысить точность модели в некоторых случаях использования, хотя и за счет повышения ее сложности или обучаемости. Они также предлагают возможности внедрить знания в предметной области. Плюс в некотором смысле даже помочь с обучением! 
 
 Как именно это будет происходить, во многом зависит от варианта использования. 
 
  Совместимость тем  
 
 Это включает добавление модели Маркова к смеси. Его состояния - это темы.Его переходы модели совместимости между темами в корпусе. 
 
 Как эта модель используется при выборе темы слова в документе? Нам нужно соответствующим образом удлинить  Q  ( t  |  d ). Это расширение проще всего описать, представив из него выборочные темы. 
 
 Эту выборку можно рассматривать как случайное блуждание по модели Маркова с, возможно, периодическими перезапусками. Мы начинаем прогулку с выбора темы из  Q  ( t  |  d ).Далее делаем следующее. Большую часть времени мы проходим переход от состояния этой темы с вероятностью, которая есть на этом переходе. Иногда мы производим повторную выборку из  Q  ( t  |  d ), то есть переходим к новой теме. 
 
 Это случайное блуждание вызывает новое распределение, назовем его  Q  ’( t  |  d , M), на которое влияют как модель Маркова M, так и  Q  ( t  |  d ). Модель Маркова - это конструкция на уровне корпуса.Использование  Q  ( t  |  d ) настраивает его поведение в соответствии с документом  d . 
 
 Как изучаются параметры марковской модели? Это легче объяснить. Наш алгоритм обучения к этому моменту уже работает на уровне присвоения тем отдельным словам в документах корпуса. Этим заданием полностью определяются параметры марковской модели. 
 
 В частности, для каждой пары  s ,  t  назначений тем в документе мы увеличиваем счетчики на дугах  s  →  t  и  t  →  s , если  s  не равно  t  в этом случае только один раз.
 
 По мере улучшения тематических заданий улучшаются и параметры модели тематической совместимости. Эти двое действуют синергетически. 
 
 Давайте посмотрим на эту синергию в более широком контексте. Поскольку мы видим все больше и больше документов по одним и тем же двум темам, модель Маркова начинает понимать, что эти темы совместимы. Это улучшенное обучение приводит к улучшенным заданиям тем в других местах. 
 
  Word Proximity  
 
 Это можно включить, соответствующим образом расширив  Q  ( w  |  t ).В частности, пусть на выбор  t  влияют не только слова  w , но и слова рядом с  w . 
 
 Давайте формализуем это. Пусть  W  ( d ) =  w  (-  d ),…,  w ,…,  w  (+  d ) обозначает последовательность слов длиной 2  d  +1 с центром на  w . Здесь d - целое неотрицательное число. Затем мы расширяем  Q  ( w  |  t ) до  Q  ( W  ( d ) |  t ).
 
 Усложняет ли это нашу модель с точки зрения обучения? С подходящим предположением, к счастью, нет. Мы предполагаем, что слова в  W  ( d ) условно независимы при условии  t . При этом предположении получаем 
 
  Q  ( W  ( d ) |  t ) =  Q  ( w  (-  d ) |  t ) *… *  Q  (  w  |  t ) *… * Q ( w  (+  d ) |  t ) 
 
 Термины RHS, включающие  t , имеют те же формы, что и раньше.Так что обучение не требует изменений! 
 
 Несмотря на это предположение, мы получаем преимущества, связанные с использованием контекста. Главный из них заключается в том, что тема, присвоенная центральному слову  w , может быть определена более точно, поскольку теперь у нас больше контекста. Еще одна полезная характеристика, особенно на ранних этапах обучения, заключается в том, что мы получаем некоторую преемственность темы. Когда мы сдвигаем окно  W  ( d ) по одному слову за раз, назначенная тема вряд ли изменится, поскольку контекст не сильно изменился.По сравнению с  W  (0). 
 
  Иерархия тем  
 
 Это сложная тема. Наше освещение здесь частичное. 
 
 Вот ключевое наблюдение. Сравнение распределения слов в двух темах может помочь понять, является ли одно потомком другого. Ключевые слова потомка будут иметь тенденцию быть подмножеством ключевых слов предка. 
 
 Используя это понятие, мы можем (повторно) изучить иерархию по темам в любое время в процессе обучения. Даже грубая усвоенная иерархия может быть лучше, чем ничего.
 
 Как и для совместимости тем, мы можем расширить наши модели  Q  ( t  |  d ), чтобы учесть изученную иерархию. Здесь это расширение проще всего описать, представив из него выборочные темы для конкретного документа. 
 
 Эта выборка представляет собой случайное блуждание по иерархии с возможными периодическими перезапусками. Мы начинаем прогулку с выбора темы из  Q  ( t  |  d ). Далее делаем следующее. Большую часть времени мы ходим к ребенку из этой темы.Иногда мы выполняем повторную выборку из  Q  ( t  |  d ), то есть переходим к теме в другом месте иерархии. 
 
 Это случайное блуждание приводит к новому распределению, назовем его  Q  ’( t  |  d , H), на которое влияют как тематическая иерархия H, так и  Q  ( t  |  d ). Иерархия тем - это конструкция на уровне корпуса. Использование  Q  ( t  |  d ) настраивает его поведение в соответствии с документом d.
 
  Улучшения, улучшающие читаемость  
 
 Читаемость документа не является основной целью LDA. Тем не менее, структура моделирования предоставляет возможности для внедрения механизмов, которые ее улучшают. Так что давайте воспользуемся этим. 
 
 Давайте начнем с выявления проблем. 
 
 1. Преемственность темы не сохраняется. Соседние слова могут переходить 
 от темы к теме. 
 2. Связность темы не поддерживается. Тема 
 самостоятельно извергает свои слова.
 
  Непрерывность темы  
 
 Мы можем сохранить непрерывность темы, добавив модель Маркова с двумя состояниями:  продолжить  и  переключить .  Продолжить , чтобы продолжить текущую тему,  переключить , чтобы переключиться на новую. Дуга от  до продолжения  на себя должна иметь высокую вероятность. Дуга от  switch  до  continue  должна иметь вероятность, близкую к единице, так как мы почти наверняка хотим продолжать следовать за переключателем.
 
 Вероятности этой модели легко узнать из заданий по темам. В них похоронены события  continue  и  switch . Такое обучение согласуется с изучением заданий по теме, многократно принося пользу друг другу. 
 
 Использование близости слов в документах также помогает поддерживать непрерывность темы. Причина, по которой мы решили рассмотреть подход и в этом разделе, заключается в том, что его гораздо проще реализовать, чем близость слов. 
 
  Это также способствует обучению  
 
 Помимо удобочитаемости, внедрение механизма непрерывности темы также потенциально улучшает качество изученных заданий.По сути, он действует как регулятор плавности, не позволяя выбросам. 
 
 Вот пример расширения того, что мы использовали ранее. Рассмотрим слово , слово , которое, как мы предположили, встречается почти во всех документах в корпусе. Ранее мы объяснили, почему мы хотим, чтобы тема, присвоенная конкретному вхождению  и , «плыла по течению» темы в своем окружении. Механизм непрерывности темы добавляет этому предпочтению больше веса, поскольку он явно поддерживает «плыть по течению».
 
  Слаженность темы  
 
 Мы можем сохранить последовательность темы, ослабив предположение о мешке слов. Вместо этого используйте марковскую модель первого порядка, которая моделирует влияние текущего слова на следующее. У каждой темы своя марковская модель. 
 
 Тематические модели Маркова легко (повторно) изучить из текущего тематического задания в корпусе. 
 
  Дополнительная литература  
 
 Дэвид М. Блей. Вероятностные тематические модели. Коммуникации ACM.2012 http://www.cs.columbia.edu/~blei/papers/Blei2012.pdf 
 
 Дэвид М. Блей, Эндрю Нг, Майкл Джордан. Скрытое размещение Дирихле. JMLR (3) 2003, стр. 993–1022. 
 
 Том Гриффитс. Выборка Гиббса в генеративной модели скрытого распределения Дирихле. Https://people.cs.umass.edu/~wallach/courses/s11/cmpsci791ss/readings/griffiths02gibbs.pdf 
 
 Моделирование тем LDA: объяснение | Автор: Тайлер Долл 
 Фотография Патрика Томассо на Unsplash 
 Предыстория 
 
 Тематическое моделирование - это процесс определения тем в наборе документов.Это может быть полезно для поисковых систем, автоматизации обслуживания клиентов и в любом другом случае, когда важно знать тематику документов. Есть несколько способов сделать это, но здесь я объясню один:  Скрытое распределение Дирихле (LDA).  
 
 Алгоритм 
 
 LDA - это форма обучения без учителя, которая рассматривает документы как мешки слов (т. Е. Порядок не имеет значения). LDA сначала делает ключевое предположение: документ был создан путем выбора набора тем, а затем для каждой темы путем выбора набора слов.Теперь вы можете спросить: «Хорошо, а как он находит темы?» Ответ прост: он реконструирует этот процесс. Для этого он выполняет следующие действия для каждого документа  m : 
 
 
 Предположим, что существует  k  тем во всех документах 
 
 Распределите эти  k  тем по всему документу  m  (это распределение известно как α и может быть симметричным или асимметричным, подробнее об этом позже), назначая каждому слову тему. 
 
 Для каждого слова  w  в документе  m  предположим, что его тема неверна, но каждому второму слову назначена правильная тема.
 
 Вероятностно назначьте слово  w  теме на основе двух вещей: 
 - какие темы в документе  m 
 -  сколько раз   слову  w  была назначена конкретная тема во всех документах (это распределение называется  β , подробнее об этом позже) 
 
 Повторите этот процесс несколько раз для каждого документа, и все готово! 
 
 
 Сглаженный LDA модели 
 из https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation 
 Выше показано так называемое схематическое изображение модели LDA, где: 
 α - распределение тем по каждому документу, 
 β - распределение слов по темам, 
 θ - распределение тем для документа  m, 
  φ - распределение слов для темы  k, 
  z - тема для  n  -го слова в документе  m  , а  
  w - конкретное слово 
 
 Настройка модели 
 
 На приведенной выше диаграмме модели пластины вы можете видеть, что w выделено серым цветом.Это потому, что это единственная наблюдаемая переменная в системе, в то время как остальные являются скрытыми. Из-за этого, чтобы настроить модель, есть несколько вещей, с которыми вы можете столкнуться, и ниже я сосредоточусь на двух. 
 
 α - это матрица, в которой каждая строка представляет собой документ, а каждый столбец представляет тему. Значение в строке  i  и столбце  j  показывает, насколько вероятно, что документ  i  содержит тему  j . Симметричное распределение будет означать, что каждая тема равномерно распределена по всему документу, в то время как при асимметричном распределении одни темы предпочтительнее других.Это влияет на начальную точку модели и может использоваться, когда у вас есть приблизительное представление о том, как распределены темы для улучшения результатов. 
 
 β - это матрица, в которой каждая строка представляет тему, а каждый столбец представляет слово. Значение в строке  i  и столбце  j  показывает, насколько вероятно, что тема  i  содержит слово  j . Обычно каждое слово распределяется по теме равномерно, так что ни одна тема не связана с определенными словами. Тем не менее, это может быть использовано для смещения определенных тем в пользу определенных слов.Например, если вы знаете, что у вас есть тема о продуктах Apple, может быть полезно смещать такие слова, как «iphone» и «ipad», для одной из тем, чтобы подтолкнуть модель к поиску этой конкретной темы. 
 
 Заключение 
 
 Эта статья не предназначена для полноценного руководства по LDA, а скорее для того, чтобы дать обзор того, как работают модели LDA и как их использовать. Есть много реализаций, таких как Gensim, которые просты в использовании и очень эффективны. Хорошее руководство по использованию библиотеки Gensim для моделирования LDA можно найти здесь.
 
 Есть какие-нибудь мысли или найти что-то, что я пропустил? Дай мне знать! 
 
 Удачного тематического моделирования! 
 
 Тематическое моделирование - Amazon Comprehend 
 
                                 
                                 
                                  
 Amazon Comprehend можно использовать для проверки содержимого коллекции документов.
                                    определить
                                    общие темы. Например, вы можете
                                    дайте Amazon Comprehend сборник новостных статей, и он определит тематику,
                                    Такие как
                                    спорт, политика или развлечения.Текст в документах не обязательно
                                    аннотированный.
                                  
                                  
 Amazon Comprehend использует модель обучения на основе скрытого распределения Дирихле для определения тем в
                                    комплект документов. Он исследует каждый документ, чтобы определить контекст и значение.
                                    из
                                    слово. Набор слов, которые часто принадлежат одному контексту во всем
                                    набор документов составляет тему.
                                  
 Слово связано с темой в документе в зависимости от того, насколько распространена эта тема.
                                    в
                                    документ и насколько тема близка к слову. То же слово может быть
                                    связаны с разными темами в разных документах в зависимости от распределения тем
                                    в конкретном документе.
                                  
 Например, слово «глюкоза» в статье, посвященной преимущественно спорту.
                                    можно отнести к теме «спорт», а то же слово в статье о
                                    «медицина» будет отнесена к теме «медицина».
                                  
                                  
 Каждому слову, связанному с темой, присваивается вес, который показывает, насколько слово
                                    помогает определить тему.Вес - это показатель того, сколько раз встречается слово
                                    в
                                    тема по сравнению с другими словами в теме во всем наборе документов.
                                  
                                  
 Для получения наиболее точных результатов предоставьте Amazon Comprehend самый крупный
                                    возможно
                                    корпус для работы. Для лучших результатов:
                                  
                                 
                                     
                                     
                                     
                                    
                                     
 

                                          
                                           
 Вы должны использовать не менее 1000 документов в каждой работе по тематическому моделированию.
                                          
                                        
                                        

                                          
                                           
 Каждый документ должен состоять не менее чем из 3 предложений. 
                                          
                                        
                                        

                                          
                                           
 Если документ состоит в основном из числовых данных, вы должны удалить его из
                                             корпус.
                                          
                                        
                                     
                                  
 Тематическое моделирование - это асинхронный процесс. Вы отправляете свой список документов в Amazon
                                    Постигать
                                    из корзины Amazon S3 с помощью операции StartTopicsDetectionJob. Ответ отправляется
                                    Ведро Amazon S3.Вы можете настроить как входные, так и выходные сегменты. Получить список
                                    из
                                    задания по тематическому моделированию, которые вы отправили с помощью ListTopicsDetectionJobs
                                    и просматривать информацию о задании с помощью операции DescribeTopicsDetectionJob. Контент, доставляемый в корзины Amazon S3, может содержать клиентский контент.
                                    
                                    Для получения дополнительной информации об удалении конфиденциальных данных см.
                                    Как опорожнить ведро S3?
                                    или как удалить корзину S3 ?.
                                  
 Документы должны быть в текстовых файлах в формате UTF-8. Вы можете подать документы двумя
                                    способами. В следующей таблице показаны варианты.
                                  
                                 
                                    
                                        
 
 
 
 Формат 
                                                
                                                 
 Описание 
                                                
                                              
 
 
 
 Один документ на файл 
                                             
                                              
 Каждый файл содержит один входной документ.Это лучше всего для коллекций
                                                больших документов.
                                              
                                             
                                           
 
 
 Один документ в строке 
                                             
                                              

                                                 
 Входные данные - один файл. Каждая строка в файле считается
                                                   документ.Это лучше всего подходит для коротких документов, например для социальных сетей.
                                                   проводки.
                                                 
                                                
                                                 
 Каждая строка должна заканчиваться переводом строки (LF, \ n), возвратом каретки
                                                   (CR, \ r) или оба (CRLF, \ r \ n). Разделитель строк Unicode (u + 2028)
                                                   нельзя использовать для завершения строки.
                                              
                                             
                                           
 
                                 
                                  
 Для получения дополнительной информации см. Тип данных InputDataConfig.
                                  
                                  
 После обработки вашей коллекции документов Amazon Comprehend возвращает сжатый
                                    архив
                                    содержащий два файла,  тем-терминов.csv  и
                                      doc-themes.csv . Для получения дополнительной информации о выходном файле см.
                                    OutputDataConfig.
                                  
                                  
 Первый выходной файл,  topic-terms.csv , представляет собой список тем в
                                    Коллекция. Для каждой темы список по умолчанию включает самые популярные термины по темам.
                                    согласно их весу.Например, если вы дадите Amazon Comprehend коллекцию
                                    газеты
                                    статьях, он может вернуть следующее, чтобы описать первые две темы в
                                    коллекция:
                                  
                                 
                                    
                                        
 
 
 
 Тема 
                                                
                                                 
 Срок 
                                                
                                                 
 Масса 
                                                
                                              
 
 
 
 000 
                                             
                                              
 команда 
                                             
                                              
 0.118533 
                                             
                                           
 
 
 000 
                                             
                                              
 игра 
                                             
                                              
 0,106072 
                                             
                                           
 
 
 000 
                                             
                                              
 игрок 
                                             
                                              
 0.031625 
                                             
                                           
 
 
 000 
                                             
                                              
 сезон 
                                             
                                              
 0,023633 
                                             
                                           
 
 
 000 
                                             
                                              
 играть 
                                             
                                              
 0.021118 
                                             
                                           
 
 
 000 
                                             
                                              
 двор 
                                             
                                              
 0,024454 
                                             
                                           
 
 
 000 
                                             
                                              
 тренер 
                                             
                                              
 0.016012 
                                             
                                           
 
 
 000 
                                             
                                              
 игр 
                                             
                                              
 0,016191 
                                             
                                           
 
 
 000 
                                             
                                              
 футбол 
                                             
                                              
 0.015049 
                                             
                                           
 
 
 000 
                                             
                                              
 защитник 
                                             
                                              
 0,014239 
                                             
                                           
 
 
 001 
                                             
                                              
 чашка 
                                             
                                              
 0.205236 
                                             
                                           
 
 
 001 
                                             
                                              
 еда 
                                             
                                              
 0,040686 
                                             
                                           
 
 
 001 
                                             
                                              
 минут 
                                             
                                              
 0.036062 
                                             
                                           
 
 
 001 
                                             
                                              
 добавить 
                                             
                                              
 0,029697 
                                             
                                           
 
 
 001 
                                             
                                              
 столовая ложка 
                                             
                                              
 0.028789 
                                             
                                           
 
 
 001 
                                             
                                              
 масло 
                                             
                                              
 0,021254 
                                             
                                           
 
 
 001 
                                             
                                              
 перец 
                                             
                                              
 0.022205 
                                             
                                           
 
 
 001 
                                             
                                              
 чайная ложка 
                                             
                                              
 0,020040 
                                             
                                           
 
 
 001 
                                             
                                              
 вино 
                                             
                                              
 0.016588 
                                             
                                           
 
 
 001 
                                             
                                              
 сахар 
                                             
                                              
 0,015101 
                                             
                                           
 
                                 
                                  
 Веса представляют собой распределение вероятностей для слов в данной теме.Поскольку Amazon Comprehend возвращает только 10 самых популярных слов по каждой теме, веса не будут
                                    сумма к 1.0.
                                    В редких случаях, когда в теме меньше 10 слов, веса будут
                                    сумма к
                                    1.0.
                                  
                                  
 Слова сортируются по их различающей способности, глядя на их появление
                                    по всем темам.Обычно это то же самое, что и их вес, но в некоторых случаях
                                    такой
                                    как слова "играть" и "двор" в таблице, это приводит к порядку, который не
                                    в
                                    такой же, как и вес.
                                  
                                  
 Вы можете указать количество возвращаемых тем. Например, если вы спросите Amazon Comprehend
                                    к
                                    вернуть 25 тем, он возвращает 25 самых известных тем в коллекции.Амазонка
                                    Понять может
                                    обнаруживать до 100 тем в коллекции. Выберите количество тем в зависимости от вашего
                                    знание предметной области. Может потребоваться некоторое экспериментирование, чтобы прийти к правильному
                                    номер.
                                  
                                  
 Во втором файле,  doc-themes.csv , перечислены связанные документы
                                    с темой и пропорцией документа, которая связана с этой темой.если ты
                                    указано  ONE_DOC_PER_FILE  документ идентифицируется по имени файла. Если
                                    вы указали  ONE_DOC_PER_LINE  документ идентифицируется по имени файла
                                    и номер строки с нулевым индексом в файле. Например, Amazon Comprehend может
                                    вернуть
                                    следующее для набора документов, представленных с одним документом на файл:
                                  
                                 
                                    
                                        
 
 
 
 Документ 
                                                
                                                 
 Тема 
                                                
                                                 
 Доля 
                                                
                                              
 
 
 
 образец-doc1 
                                             
                                              
 000 
                                             
                                              
 0.999330137 
                                             
                                           
 
 
 образец-doc2 
                                             
                                              
 000 
                                             
                                              
 0,998532187 
                                             
                                           
 
 
 образец-doc3 
                                             
                                              
 000 
                                             
                                              
 0.998384574 
                                             
                                           
 
 
 ... 
                                             
                                              
 
                                             
                                              
 
                                             
                                           
 
 
 образец документа 
                                             
                                              
 000 
                                             
                                              
 3.57E-04 
                                             
                                           
 
                                 
                                  
 Amazon Comprehend использует информацию из набора данных «Списки лемматизации »,
                                       MBM , который доступен здесь под
                                    Лицензия открытой базы данных
                                          (ODbL) v1.0.
                                  
                                   
 Модели как предмет исследования 
 
                    
                    
    


                    

                    

                    
                        
                             
 Говорят, что до Платона математика была лишь средством решения практических задач.Сам Платон, однако, определил математику как чистый предмет исследования, заметив, что красота математических теорий имеет глубокую внутреннюю ценность, которую необходимо развивать и совершенствовать независимо от практического применения. Это породило математику как область исследований, которая в результате привела к большему количеству практических приложений. 
 
 Информатика имеет гораздо более молодую историю. Некоторые ранние подходы к программированию общего назначения (например, механический универсальный компьютер Чарльза Бэббиджа в 1800-х годах, аналитическая машина и первые алгоритмы Ады Лавлейс) являются наиболее известными примерами.Однако информатика (или, лучше сказать, информатика) действительно появилась в двадцатом веке. Информатика зародилась как инструмент, помогающий в других научных и математических исследованиях. Когда стала очевидна возрастающая сложность, информатика стала объектом собственных исследований с прекрасными результатами в различных подобластях. 
 
 Моделирование, однако, намного старше. Концептуальные модели вездесущи в философии, физике, химии и многих других исследовательских дисциплинах. Физические воплощения моделей часто использовались при строительстве зданий.Термин «модель» имел раннюю историческую связь со строительством церквей, где модель представляла собой уменьшенную деревянную версию церкви, которая должна была быть построена в масштабе 1:10. От великого изобретателя Да Винчи у нас до сих пор есть много рисунков, на которых моделируются удивительные и умные машины, хотя многие из них так и не были построены. Авторы этой редакционной статьи, однако, не осознавали, что тема моделирования как отдельная тема или область исследований в эти более ранние века. 
 
 Концепция модели требовала большей формализации, когда требовалась конкретная семантика, например моделирование систем и программного обеспечения.Наиболее широко используемое определение «модель» было предложено Стаховяком только в 1973 году. Для определений теории программирования и семантики требовалось четко определенное понятие хорошо сформированного фрагмента кода. Это понятие также перенесено на другие формы моделей с цифровой связью. Сюда входят сети Петри в их различных формах, автоматы и диаграммы состояний, диаграммы классов, языки действий и другие формы языков моделирования. Область формальных методов (включая логику) и область языка программирования (в частности, построение компиляторов) в информатике были первыми, кто сосредоточил внимание на ценности моделей и явно определенных языках моделирования.Инженеры-программисты и администраторы баз данных также полагались на модели в различных представлениях, уделяя особое внимание практическому использованию ограниченных форм моделей. Интересно, что инструменты моделирования были основным продуктом, предлагаемым коммерческими поставщиками с самого начала индустрии программного обеспечения. Фактически, первым программным продуктом, продаваемым независимо от аппаратного пакета, был Autoflow - инструмент моделирования блок-схем, разработанный в 1964 году Мартином Гетцем из Applied Data Research. 
 
 Использование моделей широко обсуждалось в области разработки программного обеспечения в течение 1980-х и 1990-х годов, когда было задействовано множество различных языков моделирования (например.g., облака Буча и объектные модели Рамбо). Примерно в 1994 году совпадение общих концепций в разных языках моделирования указывало на необходимость унификации разных языков. «Войны методов», которые интенсивно обсуждались на конференциях OOPSLA в 1990-е годы, наконец разрешились в рамках усилий по стандартизации, сначала названных «Унифицированный метод», а затем приведших к «Унифицированному языку моделирования» (UML). В этот решающий период объединения стало ясно, что определение такого стандарта будет непростой задачей.Возникло исследовательское сообщество, которое заинтересовалось изучением моделей и UML как самостоятельной основной предметной области. 
 
 В 1998 году Жан Безивин и Пьер-Ален Мюллер организовали первый семинар по UML «Единый язык моделирования. «UML» '98: Beyond the Notation »в Мюлузе, Франция, 3–4 июня 1998 г. Основываясь на успехе научного мероприятия и очевидной потребности в дальнейшем обсуждении и исследовании, Роберт Франс и Бернхард Румпе (создатели-основатели SoSyM (после того, как Жан Безивен выступил с идеей) организовал последующее мероприятие «UML» '99 - Единый язык моделирования.Beyond the Standard »как первая международная конференция, посвященная моделированию программного обеспечения, состоявшаяся в Форт-Коллинзе, штат Колорадо (США), 28–30 октября 1999 г. Некоторые общие вопросы, которые обсуждались в этот зарождающийся период исследований в области моделирования, включали: 
 
 

                   
 Что такое хороший язык моделирования UML? 
                 
                 

                   
 Концентрация на основных модельных конструкциях или продуманный комфорт в UML? 
                 
                 

                   
 Как интегрировать ортогональные подъязыки? 
                 
                 

                   
 Семантика подъязыков UML? 
                 
                 

                   
 Как составлять, уточнять и переводить модели UML? 
                 
                 

                   
 Как создать надежный инструментарий для UML со степенью автоматизации? 
                 
                 

                   
 Как преподавать UML? 
                 
                 

                   
 Какие подходящие методы используют UML? 
                 
                 

                   
 Как использовать UML для моделирования вариативности, компонентов или фреймворков? 
                 
                 

                   
 Как улучшить стандартное разрешение? 
                 
               
 
 В 2005 году серия конференций по UML была расширена до общего вопроса о том, что определяет хороший язык моделирования.Основное внимание оставалось на разработке программного обеспечения, но поскольку программное обеспечение обычно внедряется в социальный, технический или деловой контекст, различные области внутри и связанные с информатикой были более глубоко вовлечены. Поэтому конференция 2005 г. была переименована в «Языки и системы проектирования на основе моделей» с использованием аббревиатуры «MoDELS / UML» и проводилась в Монтего-Бей, Ямайка, в октябре 2005 г. Вышеупомянутые вопросы обсуждались не только для стандарта UML. , который в то время стал относительно стабильным (и неполным с точки зрения практического применения, поскольку многие существующие инструменты UML лишь частично удовлетворяли потребности многих пользователей).Изменение названия конференции MODELS также признало появление предметно-ориентированных языков моделирования (DSML), которые не были специально привязаны к UML. Повышенный интерес к DSML помог привлечь внимание к новым исследованиям в области определения и семантики языка, а также использования и разработки таких языков (например, для тестирования, синтеза кода, моделирования и преобразования артефактов). 
 
 Во многих недавних публикациях моделирование используется как вклад в конкретную область приложения, но большая часть исследовательской литературы по моделированию также концентрируется на моделировании языков как на основном предмете исследования (а не просто как средство изучения чего-то еще).Как следствие, за последнее десятилетие появилось много новых конференций, посвященных темам моделирования, которые были организованы SoSyM как специальные выпуски (например, ECMFA, ICMT и серия семинаров по DSM). Мы можем с уверенностью заявить, что с первых дискуссий по UML в OOPSLA в 1990-х годах и начала серии конференций MoDELS / UML, модели и языки моделирования стали предметом самостоятельного изучения, в результате чего были получены сотни докторских степеней . диссертации по всему миру. Возникшее внимание уделяется внедрению результатов исследований на практике путем создания надежных промышленных и надежных инструментов коммерческого моделирования.
 
 Не менее важно понимать, какие модели, обозначенные в явных и целенаправленных языках моделирования, могут сделать для инженеров или ученых помимо чистой разработки программного обеспечения. Пришло время понять, как цифровые модели информатики могут быть объединены с непрерывным исчислением теории управления, геометрическими моделями машиностроения и как использовать поведенческое моделирование с неопределенностью, недостаточной спецификацией, вариантами и широкими возможностями настройки моделей во время выполнения. . Физические и химические законы можно рассматривать как модели мира, а программное обеспечение, управляющее какой-то его частью, требует комплексного понимания.
 
 За несколько десятилетий существования исследовательскому сообществу по моделированию предстоит еще многое сделать. Вот почему мы ожидаем, что SoSyM будет развиваться дальше и станет и останется основным местом публикации статей, посвященных моделированию и языкам моделирования - как более формальным, так и прикладным с технологической направленностью. Мы с нетерпением ждем поступления в SoSyM захватывающих исследований! 
  
 Содержание этого выпуска 
  
 Этот выпуск содержит мнение эксперта и 12 регулярных статей, а именно: 
 
 

                     

                        Голос эксперта 
                       
 
 

                           
 «Содержание сводов знаний по разработке программного обеспечения на основе моделей» Антонио Валлесилло, Лоли Бургеньо, Федерико Чиккоцци, Михалис Фамелис, Герти Каппель, Лин Ламберс, Себастьян Моссер, Ричард Фриман Пейдж, Альфонсо Пьерантонио, Аренд Ренсинкри, Рик Салай, Рик Салай Тэнцер и Мануэль Виммер.
                         
                       
 
                   

                     

                        Обычная бумага 
                       
 
 

                           
 «Многовидовые подходы к моделированию программного обеспечения и систем: систематический обзор литературы» Антонио Чиккетти, Федерико Чиккоцци и Альфонсо Пьерантонио. 
                         
                         

                           
 «BPMN с улучшенной конфиденциальностью: анализ конфиденциальности данных в моделях бизнес-процессов» Пилле Пуллонен, Джейк Том, Раймундас Матулявичюс и Айво Тоотс.
                         
                         

                           
 «Анализ компромиссов для моделей SysML с использованием точек принятия решения и CSP» Патрика Лезерфа, Пьера де Саки-Саннеса и Джерома Хьюга. 
                         
                         

                           
 «Сравнительное исследование студентов и профессионалов в экспериментах с пониманием синтаксической модели» Мохаммед Эль-Аттар. 
                         
                         

                           
 «Моделирование спецификаций соответствия в линейной временной логике, языке обработки событий и шаблонах спецификации свойств: управляемый эксперимент по понятности» Кристофа Чепа, Амирали Амири, Эвангелоса Нтентоса и Уве Здуна.
                         
                         

                           
 «Интегрированный контроль версий и изменений для развивающихся линеек программных продуктов на основе моделей» Феликса Швагерла и Бернхарда Вестфехтеля. 
                         
                         

                           
 «Улучшение ручных проверок в функционально-ориентированном проектировании встроенных систем с использованием специальной модели проверки» Мариан Даун, Торстен Вейер и Клаус Поль.
                         
                         

                           
 «Отслеживание исполнения модели: систематическое картографическое исследование» Фазилат Ходжаджи, Таня Майерхофер, Бахман Замани, Абдельвахаб Хаму-Лхадж и Эрван Бус. 
                         
                         

                           
 «ChronoSphere: хранилище моделей EMF на основе графов для моделей ландшафта ИТ» Мартина Хауслера, Томаса Тройера, Йоханнеса Кесслера, Маттиаса Фарвика, Эммануэля Новаковски и Рут Бреу.
                         
                         

                           
 «Расширенная поддержка обмена программным обеспечением и системными моделями» Каталины Льядо и Конни Смит. 
                         
                         

                           
 «Подход к локализации ошибок в моделях, использующих два уровня: модель и метамодель», авторы Лорена Арсега, Хайме Фонт, Ойстейн Хауген и Карлос Четина. 
                         
                         

                           
 «Профиль UML для проектирования, оценки качества и развертывания приложений с интенсивным использованием данных» Диего Перес-Паласин, Хосе Мерсегер, Хосе Рекено, Микеле Герриеро, Элизабетта Ди Нитто и Дамиан Тамбурри.