• Понятие случайной величины
• Анализ текста
• Алгоритм создания тезауруса
• Упражнения

В связи с бурным развитием массовой и деловой коммуникации, ростом информационных потоков, интенсивным накоплением информации, предназначенной для систематизации, хранения и использования актуальной становится задача извлечения информации (информационного поиска) и ее анализа. Компьютерный анализ текстов в настоящее время начинает приобретать самостоятельное значение в проблематике гуманитарной информатики. Наиболее разработанным направлением является использование статистических методов для обработки текста, например, построение частотных словарей, конкордансов (словарей словосочетаний) и т.п. Анализ может вестись на разных уровнях - от грамматических форм (характерно для стилометрики) до смысловых категорий, обнаруживаемых в тексте (контент-анализ). Цель анализа - выявить некоторые закономерности, характеризующие текст, и сделать выводы, например, об авторстве текста или политических пристрастиях автора. Известны различные методы выбора ключевых слов: статистические, выбор с помощью анкет или кодограмм, выбор по совпадению данного слова со словами некоторого положительного словаря и ряд других. Определение ключевых слов является основой для создания тезаурусов, используемых в процессах автоматического поиска информации, автоматического аннотирования, реферирования и перевода. Статистические методы выделения специфичной лексики основываются на анализе частоты употребления того или иного слова в определенной совокупности текстов.

Пусть имеется текст T, следует взять любое слово и посчитать, сколько раз оно встречается в тексте - эта величина называется частотой вхождения (употребления) слова . Вероятность встретить выбранное случайным образом слово равна отношению частоты вхождения слова к общему числу слов n в тексте:

Некоторые слова будут иметь одинаковую частоту, то есть входить в текст равное количество раз. Следует сгруппировать слова, имеющие одинаковую частоту вхождения и взять только одно значение из каждой группы. Расположить частоты в порядке убывания и пронумеровать их. Порядковый номер частоты называется рангом частоты. Наиболее часто встречающиеся слова будут иметь ранг 1, следующие за ними - 2 и т.д.

Исследования показывают, что наиболее значимые слова лежат в средней части графика зависимости ранга от частоты. Слова, которые попадаются слишком часто, в основном оказываются предлогами, местоимениями, в английском языке - артиклями и т.п. Редко встречающиеся слова тоже, в большинстве случаев, не имеют решающего смыслового значения.
Например, провести анализ следующего текста, построить график зависимости ранга и частоты, выделить зону значимых слов:

Был рассмотрен отдельно взятый документ, но при выделении ключевых слов исследуется совокупность текстов. Чтобы избавится от лишних слов, и поднять рейтинг значимых слов, часто используется инверсная частота термина i. Значение этого параметра тем меньше, чем чаще слово встречается в документах. Вычисляется инверсная частота по следующей формуле:

В примере термин "не" получит нулевой или близкий к нулю весовой коэффициент, поскольку практически во всех текстах попадается это слово. Термин "зипфа" - напротив, приобретет высокий вес.

Современные способы индексирования не ограничиваются анализом перечисленных параметров текста. Поисковая машина может строить весовые коэффициенты с учетом местоположения термина внутри документа, взаимного расположения терминов, частей речи, морфологических особенностей и т.п. 
В качестве терминов могут выступать не только отдельные слова, но и словосочетания. Без этих законов сегодня не обходится ни одна система автоматического поиска информации.