Алгоритм оценки содержательного разнообразия

1. Определение предметной области, с позиций кото­рой будет рассматриваться содержание. Что в общем и целом нас интересует в данном тексте или в данных тек­стах?

2. Определение основных категорий анализа:

2.1. Дедуктивно: на основе представлений аналитика об основных компонентах — сторонах — данной предметной области. Априорное — до опыта — вы-

деление тем, подтем, микротем, которые могут (или должны) быть раскрыты в тексте;

2.2. Индуктивно: на основе впечатления от подлежа­щего анализу текста (текстов). О чем именно в нем говориться? Выделение тем, подтем, микротем, фактически раскрытых в тексте (текстах).

3. Выделение в тексте единиц счета — слов и/или выра­жений — и распределение их по категориям.

4. Подсчет количества различных единиц L и частоты каждой из них f, где i == 1, 2,.... L.

5. Расчет относительной частоты — частотности р^ — для каждой из выделенных единиц содержания как отно­шения ее частоты f к общей сумме всех единиц Xi, с точ­ностью до одной сотой (0, 01):

f ¹⁵'tf

(как показывает практика, большая точность здесь не требуется).

6. Оценка разнообразия, или неопределенности, для каждой единицы (по К. Шеннону, в битах):

h, = - Р, log; p„ бит.

На практике используется таблица перехода от отно­сительных частот р к оценкам неопределенности li (таб­лица 4).

Таблица 4

Значения h= — plog^p, в битах. Выдержки из таблицы 20А (по: 9. С. 244 - 245)

	0, 00					0, 03	0, 04	0, 05	0, 06	0, 07
0, 0						0, 152	0, 186	0, 216	0, 244	0, 269
0, 1	0, 332					0, 383	0, 397	0, 410	0, 423	0, 435
0, 2	0, 464					0, 488	0, 494	0, 500	0, 505	0, 510
0, 3	0, 521					0, 528	0, 529	0, 530	0, 531	0, 531
0, 4	0, 529					0, 524	0, 521	0, 518	0, 515	0, 512
0, 5	0, 500					0.485	0, 480	0, 474	0, 468	0.462
0, 6	0, 442					0, 420	0, 412	0, 404	0, 396	0, 387
0, 7	0, 360					0, 331	0, 322	0, 311	0, 301	0, 290
0, 8	0, 258					0, 223	0, 211	0, 199	0, 187	0, 175
0, 9	0, 137					0, 097	0, 084	0, 070	0.056	0, 043

 

7. Подсчет суммарной оценки разнообразия для каж­дой категории анализа и для текста в целом:

L

Н = I h, бит.

8. Оценка доли общего разнообразия (в %), приходя­щейся на отдельные категории — темы, подтемы, микро­темы... — в рамках текста.

Пример реализации алгоритма

Возьмем самый простой случай из четырех рассмот­ренных: сочинение четвероклассницы Б. М.

«У меня есть подружка Света. Мы очень давно познако­мились. Ходили в один садик, учимся в одном классе. На улице мы играем в мячик, в прятки, в догонялки. Мы друг друга не оставляем в беде. Света очень хороший друг! У ме­ня есть сестренка. Света помогает мне с ней нянчиться».

1. В сочинении выделяется то, что характеризует друга.

2. Основные категории анализа определяются в данном случае дедуктивно: на основе сформулированных выше соображений о генезисе сознательного образа человека. Это фиксация поведенческих актов, различные оценки и ин­терпретация.

3. Выделение в тексте единиц содержания — слов и/ или выражений — и распределение их по категориям (таб­лица 5).

Таблица 5