|
Раздел "Обработка сигналов и изображений\Wavelet Toolbox" "Вейвлеты, аппроксимация и статистические приложения" (перевод К.А.Алексеева)
\ \
11. Трешолдинг и адаптивность вейвлет-оценок
11.1 Введение
В настоящей главе рассматривается свойство адаптивности вейвлет-оценок, построенных с использованием нелинейных методов (трешолдинга). В параграфе 11.2 вводятся различные обобщения и модификации мягкого и жесткого трешолдинга, приводятся наработки по использованию адаптивных оценок для моделирования функций распределения плотности. Наконец, рассматриваются методы выбора подходящих базисов анализа, значения порога и исходного уровня разложения данных, основанные на критерии Стейна. В заключение главы обсуждаются преимущества и недостатки приведенной техники построения оценок.
11.2 Формы трешолдинга
В главе 10 уже были введены 2 простых вида трешолдинга вейвлет-коэффициентов: мягкий и жесткий. Теперь дадим более детальный обзор существующих видов и форм трешолдинга и приведем их классификацию. При этом будем для определенности полагать, что контекстом решения задачи трешолдинга является оценивание плотности распределения. Иначе говоря, будем считать, что имеет место необходимость оценивания некоторой функции , характеризующей плотность распределения отсчетов . Отметим также, что приводимые далее определения являются справедливыми равным образом для непараметрических регрессионных моделей, моделей гауссова белого шума, оценивания спектральной плотности и т.д.
Разделим процедуры трешолдинга на три группы: группу локального трешолдинга, группу глобального и группу блочного трешолдинга.
Локальный трешолдинг. Термин "локальный", введенный в название группы трешолдинга, подразумевает обстоятельство, согласно которому пороговая обработка осуществляется применительно к каждому из коэффициентов разложения. Положим, что представляют собой некоторые эмпирические коэффициенты детализации, тогда как - некоторую функцию переменной . Вполне вероятно предполагать, что функция является некоторой заданной функцией, определяемой природой исследуемых данных . Положим также, что , если . Тогда, коэффициенты детализации, прошедшие процедуру локального порогового отбора, могут быть сгруппированы в множество:
. |
(11.1) |
Так, например, в случае осуществления мягкого и жесткого трешолдингов, введенных в главе 10, функция является неслучайной и независящей от параметров :
, |
(11.2) |
. |
(11.3) |
С учетом сказанного, оценка плотности распределения может быть записана в следующем виде:
. |
(11.4) |
Назовем данное выражение оценкой, полученной с использованием локального трешолдинга.
Из утверждения 10.3 следует, что выбор трешолдинга по принципу
|
(11.5) |
обеспечивает асимптотически оптимальное поведение оценки, когда . Весьма схожий результат обеспечивается для случая мягкого трешолдинга. Правда, вопрос выбора константы С остается открытым; известно лишь одно обстоятельство: данная константа должна иметь неприлично большое значение.
Для других типов трешолдинга, в которых функция является зависимой от параметра j, но по-прежнему определяемых выражениями (11.2), (11.3), выбор порогов происходит следующим образом:
, |
(11.6) |
как это предложено в работе [29], или
, |
(11.7) |
как это следует из [43, 143]. Здесь на константу С вновь накладывается прежнее требование.
Наконец, в том случае, если функция является зависимой от параметров одновременно, выбор порога осуществляется следующим образом:
, |
(11.8) |
где есть дисперсия эмпирических коэффициентов детализации, - число ненулевых коэффициентов разложения на каждом из уровней анализа. Отметим, что проблема выбора трешолдинга с использованием (11.8) обсуждается далее в настоящей главе. Необходимо в данном месте лишь подчеркнуть, что величина в задаче оценивания является неизвестной, в связи с чем требует замены на свой эмпирический аналог.
Введем еще одно определение: функция , полученная с использованием порога , одинакового для всех (11.5), называется оценкой, синтезированной с использованием фиксированного порога. В противном случае, т.е. в случае, когда значение порога является уникальным для и/или (11.6-11.8), функция называется локальной оценкой, полученной с использованием переменного порога.
Глобальный трешолдинг. Помимо операций сохранения или удаления коэффициентов разложения по отдельности, целые уровни коэффициентов детализации (аппроксимации) могут подвергаться удалению или пересчету. Иначе говоря, оценка функции может выглядеть следующим образом:
. |
(11.9) |
В работе [87] рассмотрены две функции трешолдинга применительно к функции плотности распределения. Так, функции жесткого и мягкого трешолдингов в данном случае имеют вид:
, |
(11.10) |
, |
(11.11) |
где есть некоторая статистическая зависимость, - константа. В том случае, если данная константа является четным числом, меньшим числа исходных данных, зависимость определяется следующим образом:
.
Отметим, что выражение для приведено в работе [87]. Итак, оценка плотности, определяемая выражением (11.9) при использовании функций (11.10), (11.11), называется оценкой, полученной с использованием глобального трешолдинга. Основными преимуществами синтеза подобных оценок, а также недостатками, их сопровождающими, являются, очевидно:
- полная основанность на исследуемых данных, чего нельзя сказать об оценках, построенных при использовании локального трешолдинга (11.5 - 11.7);
- увеличение вычислительной сложности при увеличении значения параметра р (как станет видно из дальнейшего, данная константа определяет размерность функции потерь в
, подлежащей оптимизации);
- процедура трешолдинга обеспечивает
-обобщение случая, введенного для . Выражение (11.11), как видно, напоминает оценку Джеймса-Стейна [77 (глава 1)], а также является близкой по сути к процедуре, введенной в [97].
Блочный трешолдинг. Данный вид трешолдинга представляет собой процедуру, занимающую среднее положение между процедурами локального и глобального трешолдингов, поскольку позволяет оперировать с блоками коэффициентов на каждом из уровней анализа. Блочный трешолдинг введен в работе [61, 63]; смысл его состоит в следующем. Разделим набор коэффициентов разложения на некоторое целое число не перекрывающих друг друга блоков длиной :
, .
Положим, что

и, следовательно,
.
Тогда вейвлет-оценка плотности примет вид:
, |
(11.12) |
в котором есть некоторая константа, управляющая порогом. Выражение (11.12) представляет собой оценку плотности, построенную с использованием блочного трешолдинга.
В большинстве случаев блочная оценка обладает лучшими асимптотическими свойтсвами по сравнению с локальными оценками, поскольку не определяется логарифмическими законами сходимости [61, 63]. Единственная деталь, по существу определяющая недостаток оценки (11.12), состоит в том, что данная модель не является полностью зависимой от природы данных. Напротив, как видно из выражения, процесс трешолдинга управляется константой С, выбор которой до сих пор представляет собой белое пятно в теории: данная константа является эмпирической.
11.3 Свойства адаптивности вейвлет-оценок
Вейвлет-оценки, введенные в выше в рассмотрение, требуют априорного знания
- наивысшего уровня разложения
, начального уровня разложения ;
- значения порога
, или в более общем случае, вектора порогов ;
- базиса анализа, или, что то же самое, скейлинг-функции в предположении, что вейвлет-функция может быть построена на основе скейлинга.
Ранее, в главе 10, были указаны некоторые предположения, касающиеся выбора порога и базиса анализа, которые гарантировали бы почти асимптотическое поведение вейвлет-оценок. Данные предположения были сформулированы в нотации регулярности оцениваемой функции. Однако на практике такая нотация является серьезным недостатком анализа в виду того, что регулярность оцениваемой функции оказывается неизвестной. Дело усугубляется тогда, когда функция оказывается принадлежащей различным по своей регулярности классам функций. Красивой иллюстрацией сказанного может служить функция , совпадающая на сегменте с функцией и являющаяся регулярной за пределами данного сегмента. Производная такой функции представляет собой сумму случайных индикаторов
на сегменте и при этом является также регулярной за пределами данного сегмента. Очевидно, что порядок равен и, следовательно, для всех натуральных р. Можно заключить, что исходная функция .
Другим примером может служить функция
.
Здесь, очевидно, функция принадлежит всем пространствам . Действительно, результаты, полученные в главе 10, показывают, что различные пространства характеризуются различными же скоростями сходимости оценок. Таким образом, оказывается целесообразным поиск оценки, обладающей одновременно лучшими скоростями сходимости в большом наборе пространств (функциональных классов). К счастью, вейвлет-оценки обладают данным свойством.
Положим, А есть некоторое множество такое, что представляет собой набор функциональных классов. Например, при класс имеет вид единичной сферы в . Обозначим через минимаксный риск в для -потерь:
.
Определение 11.1. Оценка является адаптивной оценкой в смысле -потерь для набора классов в том случае, если для всяких существует такая, что
.
Оценка является логарифмически адаптивной в смысле -потерь для набора классов в том случае, если для всяких существует и такие, что
.
Таким образом, адаптивная оценка является оптимальной; ее поведение определяется фактом принадлежности тому или иному классу функций (т.е., другими словами, известным параметром ). Большие подробности можно найти в литературе [12, 95-99].
Далее представлены без доказательства некоторые результаты, иллюстрирующие тот факт, что вейвлет-оценки имеют свойство адаптивности.
В следующих двух утверждениях предполагается, что является классом Бесова, причем , , функции представляют собой плотности вероятностей с компактным носителем длины, меньшей . Отметим, параметры являются положительными, причем знание последнего не является необходимым для целей построения оценок: его включение в по этой причине также оказывается нецелесообразным.
Утверждение 11.1 [43]. Положим, скейлинг-функция удовлетворяет условиям теоремы 9.4 для некоторого целого . Положим также, что представляет собой некоторое положительное целое, при этом локальная оценка выбирается таким образом, что (здесь константа С зависит от параметра ), и является адаптивной логарифмически для любых -потерь в классах , где
.
Положение дел становится более ясным, если упомянуть при этом, что есть число вырожденных моментов вейвлет-функции (см. главы 9, 10).
Утверждение 11.2 [87]. Положим, скейлинг-функция удовлетворяет условиям теоремы 9.4 для некоторого целого . Положим также, что представляет собой некоторое число. Глобальная оценка, определяемая с использованием выражений (11.10), (11.11), в которых , такая, что является адаптивной логарифмически для любых -потерь в классах , где
.
Данные утверждения приведены вместе для упрощения их сравнительного анализа. Как видно из текстов утверждений, в рассмотрение вводятся локальная и глобальная оценки функции соответственно. Здесь ограничения, накладываемые на регулярность , являются одинаковыми для обеих процедур оценивания и равными . При этом локальная процедура не имеет логарифмического фактора сходимости, однако набор функций потерь в данном случае оказывается шире.
Диапазон константы , вообще говоря, также является ограниченным, правда, для случая использования глобального трешолдинга. Именно это обстоятельство - ограниченность для глобального трешолдинга и неограниченность для локального - позволяет говорить о том, что локальный трешолдинг является способным к лучшей адаптивности при моделировании негомогенных сингулярностей. Наконец, адаптивность в радиусе сферы Бесова при использовании локальных процедур оказывается весьма и весьма слабой: здесь сказывается необходимость знания параметра .
Замечание 11.1. При использовании глобальных процедур оценивания результат утверждения 11.1 может быть распространен на случай исследования данных со структурными -зависимостями [144].
Теория локального оценивания развита для большого числа приложений, среди которых можно назвать моделирование белого гауссова шума [42], регрессионное оценивание зависимых данных [80], моделирование временных рядов [74, 118, 149]. Несколько результатов было получено для обратных проблем моделирования с использованием разложения по вагулетам [36].
Замечание 11.2. В манере, аналогичной предыдущему замечанию, можно подвести итог рассуждениям, касающимся блочного трешолдинга. Так, путем выбора параметров
,
,
,
можно получить адаптивность для -потерь без появления логарифмического характера сходимости, при этом
.
Данное обстоятельство оказывается справедливым для более широко класса по сравнению с : оцениваемыми функциями здесь могут быть плотности с компактным носителем, представляющие собой сумму регулярных функций таких, что , а также функций турбулентных, например ограниченных функций с сингулярностями типа разрывов, допплеровыми осцилляциями, чирпами и т.п. [63].
\ \
|