Модуляционная неустойчивость (Ml) приводит к превращению непрерывного сигнала или импульса в модулированную структуру. Сдвиг частот и усиление боковых полос определяется интенсивностью исходной волны, а также дисперсией и нелинейными коэффициентами волокна. Максимальная эффективность таких преобразований имеет место на частоте сдвига, определяемой из выражения:
где п2 – нелинейный коэффициент преломления диоксида кремния, Aeff – площадь эффективной области волокна, Р0 – вводимая оптическая мощность, D(λ) – коэффициент хроматической дисперсии, λ — рабочая длина волны. Боковые полосы располагаются на расстоянии ±Ωmax от несущей, которая испытывает усиление на единицу длины, равное gmax=4πP0 /(λA eff).