Клод Шеннон – автор теории информации и практического воплощения булевой алгебры

Клод Элвуд Шеннон родился 30апреля 1916 года в небольшом городке Гайлорд на озере Мичиган. Молодой Клод очень любил конструировать автоматические устройства. Героями его детства были Томас Эдисон, Исаак Ньютон Чарльз Дарвин и Альберт Эйнштейн. В 1932 году Шеннон был зачислен в Мичиганский университет. Клод Шеннон специализировался в электротехнике. Но математика его также увлекала, и он пытался посетить столько курсов, сколько это было возможно. Один из них, а именно, курс по символической логике, сыграл большую роль в его карьере. Он получил степень бакалавра по электротехнике и математике. «Вот история моей жизни, -- говорит Шеннон. – Взаимодействие между математикой и электротехникой».

В 1936 году Клод Шеннон стал аспирантом Массачусетского технологического института (MIT). Его руководитель Ванневар Буш, создатель аналогового компьютера в качестве темы диссертации предложил описать логическую организацию этой машины.

Работая над диссертацией, Шеннон пришел к выводу, что булева алгебра может с успехом использоваться для анализа и синтеза переключателей и реле в электрических схемах. Шеннон писал: «Сложные математические операции возможно выполнить посредством релейных цепей. Числа могут быть представлены позициями реле и шаговыми переключателями. Соединив определенным образом наборы реле, можно производить различные математические операции».Таким образом, объяснял Шеннон, можно собрать релейную схему, выполняющую логические операции И, ИЛИ, и НЕ. Также можно реализовать сравнения; с помощью таких цепей легко осуществить конструкцию «Если… то…».

В 1937 году Шенноном написана диссертация под названием «Символический анализ релейных и переключательных цепей». Эта диссертация расценивалась как одна из наиболее значимых во всей науке того времени: то, что сделал Шеннон, проложило путь к разработке цифровых компьютеров.

Работа Шеннона имела очень важное значение: теперь инженеры в своей повседневной практике, создавая аппаратуру и программы для компьютеров, сети телефонной связи и другие системы, постоянно пользуются булевой алгеброй. Шеннон преуменьшал свою заслугу в этом открытии. «Просто случилось так, что никто другой не был знаком с этими обеими областями (математика и электротехника) одновременно,» -- говорил он. И после заявлял: «Мне всегда нравилось это слово – булева».

Справедливости ради нужно заметить, что до Шеннона установлением связи между булевой алгеброй и переключательными цепями занимались в Америке Ч. Пирс, в России -- П. С. Эренфест, В. И. Шестаков и другие.

В 1940 году Шеннон получает докторскую степень по математике и степень магистра по электротехнике.(тема его докторской диссертации – «Алгебра для теоретической генетики»)

С 1941 года Шеннон стал работать в компании Bell, одной из ведущих фирм мира в области разработки средств связи. На этот раз Шеннон заинтересовался электронной передачей сообщений. Он задался простой целью: улучшить процесс передачи информации по каналу связи, но не за счет технического усовершенствования линий связи, а использую более эффективную упаковку информации.

Что такое информация? Оставляя в стороне вопрос о содержании этого понятия, Шеннон показал, что это измеримая величина: количество информации, содержащейся в данном сообщении, есть функция вероятности, что из всех возможных сообщений будет выбрано данное. Он назвал общий потенциал информации в системе сообщений как ее «энтропию». В термодинамике это понятие означает степень случайности (или, если угодно, «перемешанности») системы. (Однажды Шеннон сказал, что понятием энтропии ему посоветовал воспользоваться математик Джон фон Нейман, указавший, что так как никто не знает, что это такое, у Шеннона всегда будет преимущество в спорах, касающихся его теории)

Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: например, «да» -- «нет». Бит можно представить как 1 или 0, или как присутствие или отсутствие тока в цепи.

На этом математическом фундаменте Шеннон затем показал, что любой канал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно. Этот максимум получил известность как предел Шеннона.

Каким образом можно приблизиться к пределу Шеннона? Первый шаг заключается в том, чтобы воспользоваться избыточностью кода. Путем эффективного кодирования (я люблю вас – я лбл в) можно сжать информацию, представив ее в наиболее компактной форме. С помощью специальных методов кодирования, позволяющих проводить коррекцию ошибок, можно гарантировать, что сообщение не будет искажено шумом.

Идеи Шеннона были слишком провидческими, чтобы иметь немедленный практический эффект. Схемы на вакуумных электронных лампах просто не могли еще вычислять сложные коды, требовавшиеся для того, чтобы приблизиться к пределу Шеннона. Только в начале 70-х годов с появлением быстродействующих интегральных микросхем инженеры начали в полной мере пользоваться теорией информации.

Все свои мысли и идеи, связанные с новой наукой – теорией информации, Клод Шеннон изложил в монографии «Математическая теория связи», опубликованной в 1948 году.

Теория информации проникла также в такие области, как лингвистика, психология, экономика Биологи и даже в искусство. С точки зрения Шеннона применение информационной теории к биологическим системам достаточно уместно, поскольку, по его мнению, в основе механических и живых систем лежат общие, с токи зрения информации, принципы.

В 1948 году он публикует работу «Программирование компьютера для игры в шахматы». Ранее подобных публикаций на эту тему не было, причем созданная Шенноном шахматная программа явилась основой для последующих разработок и первым достижением в области искусственного интеллекта. В 1950 году он изобрел механическую мышь Тесей, которая, будучи управляема магнитом и сложной электрической схемой, скрытой под полом, могла найти выход из лабиринта.

Клод Шеннон был одним из организаторов первой конференции по искусственному интеллекту в 1956 году в Дартмпуте. В 1965 году он побывал по приглашению в Советском Союзе, где прочитал ряд лекций по искусственному интеллекту.

С 1958года и до официального выхода на пенсию в 1978 году (в 62 года) он преподавал в профессорской должности в Масачусетском технологическом институте. Будучи на пенсии, он увлекся жонглированием, построил несколько жонглирующих машин и разработал то, что можно было бы назвать объединенной теорией поля для жонглирования.

В начале марта 2001 года, в возрасте 84 лет, после продолжительной болезни Клод Шеннон скончался., как писали журналисты, скончался человек, который придумал бит.