Карьера. Окончил юридический факультет Петербургского университета (1907), стажировавшийся два семестра в Гейдельбергском (1905)

Окончил юридический факультет Петербургского университета (1907), стажировавшийся два семестра в Гейдельбергском (1905), служил в Сенате (крупным чиновником был также его отец, умерший в 1918 году в большевистской тюрьме), окончил Археологический институт в Санкт-Петербурге (1910) Мещанинов начинал научную деятельность как археолог (поначалу любитель) и специалист по древним цивилизациям Кавказа и Причерноморья, где проводил раскопки. Перед революцией Мещанинов работал над систематизацией эламитских коллекций петербургских музеев. С 1910 по 1923 заведовал историческим архивом Археологического института.

Он был одним из учеников Н. Я. Марра как историк (некоторое время был секретарём Марра) и в дальнейшем стал его главным официальным преемником как лингвист и теоретик «Нового учения о языке», а в условиях государственной поддержки марризма — как фактический глава советской лингвистики.

С 1930 года профессор Института живых восточных языков.

В 1932 Мещанинов был избран академиком АН СССР за исторические работы (минуя стадию члена-корреспондента; избрание в АН его, а годом раньше слависта-марриста Н. С. Державина обычно связывают с усилением официальных позиций Марра в начале 1930-х годов). В 1934 он стал секретарём Отделения литературы и языка АН СССР.

В 1933—1937 годах директор Института антропологии, археологии и этнографии АН СССР. После смерти Н. Я. Марра в 1935—1950 годах директор Института языка и мышления АН СССР имени Марра (ныне его преемники — петербургский Институт лингвистических исследований РАН и московский Институт языкознания РАН). С заступничеством Мещанинова многие современники связывали то, что возглавляемый им институт, по сравнению с другими научными учреждениями, мало пострадал от репрессий 1937—1938 гг. В 1945 Мещанинов в ряду 11 других академиков (от Петра Капицы до Трофима Лысенко) получил Золотую звезду Героя Соцтруда (в соответствии с духом времени причиной награждения было указано изучение морфологии и синтаксиса «великого русского языка», хотя русским языком Мещанинов никогда специально не занимался), а в 1943 и 1946 — две Сталинские премии. Кроме того, он имел орден Трудового Красного Знамени и ещё один орден Ленина, помимо автоматически вручаемого вместе со званием Героя.

Мещанинов не имел лингвистического образования (как, впрочем, и исторического), и основные языковедческие труды написал, уже будучи академиком. Ранние работы («Введение в яфетидологию» и другие) представляют собой совершенно некритичное изложение «Нового учения о языке», хотя и гораздо более ясное, чем в собственных писаниях Марра. Однако в дальнейшем, по мере сосредоточения его деятельности на лингвистике (и особенно после смерти Марра), научная добросовестность мешала ему разрабатывать и пропагандировать откровенно фантастические положения «Нового учения»; он стремился примирить его идеи «стадий» развития языка, «яфетических языков» с реальным сравнительно-историческим и типологическим материалом. Мещанинов — один из пионеров типологии в России. Не выдерживающие критики положения марризма (такие, как учение о «четырёх элементах» и «палеонтологический анализ» с целью их обнаружить) им были отброшены, а идеологически-философские декларации использовались лишь в «ритуальных» целях (в отличие от Марра и его сподвижников, задававших тон в начале 1930-х годов, Мещанинов не подменял научную дискуссию политическими обвинениями). Часто он объявлял о «неразработанности» тех или иных положений у Марра, после чего фактически становился на традиционную точку зрения. В его работах второй половины 1940-х годов ссылок на Марра вне предисловий уже почти нет.

Мещанинову принадлежит теория соотношения частей речи с членами предложения, работы по инкорпорирующим языкам, идея т. н. «понятийных категорий», лежащих в основе языковых (подобный аппарат предлагался, ранее Мещанинова, ещё О. Есперсеном). Специально занимался древними мёртвыми языками (в частности, наряду с И. Фридрихом, внёс существенный вклад в дешифровку урартского языка).

Во время нового агрессивного наступления марризма 1948—1949 г., организованного Ф. П. Филиным и Г. П. Сердюченко, Мещанинов стал одним из объектов критики (за чрезмерное увлечение синтаксисом). Стремясь отвести от себя обвинения, он подтвердил, что «у буржуазных учёных нам брать нечего» (борьба с космополитизмом), признал некоторые свои «ошибки» и на словах занял более близкие к ортодоксальному марризму позиции; впрочем, до политических обвинений по адресу советских коллег он не опускался (этим занимались, как и полтора десятилетия назад, сами Филин и Сердюченко).

Разгром Сталиным марризма в 1950 привёл к тому, что Мещанинов лишился директорства в Институте языка и мышления и перестал быть секретарём ОЛЯ АН СССР. Тем не менее он продолжал работать, не был лишён ни звания академика, ни премий, ни орденов. В работе «Марксизм и вопросы языкознания» Сталин заявил: «Если бы я не был убежден в честности тов. Мещанинова и других деятелей языкознания, я бы сказал, что подобное поведение [переиздание и рекомендация неоконченного „Бакинского курса“ Марра] равносильно вредительству». Эти слова, возможно, стали для Мещанинова и его коллег «охранной грамотой».

После смерти Сталина Мещанинов вернул себе место в лингвистическом истеблишменте (хотя с самой первой позиции был уже бесповоротно потеснён В. В. Виноградовым); его труды неоднократно переиздавались.

Похоронен на Серафимовском кладбище.