Родился в семье профессора химии А. Н. Реформатского. Его дядя С. Н. Реформатский тоже был известным химиком.
В 1918 окончил гимназию А. Е. Флёрова и поступил в Московский университет. В 1920 оставил университет и поступил в Театральную школу РСФСР № 1 при театре Мейерхольда, но вскоре вернулся в университет. Учился у Д. Н. Ушакова, занимался в литературоведческом семинаре М. А. Петровского. Окончил университет в 1923, учился в аспирантуре РАНИОН, но ушёл оттуда в 1925.
Работал инструктором в трудколонии, рентгенотехником, корректором и техническим редактором в издательствах; с 1931 старший научный сотрудник НИИ ОГИЗ. С 1934 преподавал в Московском городском пединституте, был завкафедрой русского языка в Литературном институте, в 1954—1959 работал в МГУ, где создал Лабораторию экспериментальной фонетики. С 1950 г. — в Институте языкознания АН СССР, заведующий сектором структурной и прикладной лингвистики (1958—1970), где под его руководством работали И. А. Мельчук, Р. М. Фрумкина, В. А. Виноградов и другие известные лингвисты. В 1971 был отстранён от руководства сектором, оставшись консультантом.
Ранние работы по теории литературы отмечены влиянием взглядов ОПОЯЗа, к представителям которого А. А. Реформатский был близок. В монографии «Техническая редакция книги» (1933), содержание которой гораздо шире названия, высказаны во многом новаторские взгляды на семиотику печатного текста. С середины 1930-х гг. много занимается фонологией; один из основателей Московской фонологической школы и активный пропагандист её концепции. Наиболее полно фонологические взгляды А. А. Реформатского изложены в изданной им хрестоматии «Из истории отечественной фонологии» (1970) и в сборнике с характерным для его научного стиля названием «Фонологические этюды» (1975).
Научное наследие А. А. Реформатского разнообразно, но сравнительно невелико, он принадлежал к тому типу исследователей, которым высказать идею было интереснее, чем подробно разрабатывать её. Широко известен учебник Реформатского, выходивший под названиями «Введение в языкознание» и «Введение в языковедение», впервые опубликованный в 1947 и позднее дополнявшийся автором (4-е, последнее прижизненное издание — 1967). До сих пор эта книга, на которой выросло несколько поколений студентов-филологов, представляет собой лучший вузовский учебник лингвистики. Именно поэтому в истории российской лингвистики он остался прежде всего как автор этого живо написанного и многократно переиздававшегося учебника (особенно популярного у нелингвистов) и как яркая личность, темпераментный полемист, создатель особой творческой атмосферы, в которой сформировалось множество прямых и косвенных учеников А. А. Реформатского. Личность А. А. Реформатского отражена в многочисленных мемуарах его учеников и коллег и его жены Н.И.Ильиной.
Основные статьи А.А.Реформатского собраны в посмертном сборнике: А.А.Реформатский. Лингвистика и поэтика. М., 1987.