Работы по созданию самолета были начаты в 1969 г. в ответ на разработку в США истребителя завоевания господства в воздухе 4-го поколения ТFХ (Макдоннелл-Дуглас F-15). Анализ опыта боевого применения истребителей 2-го и 3-го поколений — МиГ-21,F-4, F-5, «Мираж»III и других — привел советских военных аналитиков и авиастроителей к выводу о том, что истребитель 4-го поколения должен быть специализированным, максимально приспособленным для ведения воздушного боя. Осенъю 1969 г. небольшая группа специалистов ОКБ П.О. Сухого приступила к формированию облика нового истребителя, впоследствии вошедшего в историю мирового авиастроения как Су-27. Первый чертеж общего вида самолета был разработан в начале 1971 г.

«Идеология» новой машины предполагала интеграцию крыла и фюзеляжа, плавно переходивших друг в друга и образующих единый несущий корпус. Самолет имел двухкилевое вертикальное оперение и два двигателя, размещенных в раздельных мотогондолах. Несмотря на возражения ряда специалистов ЦАГИ, рекомендовавших аэродинамическую компоновку, реализованную в последствии в проекте самолета МиГ-29, была избрана компоновка с оживальным крылом, имеющим переменную стреловидносгь по передней кромке и неболъшой корневой наплыв. Механизация передней кромки отсутствовала.
Кроме ОКБ П.О. Сухого, инициативные разработки самолетов 4-го поколения вели и другие конструкторские коллективы. В1971 г. ВВС был объявлен конкурс проектов перспективного тяжелого истребителя, в котором, кроме фирмы «Су», приняли участие ОКБ А.И. Микояна и А.С. Яковлева. ОКБ П.О. Сухого представило два альтернативных варианта нового истребителя: один имел описанную выше интегральную аэродинамическую компоновку, другой был выполнен более традиционно, с обособленными крылом и фюзеляжем, к которому «прижималисъ» боковые воздухозаборники с горизонталъной поверхностью торможения. Другие «фирмы» также выставили на конкурс по два алътернативных проекта.
В 1972 г. было решено отдать предпочтение «интегральному» проекту ОКБ П.О. Сухого. К 1974 г. с участием специалистов ЦАГИ бьла окончателъно сформирована аэродинамическая и конструкторскосиловая схемы самолета, а в 1975 г. начался выпуск рабочих чертежей. Общее руководство программой осуществлял П.О. Сухой, главным конструктором истребителя являлся А. Кнышев.