В мае 1931 года конструктор назначается заместителем Павла Сухого в бригаду №3 ЦКБ-ЦАГИ. Здесь уже велась разработка цельнометаллического истребителя-моноплана И-14, имеющего традиционную для ЦАГИ гофрированную обшивку крыльев и хвостового оперения. Поликарпов со своим взглядом на видение проблемы инициативно разрабатывает альтернативный бипланный вариант И-14.
Сумев заинтересовать проектом командующего ВВС Якова Алксниса, Поликарпов получает под свое начало бригаду конструкторов, с которой детально разрабатывает этот биплан.
Впоследствии этот самолет стал известен, как истребитель И-15. Тогда же, в течение 1932 года, появляются первые наброски будущего И-16.
В январе 1933 года происходит долгожданное разделение ЦАГИ и ЦКБ, базирующегося на территории московского авиационного завода №39. В новом ЦКБ Николай Поликарпов становится начальником конструкторской бригады №2, специализирующейся на истребителях. Наряду с разработкой И-15, уже включенного в план строительства, он инициативно продолжает проектирование моноплана И-16. В мае 1933 года ВВС проявляют интерес к проектируемому самолету и выдают Поликарпову на него задание, не включая однако при этом в план. Так, нелегально, вступает в большую жизнь будущая знаменитость. Уже к лету 1933 года самолет, получивший рабочее обозначение ЦКБ-12, обретает реальные черты. Низкоплан с веретенообразным фюзеляжем, закрытым фонарем кабины и убираемым шасси был представлен в двух вариантах капотирования двигателя: с кольцом Тау-ненда и капотом NACA. Аэродинамические продувки показали преимущества второго варианта — на нем и остановились.

С июня 1933 года разработка ЦКБ-12 ведется полным ходом. Военные внимательно следят за созданием самолета — осмотр деревянного макета ЦКБ-12 в ноябре окончательно убеждает их в правильности выбора. Делается вывод, что проектируемый истребитель полностью соответствует предъявленным к нему требованиям — особенно по части максимальной скорости. Уже 22 ноября 1933 года Совет Труда и Обороны СССР (СТО) принимает решение о запуске И-16 в серийное производство.
Тем временем, конструктор самолета добивается получения одного двигателя «Райт-Циклон» Ф-2 (невысотный вариант) и принимает решение строить второй опытный экземпляр ЦКБ-12 с этим двигателем. К концу 1933 года оба варианта были готовы. Внешне самолеты не имели отличий — оба лобастые толстячки с капотами NACA.
На ЦКБ-12 с американским двигателем стоял однако трехлопастный воздушный винт «Гамильтон Стандарт». Так как русская зима была в разгаре, машины были установлены на неубираемые лыжи. Хотя это «аэродинамическое безобразие» и не позволяло постичь все достоинства ЦКБ-12, однако давало возможность начать испытательные полеты незамедлительно. 30 декабря 1933 года летчик-испытатель авиазавода №39 Валерий Чкалов впервые поднял в воздух ЦКБ-12 с двигателем М-22. После новогодних праздников состоялся дебют и второй машины. Чкалов считал новый самолет сложным в пилотировании, управлять им было трудно и непривычно. Весь январь шла доводка самолетов, в этот период были проведены основные заводские испытания. Уже в феврале 1934 года обе опытные машины были подготовлены для первого этапа Государственных испытаний. Целью их было получение основных летных характеристик и окончательное решение о запуске в серийное производство. На самолете с двигателем М-22 16 февраля начал летать летчик-испытатель Коккинаки, машину с «Райт-Циклоном» в тот же день опробовал другой испытатель НИИ — Степанчонок. Летали на лыжах. Погода в том феврале не баловала испытателей — постоянная низкая облачность, полеты по этой причине частенько откладывались. Но все-таки основные выводы были сделаны, и 25-27 февраля машины сдали на завод для устранения недостатков и подготовки к более тщательным испытаниям на колесном шасси.