Graduado pela Escola Nacional de Belas-Artes (ENBA) do Rio de Janeiro (1924), foi um desenhista bem-sucedido no estilo neocolonial, sob a tutela de José Mariano Filho. Em 1929, não assistiu às conferências de Le Corbusier nem se interessou pelas obras do Movimento Modernista durante sua viagem à Europa em 1926. No entanto, em 1929, conheceu a Casa Modernista em São Paulo, de Gregory Warchavchik, que produziu sua conversão total aos códigos assumidos do racionalismo europeu. Relacionado com a intelectualidade progressista que respaldou a Revolução de Getúlio Vargas – Rodrigo Mello Franco de Andrade, Carlos Drummond de Andrade e Manuel Bandeira –, foi nomeado diretor da ENBA em 1930, transformando a educação acadêmica pela nova metodologia de desenho assumida de Bauhaus. Além disso, organizou o Salão Revolucionário de Pintura, em 1931, onde os jovens da vanguarda artística brasileira puderam expor livremente. A reação conservadora conseguiu destituí-lo do cargo e o arquiteto passou a dedicar-se à realização de projetos teóricos, em um período de escasso trabalho. Foi convidado a colaborar na Universidade do Distrito Federal, no Rio de Janeiro – passagem de curta duração devido à sua orientação esquerdista –, e escreveu o ensaio Razões da nova arquitetura, documento programático do Movimento Modernista brasileiro.
Em 1936, o ministro da Educação e Saúde Pública, Gustavo Capanema, anulou o concurso para a construção da sede do ministério e encarregou Costa de realizar o projeto. O arquiteto convidou seus jovens colegas para integrar a equipe de trabalho: Oscar Niemeyer, Carlos Leão, Ernani Vasconcellos, Affonso Reidy, Jorge Machado Moreira e Burle Marx. Inconformado com o desenho realizado, convidou Le Corbusier para colaborar com a equipe. Dessa interação e com a iniciativa de Niemeyer, surgiu uma obra-prima, que se concretizou em 1945, constituindo um modelo universal do moderno edifício de escritórios.
Com a criação do Serviço do Patrimônio Histórico e Artístico Nacional, em 1937, Costa integrou-se a ele como funcionário, até sua jubilação em 1972, dedicado à defesa do patrimônio colonial. Ali desenhou o delicado Museu das Missões Jesuíticas, do Rio Grande do Sul. Em 1939, obteve o primeiro prêmio para a realização do Pavilhão do Brasil na Feira Mundial de Nova York, mas com sua proverbial modéstia e generosidade convidou Oscar Niemeyer – que havia obtido o segundo prêmio – para elaborar um novo projeto. Concretizou-se, então, um dos principais exemplos da modernidade brasileira. Sua visão dialética sobre os conteúdos da cultura nacional o levou a buscar um equilíbrio entre o velho e o novo e entre as concepções formais e espaciais modernas e os materiais tradicionais.
Nessa linha desenhou o Parque Hotel São Clemente, de Nova Friburgo (1944), e o paradigmático conjunto habitacional do Parque Guinle, no Rio de Janeiro (1948-1952), uma de suas realizações mais efetivas. Em 1956, com alguns desenhos esquemáticos realizados à mão, obteve o primeiro prêmio no concurso para o desenho da nova capital, Brasília, encarregando-se, juntamente com Niemeyer, da rápida execução do plano. A metáfora da cruz e do aeroplano em seu traçado nacionalizou os postulados urbanísticos da Carta de Atenas. Em 1969, elaborou o plano diretor da Barra da Tijuca, imaginando a aplicação dos princípios de Brasília no Rio de Janeiro, mas sua proposta foi totalmente distorcida, devido à voracidade da especulação imobiliária.