De ascendencia francesa, Brest fue uno de los más influyentes y activos críticos de arte latinoamericanos. Estudió durante dos años en la Escuela Nacional antes de ingresar a la Escuela Normal de Buenos Aires para seguir el profesorado de educación física. Entre 1926 y 1933 realizó estudios de derecho y, hacia el final de la década de 1920 y todavía interesado en los deportes, escribió artículos para la Revista de Educación Física, dirigida por su padre, abordando los aspectos estéticos de las actividades deportivas. En 1929 participó en la fundación del Cine Club de Buenos Aires, donde realizó sus primeras conferencias sobre “El elemento ritmo en el cine y en el deporte” y sobre el filme Jeanne D’Arc, de Carl Dreyer. Entre 1930 y 1931 fundó, con el historiador José Luis Romero, entre otros, la revista de cultura Clave de Sol. En esos años se interesó por las artes en general y luego de la Revolución de 1930, por la política.
En 1933 viajó por primera vez a Europa, donde tomó contacto con el arte moderno. A partir de 1934 se dedicó al estudio del arte, bajo la influencia de las ideas del filósofo Ortega y Gasset y de los historiadores del arte Elie Faure, André Michel y Bernard Berenson. Se dedicó a la investigación del arte bizantino y el arte de los cementerios cristianos de Roma. En 1937 publicó su primer ensayo crítico, El problema del arte y el artista contemporáneos: bases para su dilucidación, influenciado por sus lecturas del marxismo. Luego de fundar y dirigir la Revista de Pediología, en 1939 obtuvo el cargo de profesor en el Colegio Nacional de la Universidad de La Plata y, más tarde, en la Escuela Superior de Bellas Artes de esa misma universidad.
Entre 1939 y 1940 Brest inició su trabajo como crítico en el diario La Vanguardia, e inmediatamente también en el periódico Argentina Libre, posteriormente cerrado por el gobierno de la Revolución de 1943. En 1941 creó la Cátedra de Orientación e Investigación Artísticas en el Colegio Libre de Estudios Superiores e inició un curso de Historia de la Arquitectura, las Artes Plásticas y Aplicadas (1942), en el cual se basó para publicar su Historia de las artes plásticas (entre 1945 y 1958). Antiperonista, en 1945 ingresó al Partido Socialista, y al año siguiente se contó entre los fundadores de la Escuela Altamira.
Una vez que sus cursos en la Universidad de La Plata fueron clausurados por el gobierno, comenzó a dictar, en 1947, seminarios privados de estética e historia del arte. A continuación comenzó a dictar Historia del Arte en la Universidad de la República, de Montevideo. Entre 1946 y 1952 codirigió la Editorial Argos, y entre 1948 y 1955 la importante revista Ver y Estimar, eje del paradigma modernista en América Latina. En 1951, de regreso de un viaje a Europa, concluyó la escritura de uno de sus libros más célebres, La pintura europea contemporánea (1900-1950). En 1956 fue nombrado profesor titular de Estética en la Facultad de Filosofía y Letras de Buenos Aires, y de Historia del Arte en la Facultad de Humanidades y Ciencias de la Educación de La Plata, cargos a los que renunció en 1961. En el año 1958 se convirtió en el director del Museo Nacional de Bellas Artes de Buenos Aires.
Hacia el final de la década de 1950, otras influencias impregnaron el pensamiento del crítico, en especial el existencialismo y el psicoanálisis, tras “una curiosa experiencia de Dios”. En 1963, después de presentar su renuncia al cargo de director del museo, pasó a dirigir el Centro de Artes Visuales del Instituto Torcuato Di Tella, núcleo de arte contemporáneo argentino. En 1969 publicó El arte en la Argentina.Últimas décadas. Dio clases y conferencias en diversos países del mundo, y participó como jurado en importantes premios internacionales (entre otros: Prisionero Político Desconocido, 1953; Bienal de São Paulo, en 1951, 1953 y 1961; Bienal de Venecia, 1962; Bienal de París, 1965; Bienal de Tokio, 1966).
Brest fue en tres ocasiones vicepresidente de la Asociación Internacional de Críticos de Arte. Publicó centenas de libros y artículos sobre arte latinoamericano, europeo y norteamericano (en revistas como Art in America, Mirador, Primera Plana, Plural y Crisis), además de ofrecer más de mil conferencias en los países de América Latina.
Sus relaciones con la crítica latinoamericana crearon una red de intercambio con personalidades de las artes tales como Mathias Goeritz, de México, Mário Pedrosa y Sérgio Milliet, de Brasil; Fernando García Esteban, de Uruguay; Antonio F. Romera, de Chile; y Juan Acha, de Perú; además de discípulos como Marta Traba, de Colombia. Sus escritos han sido publicados en varios volúmenes por el Archivo Jorge Romero Brest del Instituto de Teoría e Historia del Arte Julio E. Payró, Facultad de Filosofía y Letras, Universidad de Buenos Aires (UBA). En 2005 fue publicado el libro Arte de posguerra. Jorge Romero Brest y la revista “Ver y Estimar”, compilado por Andrea Giunta (entre otros), que reunió textos de diversos autores.