Loos estudio en la Staatsgewerbeschule de Reichenberg antes de iniciar en 1890 sus estudios en la Technische Hochschule de Dresden. Estuvo luego 3 años en EE.UU. donde visito la Exposición Universal de Chicago y vivió de eventuales trabajos de albañil, entarimador y dibujante. En 1896 regreso para establecerse en Viena.
En sus comienzos fue conocido como escritor, publicando especialmente en la Neue Freie Presse de Viena en donde repetidas veces se rebeló contra la ornamentación sobrepuesta y decorativa, considerándola inútil. La defensa radical de sus tesis y el polémico artículo Die Potemkinsche Stadt lo llevaron a romper con los principales arquitectos de la Wiener Secession, Josef Hoffmann y Josef Maria Olbrich, con los que tuvo una radical diferencia, otorgándoles la responsabilidad de haber levantado un “muro” contra el desarrollo de occidente. Sus primeros éxitos vinieron con la reforma del Café Museum, y con la decoración rigurosamente elegante de la sastrería Knize.
En 1907 le dieron el proyecto del Karntner Bar, un pequeño establecimiento ampliado mediante espejos y cuya espectacular fachada, cuatro pilares de mármol sobre los que se suspendía un techo inclinado con la bandera estrellada hecha de cristales de colores, revelaba su condición de American Bar, símbolo de su intención de introducir la cultura occidental en Austria, que explícito en el número de Das Leben (La Vida) de Enero de 1904. En 1908 publico su famoso escrito “Ornamento y Delito” en el que defiende las formas bellas y útiles, demostrando lo que había querido decir en la casa de Michaelerplatz (1909-11) con la parte baja comercial recubierta de mármol Cipollino y la parte de vivienda simplemente encalada y con ventanas sin marcos. En 1928 diseño una casa en esquina para Josephine Baker, recubierta de tiras de mármol negro y blanco pero no llego a construirse. Entre las últimas obras más importantes de Loos están la Casa Moller de Viena (1927-28) y la casa Muller de Praga (1930), realizadas una vez más a partir de la tensión entre materiales nobles y formas severas. En estas también experimento el concepto de Raumplan, la ubicación y diseño de la escalera juega un papel fundamental en la articulación espacial de la casa. Las habitaciones se suceden en una percepción secuencial del espacio y siempre hábilmente referenciado al núcleo central, la escalera como en tantos otros arquitectos modernos es objeto de rigurosa manipulación proyectual.