Tiempo habría para verse las caras con los polacos; lo que centraba ahora la mirada de Hitler en política exterior era Austria. La incorporación de Austria a la Gran Alemania ocupaba un lugar destacado tanto en el programa del partido de 1920 como en Mein Kampf. Para conseguirlo, Hitler contaba con los nazis austriacos, que conformaban una sección del partido alemán, y su papel desestabilizador en el país vecino. Por entonces, Austria se hallaba bajo un régimen autoritario con el canciller Engelbert Dollfuss al frente, que contaba con el apoyo de Italia.
El 25 de julio de 1934, los nazis austriacos, apoyados con dinero y agentes alemanes y alentados a la acción desde Berlín, pusieron en marcha un plan en Viena para tomar el Ministerio del Interior, la emisora de radio y la Cancillería. Pero el plan fue descubierto y la mayoría de conspiradores fueron detenidos; aun así, un grupo de golpistas pudo asaltar la Cancillería, en donde mataron a tiros a Dollfuss. No obstante, el golpe fue rápidamente sofocado y los nazis que no fueron capturados tuvieron que escapar a Alemania.
Esta acción se había revelado como un grave error, ya que además del fracaso cosechado, Italia se había sentido agredida. El Duce puso en estado de alerta a las tropas del norte de Italia y reafirmó el apoyo de su país a una Austria independiente. Hitler, consciente de la equivocación que acababa de cometer, repudió toda relación con el complot. Además de entregar a los conspiradores refugiados en Alemania, Hitler nombró embajador alemán en Viena al entonces vicecanciller Von Papen, católico y conservador, en una decisión tomada para contentar a los austriacos. La crisis quedaba así superada, pero las apetencias de Hitler sobre su país natal apenas habían quedado aplazadas.
Hitler continuaría manifestando teatralmente la inocencia de sus intenciones, con un intenso trabajo diplomático. En respuesta, los gobiernos de Londres y París renovaron sus esfuerzos para lograr un entendimiento con el líder germano, permitiendo la reincorporación del Sarre a Alemania. El Tratado de Versalles había determinado que esa extensa comarca carbonífera, situada junto a la frontera francesa, quedase administrada por la Sociedad de Naciones y que toda su producción fuera confiscada por Francia en concepto de reparación de guerra. Así, en enero de 1935, se pudo celebrar un referéndum donde la práctica totalidad de los votantes se inclinaron a favor de la reincorporación al Reich alemán. La recuperación del control del Sarre sería el primer éxito de la política territorial de Hitler en su camino hacia la formación de la Gran Alemania, un éxito que la propaganda nazi se encargaría de explotar con carteles, actos de celebración y emisión de monedas conmemorativas.
Hitler, pasando revista a las SA en las calles de Núremberg, durante el congreso del partido nazi de 1935.
La siguiente jugada de Hitler en el ajedrez diplomático se produjo el 10 de marzo, cuando anunció que la Luftwaffe se había convertido en una rama oficial de las fuerzas armadas. La débil réplica de británicos y franceses animó a Hitler a elevar la apuesta; el 15 de marzo anunció la reimplantación del servicio militar obligatorio, elevando los efectivos del ejército en tiempo de paz a 300.000 hombres, lo que suponía una violación flagrante del Tratado de Versalles. Con gran astucia, Hitler había escogido un sábado para hacer público el anuncio, con el fin de dificultar la respuesta diplomática de las otras potencias, una táctica a la que se abonaría a partir de entonces.
Británicos y franceses quedaron desconcertados por la presentación de ese hecho consumado, sin contactos o discusiones previas. En los días siguientes, Francia apenas respondió con un inofensivo llamamiento a la Sociedad de Naciones, mientras que Gran Bretaña se esforzó por seguir manteniendo las relaciones con Alemania en un clima de cordialidad. Hitler había logrado una nueva victoria, pero ya se aprestaba a alcanzar un nuevo objetivo: acordar con el gobierno de Londres que Alemania pudiera disponer de una flota de guerra limitada al 35 por 100 de la británica. Por entonces, la opinión pública británica consideraba razonables las reivindicaciones germanas, lo que permitió la firma de ese acuerdo el 6 de junio de 1935. No obstante, los franceses quedaron atónitos ante el pacto, que les resultaba perjudicial al poseer una flota inferior a la británica. Al mismo tiempo, Alemania alcanzaba un acuerdo con los soviéticos que le iba a permitir ganar tiempo para poder rearmarse. Hitler, convertido en hábil tahúr, había jugado nuevamente sus cartas de manera magistral.