Aunque Braunau fue la localidad natal del futuro führer, nada podría recordar de ella, ya que, cuando él contaba con tres años, su padre fue ascendido al cargo de recaudador superior de aduanas y la familia se trasladó a Passau, río Inn abajo, en el lado alemán de la frontera. Este sería el primero de una serie de sucesivos cambios de residencia que habrían de marcar su infancia, pero su estancia en Passau le dejaría una huella duradera. Vivir en una ciudad alemana y jugar con niños alemanes le proporcionaría una primera experiencia como alemán que luego trataría de revivir estableciéndose en Múnich. Además, allí aprendería el dialecto característico de la Baja Baviera, que sería siempre su lengua.
En abril de 1894, Alois fue destinado a Linz, pero Klara se quedó con los niños en Passau, quizás a causa del recién nacido Edmund. Ese año fue muy feliz para Adolf; aliviado por la ausencia de su padre, pudo dedicar su tiempo a lo que más le gustaba, jugar con otros niños a indios y vaqueros. Además, también debió verse libre de la vigilancia constante de la madre al tener esta que estar pendiente del bebé. No obstante, en ese tiempo, Adolf comenzó a recurrir a rabietas si no conseguía salirse con la suya. La separación familiar duraría un año.
En febrero de 1895, Alois compró una pequeña granja en la aldea de Hafeld, una comunidad rural distante cuarenta kilómetros de Linz. Dos meses después se reunió allí toda la familia. Durante los dos años que vivieron en Hafeld, Adolf acudió junto a su medio hermana Angela a la escuela de Fischlam, situada a una hora de camino, un trayecto considerable para un niño de apenas seis años. El pequeño Adolf estaba bien considerado en la escuela. Su maestro le recordaría años después como un chico «de mente muy despierta, obediente pero vivaz» y que mantenía, al igual que su hermana, «el contenido de su cartera escolar en un orden ejemplar».
Según explicaría en Mein Kampf, «fue en esa época cuando los primeros ideales nacieron en mi pecho. Mis juegos al aire libre, las largas caminatas hasta la escuela y sobre todo mi trato con muchachos extremadamente robustos, que a veces angustiaba profundamente a mi madre, me convirtieron en algo totalmente opuesto a una persona casera o cobarde».
Adolf consiguió notas altas en la escuela de Fischlam, a pesar de que la tensión en el hogar era creciente, puesto que Alois se había jubilado y pasaba más tiempo que antes en casa. El nacimiento de su hermana Paula en 1896 agravó el deteriorado clima familiar; además del matrimonio, la hermana de Klara y la criada, en la casa había cinco niños, entre ellos un adolescente y un bebé. Alois debió sentirse agobiado porque empezó a beber más de lo normal y a mostrarse aún más irritable.
Alois hijo no soportó más la situación y, con catorce años, se marchó de casa; años después se quejaría amargamente de que con frecuencia su padre los golpeaba «sin piedad con una fusta». En una ocasión, después de que su hijo faltase a clase, Alois le apretó contra un árbol cogiéndole por la nuca hasta que perdió el conocimiento. Nadie escapaba a su régimen de terror; según Alois hijo, su padre «a menudo vapuleaba al perro hasta que el animal se encogía temblando y se orinaba en el suelo». La marcha de Alois hijo dejaría a Adolf en primera línea ante los estallidos de ira de su padre. A partir de entonces, él sería el único receptor de sus palizas.
El retrato que haría Alois hijo de su medio hermano en una fecha tan tardía como 1948, en una entrevista, dejaba traslucir todavía resentimiento por el favoritismo de su madrastra por Adolf: «Ella siempre se ponía de su parte. A él se le ocurrían las ideas más descabelladas, pero siempre se salía con la suya. Si no conseguía lo que quería se ponía furioso». Según Alois hijo, Adolf «tenía un carácter imperioso e irritable, no escuchaba a nadie. No tenía amigos, no simpatizaba con nadie y podía ser muy despiadado. Sufría ataques de rabia por trivialidades». No obstante, este duro perfil descrito por Alois hijo hay que tomarlo con reservas; hay que tener presente que sus expectativas personales y las de su hijo William Patrick ante el ascenso al poder de su medio hermano no se vieron cumplidas, lo que hace pensar que esas palabras fueron pronunciadas desde un posible resentimiento. Los otros testimonios de la época apuntan ese carácter irritable del pequeño Adolf, pero aseguran que no tenía dificultad para hacer amigos, sino al contrario, y no describen ningún episodio del que se deduzca que fuera despiadado. En suma, todo apunta a que, en esa época, la evolución de Adolf correspondía a la de cualquier chiquillo de su edad.
En 1897, Alois vendió la casa de Hafeld y la familia se trasladó al pueblecito de Lambach, alojándose en una fonda, frente al monasterio benedictino que hay en esta localidad. Las notas de Adolf en la escuela de Lambach serían aún mejores que las cosechadas en Fischlam. En un trimestre llegaría a obtener doce sobresalientes. Adolf, que poseía buena voz, acudía también al monasterio a tomar lecciones de canto; fascinado ante el esplendor eclesiástico, llegaría a expresar su deseo de convertirse en sacerdote. Incluso gustaba de jugar a cantar misa, colocándose el delantal de la criada a modo de casulla y pronunciando largos y fervientes sermones. Tal vez esa embriaguez por el «esplendor solemne de las brillantes festividades de la iglesia» le llevaría en el futuro a intentar trasladar esa parafernalia religiosa a las celebraciones del Tercer Reich. Curiosamente, en el camino debía pasar junto a un arco de piedra en el que estaba esculpido el escudo de armas del monasterio, cuyo elemento más destacado era una esvástica, el que años después se convertiría en el símbolo de su movimiento.
Al año siguiente, la familia se trasladó a una casa contigua a un molino. Por entonces, Adolf seguía creciendo como cualquier otro niño. Sus vecinos lo recordarían como «un pilluelo» que solía protagonizar travesuras, apareciendo «allí donde algo sucedía» y regresando a casa con los pantalones desgarrados y magullado por sus aventuras infantiles.
Aunque es de suponer que su padre se esforzaba por inculcarle conceptos como seguridad, permanencia o estabilidad, inherentes al trabajo funcionarial al que pretendía atraerle, la verdad es que el pequeño Adolf no disfrutó de ninguno de ellos. Alois Hitler sometía a su familia a continuos cambios, no siempre forzados, por motivos de trabajo. Como vemos, las mudanzas eran algo habitual, de una localidad a otra y, como en el caso de Lambach, dentro de la misma población. A consecuencia de todo ello, a lo largo de diez años Hitler asistió a cinco escuelas diferentes, lo que por fuerza tuvo que influir negativamente en la formación de su personalidad.