1895年3月，弟弟阿尔贝特在罗森海姆出生。
1896年，父亲辞去政府职务，举家移居柏林。在家里，姐姐们娇惯赫尔曼，父亲则把他当成了掌上明珠。赫尔曼和父亲之间的年龄相差64岁，父亲的年龄足以当自己的祖父。对这位老绅士，他更多的是尊敬。
赫尔曼在成长的过程中注意到了一些小孩子无法理解的事情。在非洲，戈林博士和赫尔曼·冯·埃普施泰因医生交了朋友，范妮第一次分娩时是他接生的。埃普施泰因腰缠万贯，头衔、名望和性爱都是他的囊中之物。他作了戈林所有子女的教父。赫尔曼·戈林后来贪财如命，蔑视道德，与他的这位教父的不良影响不无关系。
埃普施泰因医生在纽伦堡附近乡村弗兰科尼亚有一个城堡，叫费尔登施泰因城堡。该城堡离城15英里，城墙高耸杂乱，有900年的历史，虽几经修建，但到了19世纪便开始破败。1897年11月29日，埃普施泰因以2万马克买下了它，在此后的40年里，直到1938年圣诞之夜正式立契转让给赫尔曼· 戈林元帅为止，埃普施泰因医生在维修和重建城堡主楼、屋梁和其它工程上倾注了150万马克。这座城堡给戈林的童年生活提供了浪漫游戏的处所。毫无疑问，埃普施泰因之所以免费让戈林一家享用，是出于对老戈林的感激之情，他的年轻妻子已相当公开地做了这位医生的情妇，这种三角关系持续了15年。