Nasceu em Markneukirchen, na Alemanha, a 26 de junho de 1896. Cursou Filosofia e Estudos Alemães na Universidade de Halle-Wittenberg, pela qual se doutorou em 1921. Colocado como professor na cidade de Altenburg, aí criou raízes. Casou-se, teve um filho, foi escrevendo e, em 1928, publicou anonimamente um romance, Schlump, inspirado na sua participação na Grande Guerra de 1914-18. Em 1933, com os nazis no poder, Schlump foi queimado e proibido, e Grimm escondeu o livro no interior de uma parede da sua casa; tinha medo de ser descoberto, preso e perseguido. A mulher aconselhou-o a fugir. Porém, ele quis permanecer em Altenburg e dar as suas aulas enquanto fosse possível. Inscreveu-se no partido nazi, o NSDAP, para poder viver em segurança. Com o início da Segunda Guerra Mundial, Grimm foi outra vez alistado e serviu como intérprete na frente ocidental. De regresso a casa, defrontou-se com um novo sistema político. Por ter sido membro do NSDAP, não lhe permitiram voltar ao ensino, mas conseguiu trabalhar em teatro, como encenador. Ao fim de um ano e meio, também isso lhe tiraram, e viu-se obrigado a trabalhar num areeiro para sobreviver. No verão de 1950, as autoridades da recém-fundada República Democrática Alemã convocaram-no para se apresentar em Weimar. Hans Herbert Grimm não partilhou com ninguém a conversa que tiveram com ele. A 5 de julho desse ano, regressou à casa de família, em Altenburg e, dois dias mais tarde, quando a mulher saiu para ir às compras, pôs termo à vida.