Původně zde stával Postlerův mlýn, několik horských chalup (celkem asi 9); a hájovna, které jako horská osada Dolní šerlich patřily k Sedloňovu. Kolem roku 1902 byl mlýn přestavěn bratry Fuknerovými z Trutnova na výletní hostinec, při němž se na pile vyráběl šindel.
Budova několikrát vyhořela. V letech 1924-25 byl na pile Šerlišského mlýna připravován materiál pro stavbu Masarykovy chaty na Šerlichu. V letech 1929-30 byl hostinec přestavěn na horskou chatu Šerlišský mlýn a zvýšen o patro. Tato budova sloužila ve 2. světové válce jako rekreační středisko žen prominentních osob wehrmachtu, snad zde i pobývala i rodina generále von Pauluse.
Pokud jste navštívili v Orlických horách Šerlišský Mlýn, víte, že to je klidné místo. Ale jaký klid tu býval před více jak sto lety, to si snad ani nedovedeme představit. Turisté sem však pronikli už koncem 19. století při cestách na hlavní orlickohorský hřeben do prostoru Šerlichu. Jejich přičiněním se tu mnoho změnilo. Přitažlivost Šerlišského Mlýna rostla tak, že bývalý mlýn přestával počtu návštěvníků stačit a proto broběhly všechny tyto přestavby až do nynější podoby. Vznikly i turistické cesty.
Dnes je tu jejich velká křižovatka. Značené cesty přicházejí z pěti směrů a sbíhají se u symbolického připomenutí někdejšího mlýna, kterým je dřevěné kolo zasazené do parčíku přímo u hotelu
