Příběh Portmonea, jak se domu dnes přezdívá, se začal psát roku 1920, kdy si amatérský tiskař a milovník umění Josef Portman pozval do města svého přítele malíře, grafika a spisovatele Josefa Váchala, aby vyzdobil jeho dům malbami. Sdíleli spolu nejen lásku ke grafice a tisku, ale i zájem o okultní vědy, mystiku, theosofii a východní filozofie. Váchal žádosti s potěšením vyhověl a začal dům svého přítele postupně proměňovat nástěnnými malbami a dřevořezbami v originální umělecké dílo – krajinu obydlenou ďábly, skřety a duchy.
V jedné bizarní galerii se zde prolínají klasická křesťanská témata s hinduistickou bhavagadhítou a jinými orientálními výjevy. Umělec zde v jednom velmi složitém díle zašifroval celý zvláštní svět své fantazie. Vnitřní logiku dokážou dešifrovat jen opravdoví znalci, ostatním nezbývá než žasnout nad silou umělcovy imaginace a nechat se pohltit jeho působivou vizí.
Jakkoli si oba muži zpočátku sice rozuměli, o sedm let později jejich přátelství ze dne na den skončilo. Mohla za to další z Váchalových múz. Ve svém Krvavém románu si totiž dovolil proměnit svého přítele v lakotného hraběte Portmona. To ješitný sběratel neunesl a po další roztržce se s umělcem nadobro rozešel. Tajemné Portmoneum ale dodnes připomíná jejich zvláštní přátelství.
Je to město neobyčejně kulturní a lázeňské ... Bohužel tamnější lázně vyhledávány jsou jen domorodci a také vodu nikdo tam nepije. Daleko lepší nápoj šenkuje tam ve sklípku otec Polard a také v uherské vinárně se příležitostně různí mazavkové sejdou. Kromě těchto dvou pamětihodností, zámku, kostelů, sochy jednoho muzikanta a dvou tuctů památníkových desek, není v tom celém městě nic pamětihodného. (Josef Váchal)
Váchal ve svém slavném románu Litomyšl nevykreslil znova přívětivě, jeho odkaz tu ale úspěšně žije dál. V roce 1998 vyzdobili studenti zdejší Vyšší odborné školy restaurování a konzervačních technik Váchalovu uličku sgrafitovou výzdobu podle předloh dřevorytových ilustrací z jeho nejznámější knihy.
Mravoučné slogany komentují černobílé výjevy inspirované brakovým písemnictvím 19. století a vzdávají tak svérázný hold tomuto dlouho nedoceněnému představiteli českého literárního i výtvarného expresionismu.