Frances, ail wraig Lloyd George oedd y llu y tu ôl i sefydlu cofeb barhaol iddo yn Llanystumdwy. Y bwriad yn wreiddiol oedd sefydlu coleg amaethyddol, rhoddwyd tir gan Frances i hen Gyngor Dosbarth Caernarfon a dechreuwyd cronfa apêl. Ar ôl nifer o flynyddoedd, penderfynwyd nad oedd y cynllun yn ymarferol. Fodd bynnag, ar yr un pryd, roedd gwreiddiau amgueddfa Lloyd George yn cael eu plannu yn y pentref. Ym 1946, arddangoswyd y blychau rhyddid niferus a'r sgroliau addurnedig yn athrofa'r pentref, yn unol â dymuniad Lloyd George. Roedd dynion y pentref yn gwarchod y trysorau ddydd a nos. Yn ystod haf 1946, daeth dros 29,000 o ymwelwyr i weld y casgliad! Yn sgil y llwyddiant hwn, crëwyd arddangosfa barhaol ym Mhenybont yng nghanol y pentref. Sefydlwyd Ymddiriedolaeth i weinyddu'r Amgueddfa gyda'r artist John Petts yn guradur. Peintiodd John Petts y darlyn gyferbyn o Lloyd George.
Ym 1951, gadawodd John Petts Lanystumdwy a daeth Ann Parry, Ysgrifennydd Cymreig Lloyd George ers 1932 yn guradur. Penderfynwyd adeiladu Amgueddfa fechan fel cartref parhaol i’r casgliad cynyddol o greiriau yn gysylltiedig â Lloyd George a thir a roddwyd i’r coleg amaethyddol a throsglwyddwyd arian yn y gronfa apêl i Ymddiriedolwyr yr Amgueddfa ar brydles 90 mlynedd. Cynlluniwyd yr amgueddfa newydd gan y pensaer enwog a lleol, Clough Williams-Ellis a dechreuodd y gwaith adeiladu ym mis Hydref 1958. O fewn blwyddyn, roedd y gwaith adeiladu wedi’i gwblhau a symudwyd y casgliad o Ben-y-bont i’r amgueddfa newydd. Symudodd Ann Parry i mewn i un o'r ystafelloedd preifat a oedd ynghlwm fel preswylfa curadur. Agorwyd yr amgueddfa yn swyddogol ar 8 Mai 1960 gan Dr William George, brawd Lloyd George oedd yn 97 oed.
Parhaodd yr Ymddiriedolaeth i gynnal yr Amgueddfa tan ganol yr 1980au pan gymerodd Cyngor Sir Gwynedd y cyfrifoldeb ar eu cais. Codwyd estyniad mawr ar yr amgueddfa wreiddiol gan gynnwys theatr fechan a ariannwyd gan Apêl Canmlwyddiant Lloyd George fel Prif Weinidog ac fe’i hagorwyd yn swyddogol gan yr Arglwydd Callaghan ym mis Rhagfyr 1990. Ef oedd yr unig Aelod Seneddol arall o etholaeth arall yng Nghymru a ddaeth yn Brif Weinidog.