既然一时回不了中国，只好在美国经营一个可以安身立命的天地。他很服膺潘天寿传授弘一大师的名言：宁可文艺以人传，不可人以文艺传。为学首在做人，做人才是最重要的。做人就从生活态度，言谈起居做起，知识学文是落实于生活的理念与态度。他到美国时就立下一个心愿，要将中国文化之美介绍给西方人。住在研究院宿舍时，朋友多，宿舍就太热闹了，人一多他就不得不躲出去。起初，他只是要在乡间山林里去找一块清静的地方独处、默思，不一定要住在那儿，于是买了块地，又决定自己动手打造心中的灵修场所。当初买地设定的条件是“一片山林地，要有树，不要有修好的路；要有闪失，不要有房屋，还要有水。”所以要有林水山石，因为这符合中国文化对居住环境的需求。大家听说他要买荒地，不买房子，都摇头说他不切实际，他也不屑解释。以助教的微薄薪资当然是买不起什么好地段了，所以看了一段时间都没有找到合适的土地。一九五一年二月的一天，他应邀去康州的Cheshire镇演讲，认识了一位当地人。次日那人就告诉他找到了一块符合他标准的地。吴讷孙过去看了看，地方偏僻得很，荆棘生满，行走也不易，只有一条土路通达，但又一条小溪通过。（《市廛居》P.076）看过后他还开了小飞机从天上鸟瞰这块地，才决定分期付款买下。他父亲赐名这块地为“延陵园”，延陵是吴姓的堂号。吴讷孙把它改为“延陵乙园”，因为他有一个哥哥，不敢僭越。他有把园子所在的镇译为且溪，因为“且”在甲骨文中是“祖”字。又以此名命名园中的那条溪水，几年他在一年前去世的母亲，取“源远流长”的意思。
两夫妇以半工半读所余，购买旧用木材，亲手筑室。一九五二年元月木屋粗成，吴氏夫妻及屋子还上了当地报纸，编辑给这条新闻安了个标题：Young Chinese couple “pioneering” in America（中国年轻夫妻在美国拓荒）。这时仅完成了一小木屋而已，夫妻俩花了六年时间，将周围环境整理，挖一人工湖，建一小型音乐台，种了许多杉树。后来木屋里屡经增建，愈见规模。吴讷孙不是一个会继续的人，在联大时室友李达海见他对钱漫不经心，还主动将吴家汇来的钱收起来帮他保管（这事成了《未央歌》里的一段情节）。有了这块地，有几次孩子要交学费都用它做抵押向银行贷款才筹缴了事。而屋子则因银行认为过于简陋，拒绝当作抵押品。
