他沒想到的是，四年級劃分時，清華營建系已改為純工科的建筑系，沒有了建筑史。他被分到工業(yè)建筑，畢業(yè)后分配到中國科學院土木建筑研究所。幸而1956年9月中科院與清華建筑系合辦建筑歷史與理論研究室，梁思成任主任，傅熹年被所在單位派到這個研究室工作，得以回到母校清華。他以為終于實現(xiàn)了研究中國建筑史的夙愿，但命運再一次捉弄了他。
反右運動中，因一些私下閑談被人揭發(fā)，他被劃成右派，1959年春下放建筑工程部的北京南口農(nóng)場勞動。
說起這次下放，他只淡淡地說工作是“放牛、養(yǎng)豬、種老玉米”。他覺得自己很厲害的是給母豬接生，十個八個呼嚕一下子就生出來了，“挺好玩的”。下放的近兩年里，他抽空反復通讀了帶去的《資治通鑒》和宋《營造法式》。
1960年10月，他摘掉了右派帽子，返回單位。反右后，建筑歷史與理論研究室已被清華撤銷，經(jīng)梁思成聯(lián)系，傅熹年等非清華人員調(diào)到了建筑工程部所屬的建筑科學研究院建筑歷史室。工作室的主任是梁思成，副主任是劉敦楨、汪季琦。傅熹年被編入民居研究組，參加了王其明負責的浙江民居調(diào)查。

宋以前建筑實物，尤其是住宅全都滅失了，目前所見早的古代住宅是明前期的，再早就只能求諸文獻、繪畫等，其中繪畫是形象資料，尤其重要?，F(xiàn)存宋元繪畫中保存住宅資料豐富的是張擇端的《清明上河圖》和王希孟的《千里江山圖》。《清明上河圖》所畫的是北宋汴梁城鄉(xiāng)建筑，以店鋪為主，兼有一部分住宅。畫中對建筑物的構造、裝修細部都有精細的描繪，但因為畫面取景較近，在表現(xiàn)建筑全景方面就難以兼顧。《千里江山圖》則能加以補充，它是宋畫中表現(xiàn)住宅和村落全景多的一幅。

有一次，啟功偶然從一個信封里找到幾張“漏網(wǎng)”的敦煌寫經(jīng)殘片照片，與傅熹年同看，說其中一張好，書法秀美瀟灑，毫無職業(yè)寫經(jīng)人的習氣。
這是一篇寫經(jīng)的發(fā)愿文。文中稱，自己發(fā)愿要寫三千部《妙法蓮華經(jīng)》，以為亡母“太原王妃”祈福。兩人都覺得“太原王妃”眼熟，但一時想不起是誰。
幾天后再見面，啟功高興地說，終于想起來了！武則天之父武士彟死后追贈太原王，太原王妃即武則天的生母楊氏。但武士彟還有其他子女，不能確定要發(fā)愿寫經(jīng)的就是武則天。當時無法查資料，這個疑問只能暫時擱置了。
1968年底“清理隊伍”后，傅熹年獲準回到人民隊伍中，隨全院職工整體下放河南的“五七干?！薄Ｖ?，建筑研究院被撤銷，人員星散。傅熹年被分配到甘肅天水，在國家建委第七工程局的工程公司為技術員，再次離開了古建。