洪凌形容自己的成長環境非常「豐富」。他居住的胡同緊挨著「菜市口」，包括清代執行死刑的地方，周邊百里有賈家胡同、林則徐故居等。洪凌的祖父任職北京故宮圖書館館長，一家子和祖籍廣東的祖父居住在中山會館（當時廣東仕紳所建），這裡曾是孫中山首次赴京的住所，解放之後，成了近百戶各種職業匯集的底層民居。
洪凌表示，祖父的文人習性對他影響甚鉅，他也受祖父的收藏啟蒙。像是民初《故宮週刊》當中，中國著名水墨畫家范寬、董其昌、王蒙的畫作都讓他大開眼界，《芥子園畫譜》的中國山水畫技法，也提點他不同的作畫方法。他說，「那些思想與底蘊至今仍深埋我心中。」
對於繪畫，洪凌也有他過人的堅持，十六、七歲的青春年華，遇上文化大革命，得下鄉勞動，期間仍想辦法抽空作畫。八○年代回到北京，即使家裡窮到買不起畫布，就順手將家裡的舊棉被掛上牆開始作畫。他回憶道，「當時那種想要作畫的心情是很真實的，我永遠都記得，第一次兩個美國人買了我的畫，掙來的錢是我一、兩年的收入，想來真是激動，這種激動是現在不可能有的。」
或許如此，洪凌對生活看得豁達，生活也始終保持文人姿態，無論品酒、茗茶、烹飪、作畫，無處不顯出對自然的處處體會。他也經常拿起鍋鏟做菜，不少名人雅士常上門做客、把酒言歡。洪凌說，「一個人要領略生活的韻致，才能當個好的藝術家。」