怎麼會弄出常樂精舍呢？開始沒這種想法，都是形勢促成的。一因太平寺要解散職工，租給學校，我們不能長久住下去，要去外面找房子；二因弘法以來漸漸人多，兩個小房間，不能容納多人，也正在外面尋找房址。
找房子是最困難的事，不能找普通的房子，要尋廟宇去住，弄了多處，不是不滿意，便是被人暗中破壞。有一種背後操縱的惡勢力，不是怕我倆出頭成名，便是不喜歡密宗的。密宗道場也怕我們成功，說明白一點，就是信黃教的漢族偏喜打擊紅教，破壞起來更不遺餘力。因之我們每聯繫一處，都是敗於垂成。最後由一位陳息漁居上在黃陂南路（淮海路上）找到一所中藥店（康餘堂），因要關閉藥店，解散職工，需要三千元解散費，我們拿出三千一百元將三上三下一幢房屋頂下來，每月租金六拾元，改裝一下，作為紅教寺廟，樣子尚可觀。開光那天，人也去了不少，這全靠衆居士，有錢出錢，無錢出力，才有如是成就。常樂精舍的名字，是根據我出家寺廟普陀山常樂庵移植過來的。
蘇淵雷、郭元興二居士，在精舍成立後，幫了不少忙，尤其是蘇淵雷居士，把一些老朋友（都是過去的知名人士）和名書畫家，如柳語徵、江庸、吳湖帆、黃葆戍、尹石公、唐雲、吳青霉、顧飛、董天野、江寒汀、陸彥少、熊松泉、錢庾鐡、汪東、潘伯鷹等等，另外又邀請了持松法師，由蘇老發起，辦了一個「法苑藝林」。最初由柳詒徵老先生講學一次，後來每星期都來作書畫，留下許多寶貴作品，特別是扇面最多。我也受到很多影響，我在常樂臨墓過一遍黃大癡的「富春山圖」，又臨過查士標的水墨山水；自己又作過一張風竹，黃葆戍老先生（後來皈依我學法）為題四句話：「石可轉，志難移，竹虛心，是我師。」竹下的石，是唐雲先生補上去的，竹旁的字是蘇淵雷居士題的，共有記得後面一句是：「清風來四時」。第一句是甚麼，記不清了。黃老的四句話隱含「石虛我師」的意思，因為我的畫名叫「石虛」。
記得我初次在常樂精舍試畫之時，那是我在閉關看陀噶後，偶然翻閱畫譜，見鄒一桂畫了幾棵薔薇花，我也仿照他畫了一張，由密師題了幾句話，給唐雲先生看，並求指教。先生說畫的還不錯，題字的格式也很妥當。我順便要求唐老也題幾個字，以作鼓勵。他欣然答應了。（後來所有這些東西，都在文化革命中被抄洗，一直無下落。）後來蘇淵雷居士又為補題四句：「一笑嫣然綺語刪，桃花紅到老僧龕，持與阿師輸半著，黃薔薇是舊同參。」因我臨墓的是黃薔薇。
「法苑藝林」是以佛法和祖國藝術作為開端，是得到上海的高人雅士來捧場的。以後三年中，弘法事業很興旺，上海佛協在我們改修康餘堂過程中即予承認並擧密師為介佛教青年代表，後又升為佛協常務理事。雖然順緣中也遇到不少逆境，因年青力壯，又「初生犢兒不怕虎」，有一股倔強勁兒，一切都挺得過。後來孫厚在（亦名嘉榮）以八十四歲高齡率其夫人前來皈依，並介紹蔣維喬（竹莊）老居士，蔣老特為寫了常樂精舍記，親自送來。以後便經常來往。
密師在精舍負責講經，每年春秋二季各講一個月左右；會講過大圓滿前導文、六祖壇經、金剛般若經、達摩四論，內容新穎，聽者躍踴。至於學密法的居士，對法本內容及修法之引導，也多由密師講解，我負責傳法及帶修。蔣老和顧伯敍居士，對於密師所說妙理，尤其顧老，不勝歡欣鼓舞，因之毀謗之人，也暗中煽動。蔣老說：「我要護持他們。我多年不講經了，也要出去講講。」於是就在上海居士林講起來了。說是講經，實是藉此讚歎常樂紅教怎麼好，以此來回擊作毀謗者。這對護持佛法上起著莫大的幫助作用。大家都說蔣老居士到底有功夫，以八十四歲高齡，說話還這麼神氣。
常樂精舍門外的四個大字是我的皈依弟子陳息漁居士的胞弟陳蒙龐先生（上海書法家，天主教徒）請沈伊默老先生寫的，由郭元興居士為之放大，非常美觀。馬公愚先生也來了。《勝乘實踐》的題簽是蘇淵雷老居士命名，馬先生寫的。
接著，馬公愚先生也來了。《勝乘實踐》的題簽是蘇淵雷老居士命名，馬先生寫的。馬先生也帶來幾位外國朋友，特別是印人高邦達（印商公會會長，娶了一個中國太太）說得一口流利英語。由馬公愚先生翻譯。他的學問很淵博，對印度宗教有相當研究，自己雙腿結咖跌坐，可坐九小時。因為紅教密宗出自印度，又是印度蓮花大祖親傳藏人，他對「古汝」起著無限敬仰，說起「古汝」（師父，指的是蓮師）必先合掌。此後印度人（包頭的）來的很多，也有歐洲人。上海有三個印度廟他有法會都來邀請我們，我們亦邀他們參加會供。從此印度人與我們常有來往。他們吃飯都是素的，用手抓。
有一位畫家鄭慕康先生是我同鄉，善畫仕女，我在他身上，得到一些啟發。後來我引用敦煌格式而畫西藏佛像，曾畫有單身和雙身的金剛薩睡、白度母、蓮花生大師，鉤金絲的方法是扎巴降稱上師教我的，後來我把這個方法告訴鄭先生，作為友誼的交流。鄭先生又依我供給他的德格木印的釋迦佛八相成道圖畫了八幀，每幀一百元。這一切（包括我所畫的佛像）後來全部被抄，毫無下梢了。
一九五三年秋，貢噶上師來北京民族學院任教，有信邀我倆到京一見。乃於公曆十一月十五日到達北京，下禤於東直門羊管胡同淨蓮寺（密師幼年求學地址）。休息兩天後，由趙紉秋居士（女）陪往民族學院謁見貢噶上師。上師一見喜笑顏開，即行碰頭禮，表示對我們尊重，對我們成立紅教道場，塑蓮師像備極讚嘆，說這是他的夙願，實現在我們身上了；並說你們弘揚大圓滿法，演說勝義令無上大法展轉增長，我非常高興。上海早有人來告訴我，你們弘法的消息，我也把這消息告訴來京開會的紅教代表兌烱仁波且、和白教噶嘛巴代表住本得欽仁波且，他們都很高興，說實在難得。隨後，我們將上師請到淨蓮寺供養了四天。在這幾天中，上師特將從前所傳的無上瑜伽父母部及大手印、大圓滿，重新引導，要言不繁。又傳了一部岡波巴大師的顯密口訣寶鬘，和貢諸仁波且大手印前導文、麥吉巴大手印要言、第三代大寶法王雍將多傑所著大手印發願文。這四天所學比一年所學還透徹。上師講漢語，有四位同學參加受法，這可能是上師一生中最後的傳法了。五四年，上師回貢噶山，五五年圓寂於貢噶寺。五六年，貢噶山的薩迦寺根桑澤仁活佛到達上海，來精舍參觀，說貢噶上師圓寂時是他在跟前送終的，因要留貢佛金身，也由他幫助料理後事，將貢佛屍體，用炒熱的鹽，包以棉布，放在身上，將身肉中的血抽出來，鹽變成紅色，如是反復多次，將血抽光為止，身體凉乾以後，然後貼金。造塔的事，便由噶嘛堪布負責了。我趕快拿出四百元人民幣，交給根桑佛帶去轉交噶嘛堪布，作為給貢佛貼金修塔之用。噶嘛堪布收到錢後，來了一封信說，「貢佛在生弟子千千萬，臨終並無一人寄錢為他善後，只有你二人是貢佛一生在漢地弘法之歸宿。」這次到北京因緣，無意中遇到一位老熟人—藏族青年名叫香拔，是夏克刀登派他來北京請佛像的—我乃寫一封信，托他帶給夏克刀登去問好，引出後來再度入康深造的因緣。
一九五四年春，擬在常樂精舍舉行第一次頗瓦法灌頂，雖然我會在太平寺閉關專修已得開頂，為了鄭重起見，我仍想閉關七日，以求加持。入關後，於靜坐中，看到楊毓華醫生姊妹二人到麵店裏去吃麵，我對密師說，下午楊醫生來，你問她是否在麵店裏吃過麵？密師問她時，答以確有此事。楊有點不高興，到護法殿去責罵護法道：「你怎麼一點小事也要告訴師父。」實則不是護法所告，乃因我心水刹那清靜而顯現出來的。為了證實一下才去問她。同年夏天，我在樓下講堂靜坐，又看見楊蓮捷女居士，手裏拿著一包東西，一邊走路，一面吃冰棒，走到精舍門口，棒冰正好吃完。我將此事問她，她說：「師父怎麼會知道的呢？」我想，這大概就像孫中山先生說的「此神明之所以內通」吧!當年中山先生遊普陀山，在佛頂山見到觀音顯現妙境，同遊之人如胡漢民都看不見，回到前寺親書《遊普陀誌奇》一文，保留在普陀前寺，其中就有這麼一句話：「鳴呼!此神明之所以內通。」我通過歷次閉關，每次不過七日，一生也不過五六次，最多的一次是一個月。有時用起法來，頗見感應。我的皈依弟子上海王羹若居士的第二兒子結婚八九年不能生育，我用扎巴降稱堪布教的密法，將咒子帶在二兒媳的腰間，教她念咒，一年後，生了一個男孩，全家歡喜。王羹若是常樂精舍的大護法，脫噶修得還不錯。我的學畫也是在閉關中有所啟發。一九五六年上海開美術評比畫展，兩千多人參加，有甲、乙、丙三種獎，我得個丙獎，拿到七元錢獎金。學畫二年，論技術差得遠，可能是給我一種鼓勵吧!
在常樂時，蘇老與唐雲先生，不時來精舍茶敘。有一天正好冬至，倆位晚上來了。唐雲先生邊吃茶，邊作畫，一氣畫了五張山水，瀟洒神韻，第六張沒畫，說時間太晚了，下次再補。可是隔了二十三年，唐老和蘇老俱已七筍開外，我也將近七旬，彼此都是歷經大難，劫後餘生。就在庚申年冬天，倆位特來舍下敘舊（這時我雖退休，尚未恢復僧相）。酒後餘興，我拿出二十三年前的五張山水，大家都很驚奇·，因為我兩次被抄家，所有文物，都被抄盡，唯獨這幾張山水沒被注意，因而保留下來，還附有一張白紙，唐老正好將他補上，上面題句是：「根造法師囑補二十三年前未竟之作，庚申大寒與鉢水（蘇淵雷）詣此話舊，酒後乘興命筆，了此一大公案，人天似客為可念也。」一九八五年我在上海龍華寺做七十壽辰，唐老畫了一張長壽佛，為我祝壽。我與蘇老、唐老友誼維持到現在，在多災多難的二十餘年中，實在是不簡單的。