לאחר עלייתם, מארי יוסף ומשפחתו שוכנו במושב חדיד (על יד מושב בן-שמן), לצד יהודים מחבאן וביידא שבתימן. משפחתו של מארי יוסף לא הסתדרה עמם ועברה לגור במושבה רמת השרון, בשכנות עם זכריה טיירי ז"ל (אביו של הרב יפת טיירי שליט"א). עיזבתו של מארי יוסף את המושב, גרמה לפירוקה של המושבה, וכך עזבו שאר היהודים את המושבה.

ברמת השרון, ניסה מארי יוסף ובניו להיקלט בבית הכנסת למשפחת מלאכי ובבית הכנסת למשפחת עוקשי. משלא הסתדרו, הוחלט לייסד מחדש את ביהכנ"ס תפארת-בחורים מתימן. ספר תורה התקבל מרב העיר הרב יעקב אדלשטיין שליט"א, ובית הכנסת החל לפעול באחד מחדרי ביתו של מארי יוסף.

מארי יוסף, נתגלה כתלמיד חכם, מה שגרם לכך שהמניין רק גדל. כולם רצו להסתופף בצילו. כעת לאחר 5 חודשים, כבר צפוף בביתו של מארי יוסף. כעת הוחלט לעבור למבנה רחב יותר.

יפת, אברהם, יעקב ז"ל ויהודה בניו של מארי יוסף, רכשו צריף מהמעברה הנטושה בשיכון 'מורשה'. מארי יוסף קבע את הצריף בשטח ביתו של אברהם ז"ל. קבלן הקים את המבנה, ספסלים יובאו מקולנוע בפתח תקווה ובית הכנסת נוסד בשנת תש"כ (1960), א' שבט.

גודל הצריף היה 28 מ"ר. בכניסה לצריף שתילי הדס משני עברי הבלטות שהיוו שביל קטן לתוכו. מאחורי בית הכנסת, היה כיור עם ברז מים שהיה נפתח רק עם מפתח. אין שירותים, מי שהיה צריך להתפנות היה מקיים "כי האדם עץ השדה". מסביב עצי אורן ואקליפטוס והוואדי. אותו וואדי שהיה שוצף וקוצף מים בחורף. גדר אם שער ברזל אדום תחם את המבנה.

עקב קטנותו של הצריף, נשים – ישבו בחוץ. גם בחורף. הגברים התפללו עם מטריות לראשיהם (את החורים בגג סתמו עם בטון). בקיץ, שלושה מאווררי שולחן תלויים מהתקרה סיפקו אוויר…חם להמתפללים. לימים הותקן מזגן חלון בצריף, המדחס נתמך על ידי בלוקים…, מסירות נפש.

היה זה בפי כל – בית הכנסת של השרעבים. על אף התנאים הלא פשוטים בצריף, היה הצריף צפוף. מי שלא הגיע בזמן, נאלץ לשבת על יד מפתן הדלת. כולם רצו לשמוע את הניגונים העתיקים היפים של התפילות, בייחוד בחודשי הרחמים והסליחות. הרושם מהתפילה היה נשאר בלב עוד שעות אחרי שכבר התפזרו כל אחד לביתו…

כך התקיים לו הצריף שהחל להיות מוטה על צידו, 43 שנה, בהם חיכו מתפללי בית הכנסת, לאישור בנייה שסרב להגיע מהעירייה…