זרחי נולד בירושלים וגדל ברמתיים. בהיותו בן עשר נפגעה משפחתו בתאונת דרכים בין רכב הסעות לרכבת, בה נהרגה אמו והוא ואביו נפצעו קשה.[1] באוגוסט 1941 נהרג אביו בתאונת דרכים אחרת.[2] למד אדריכלות בטכניון בחיפה והוסמך בקיץ 1946.[3] הוא נשא לאשה את אביבה, בתו של האדריכל זאב רכטר[4][5] והצטרף למשרד האדריכלים של חותנו יחד עם גיסו ושותפו, יעקב רכטר, והמהנדס מיכה פרי. ביחד הם היו בין מתכנני בנייני האומה ועמדו בראש חבורת האדריכלים שהקימו בה את תערוכת העשור.[6]
באמצע שנות ה-70[7] נפרדו דרכיהם של זרחי, פרי ורכטר, אך משרדיהם של זרחי ורכטר המשיכו לשכון באותו בניין ברחוב ארלוזורוב בתל אביב. מבנה זה ניתן למשרד על ידי קופת חולים כללית כשכר טירחה עבור תכנונים שונים. משרדו, "זרחי אדריכלים", שאותו ניהל עד שנת 2008 בשותפות עם בנו דודי וכלתו ענת, הוא בין עשרת משרדי האדריכלים הגדולים בישראל בשנת 2005,[8] בשנת 2009 הוא ירד למקום ה-14.
זרחי התמקד באדריכלות מבנים למדע, תעשייה ובתי חולים והיה חלוץ תכנון מבנים לתעשיית ההיי טק. התמקדותו, לפי דבריו,[9] הייתה ב"צד הפונקציונלי, הטכני והארגוני" ולא ב"צד הסגנוני והצורני". בנייניו בנויים בקווים פשוטים, נקיים ו"נזיריים", "מרובעים ורציניים".