המנוח נולד לאביו הרב החסיד המופלג רבי אלחנן הרצוג זצ"ל משרידי יהדות הונגריה המפוארה, אשר הלך בדרכי מרנא החתם סופר זי"ע בחרדתו לדבר ה' היא שהביאתו לעקור דירתו לירושלים.
כוחו הגדול היה לא בלימודים פדגוגים הכרות ותעודות, כי אם מליבו שהיה נקי בלתי לד' לבדו, ושופע יראת שמים טהורה, ואהבת התורה בלי גבול, המאיס עליהם את הבלי עולם הזה, ועשה מהם כלי מוכשר לקבלת התורה מאהבה.
תחילת לימודו היה שהיה מלמד את הנערים את תחילת לימוד הגמרא והוא הכניס בהם ברען וגישמאק בלימוד הגמרא, ואלפי תלמידיו זוכרים עדיין את ה"אלו מציאות שלו…", לא חסך את שבטו באהבה מוסתרת, וזכה שתלמידיו מפארים כיום כרבנים ראשי ישיבות מרביצי תורה ותלמידי חכמים מופלגים, אשר זכרונו לא מש מהם.
מיטב כוחותיו השקיע גם בנערים אשר גילו חפץ בלימודים תוך שהוא מעודדם ומדבר על ליבם, גם מחוץ לזמני התלמוד תורה, הכל בכוונה עמוקה להעלותם על דרך המלך, כמלאך האומר לו גדל עמד עתם בקשר גם אחר שהמשיכו לשקוד על דלתות התורה בישיבות הק' ואח"כ כאברכים בעלי משפחות.
גם בכתיבה שמר שלא יקחו מורים לכתיבה, הוא לא היה חפץ בכל ספרי הלימוד המלאים בדעות כוזבות (עוד לפני שמשרד החינוך החדיר את הספרים שלו לתלמודי תורה), עמל הוא בעצמו והכין בעצמו דפים ללימודי הכתיבה.
בדור האחרון שהתחילה להיות נפוץ בעיות הנושרים השכימו מחנכים רבים לפתחו לדעת איכן הוא הכשלון שדורינו לקוי בזה, והוא היה מנווט את דרכם בהשכל ובינה, והכה על קדקדם של ההורים שבקלות דעתם בהתרת כל הנהנות עוה"ז והחדרת מושגי הרחוב לבית מביאות תוצאות בלתי הפיכות, וכן למחנכים דרש מהם לא לעשות מלאכת ה' רמיה, ולהפיל תחינה לפני ה' על כל תלמיד ותלמיד שילך בדרך הישר.
בפטירתו נעקרה דמות של מלמד קדום שרק טובת הנערים עמדה למול עיניו, עלייתם הרוחנית הייתה משאת חייו, שקידם בתורה הייתה משאלותיו, שמו נערץ בפי כל תלמידיו והוריהם, זכרו הבהיר לא ימוש מאתם.
לאחרונה אמו מרת רבקה חיה הרצוג ע"ה נפטרה בי"ח תמוז תשע"ו
גיסו הינו הגאון החסיד רבי אהרן משה שווארץ שליט"א ממעתיקי השמועה דחסידי סאטמאר, השאיר אחריו את אלמנתו וצאצאים רבים ההולכים בדרכו, ותלמידים כאובים דואבים ובוכים.
הייתי גם מבין תלמידיו ומוריד אני דמעות כמים על פטירתו של האי גברה אשר זכרו לא ישכח מבין אלפי תלמידו אשר העמיד לשם ולתפארת אוי אוי אוי הלואי והייתי עוד יכול ללמוד בחיידר עוד שנה אצלו הקב"ה ינחם את המשפחה
אחיו הרב החסיד רבי משה מרדכי הרצוג שליט"א מחנך דגול ומנהל רוחני דתלמוד תורה "דושינסקיא" רבות בשנים