את ההכרעה על הקמת הוועדה קיבל מרן ראש הישיבה שליט"א, בעקבות ריבוי הפעילות והשאלות הרבות העומדות על הפרק בנושאים שונים דבר יום ביומו, בהם דברים שגופי תורה תלויים בהם, וההתנהלות הנדרשת בנושאים השונים מול העירייה, בשאלות רבות הנוגעות לענייני דת וקדשי ישראל וביצור חומות שבת קודש הנרמסת בראש חוצות.
בעקבות כך נוצר צורך דחוף בהקמת "וועדת רבנים" בירושלים אשר תדריך ותנחה את דרכם ופעילויתייהם של נציגי דגל התורה ועסקניה בעיריית ירושלים וברחבי השכונות בעיר. בעניינים שוטפים הדורשים מתן הכרעה ועצה בפעילות הציבורית בענייני הכלל והפרט.
מרן ראש הישיבה שליט"א מינה לחברי ועדת הרבנים את הגאון רבי דוד כהן שליט"א ראש ישיבת חברון וחבר מועצת גדולי התורה. הגאון רבי יוסף אפרתי שליט"א ראש ביהמ"ד להלכה בהתיישבות. והגאון רבי ברוך סולוביצ'יק שליט"א ראש ישיבת תורת זאב.
הבשורה על הקמת ועדת הרבנים בירושלים עוררה קורת רוח מרובה בקרב נציגי הציבור ועסקני דגל התורה בירושלים, הנצרכים לכך דבר יום ביומו, כאשר ענייני הציבור השונים הנוגעים לפעילות בירושלים, תובא להכוונתם והדרכתם של הרבנים שליט"א
