כהונתו של רבין כרמטכ”ל עמדה בסימן התעצמות צבאית מהירה של מדינות ערב והצטיידותן בנשק סובייטי. עיקר עיסוקו היה בהכנת צה”ל לקראת אפשרות של מלחמה כוללת. הוא פעל לצייד את צה”ל בנשק אמריקני ובטכנולוגיות חדישות, והכינו לפעולה רב-חיילית מתואמת. בתוך כך, שקד על הכנת תכניות מבצעיות, שיעמדו לרשות צה”ל בכל עת. כל אלה עמדו לצה”ל במבחן מלחמת ששת הימים ומילאו תפקיד מכריע בהשגת הניצחון המהיר של ישראל במלחמה.
אחד ממוקדי המתיחות היה בצפון, בעקבות ניסיונותיהן של לבנון וסוריה להטות את מקורות המים של ישראל הנמצאים בשטחן. רבין התנגד לכל יוזמה שכללה כיבוש שטחים בסוריה וכיוון את תגובת צה”ל לפגיעה בציוד המכני שהפעילה על מנת להטות את המים.
מערכה נוספת לה נדרש רבין היתה מול הפת”ח, הזרוע הצבאית של אש”ף, שהוקם ב-1964. מאחר שאת בסיסיו הקים הפת”ח בסוריה וממנה יצא לפיגועים בישראל, ראה בכך רבין הצדקה לפעול כנגד הסורים. דברים שאמר רבין בראיון עיתונאי נגד המשטר הסורי עוררו תגובה חריפה, ולימים נתפסו כגורם שהאיץ את ההכנות למלחמה בישראל. אל מול פגיעות באוכלוסיה אזרחית ישראלית תמך בתגובה נגד מיתקנים אזרחיים אצל האויב. עם זאת, בנובמבר 1966 אישר פעולת תגמול נגד הכפר סמוע בירדן, במהלכה נהרגו ירדנים רבים, אזרחים וחיילים.
בסוף שנת 1966, בתום שלוש שנות כהונה, החליט ראש הממשלה להאריך את כהונתו של רבין בשנה נוספת.