تحرك القادة الأربعة -أبو عبيدة بن الجراح ويزيد بن أبى سفيان و شرحبيل بن حسنة و عمرو بن العاص- بجيوشهم بعد تكليفهم بفتح الشام، فلما دخلوا جنوبي الشام، وجدوا جيشًا روميا، قوامه نحو 250 ألف جندي، بقيادة تذراق أخي هرقل، يساندهم نحو ستين ألفًا من العرب –تقريبًا- بقيادة جبلة بن الأيهم الغسانى ، فلم يستطيعوا الالتحام مع هذه الجموع الحاشدة، فدارت بينهم مراسلات تجمعوا بعدها فى وادي اليرموك، تحت قيادة أبى عبيدة بن الجراح، لكن تجمعهم لم يؤدِ إلى تحريك للموقف ضد الروم ، فأخبروا الخليفة أبا بكر بما هم فيه، وطلبوا المدد منه، فرأى أنه لن ينقذ الموقف فى الشام سوى خالد بن الوليد، وقال عبارته المشهورة: والله لأُنسين الروم وساوس الشيطان بخالد بن الوليد، ثم كتب رسالة إليه:أما بعد فإذا جاءك كتابى هذا، فدع العراق، وخلف فيه أهله الذين قدمت عليهم وهم فيه وامضِ متخففًا فى أهل القوة من أصحابك الذين قدموا العراق معك من اليمامة، وصحبوك من الطريق، وقدموا عليك من الحجاز، حتى تأتى الشام، فتلقى أبا عبيدة بن الجراح ومن معه من المسلمين، فإذا التقيتم فأنت أمير الجماعة والسلام عليك. امتثل خالد لأوامر الخليفة، وسار من العراق فى سبعة آلاف جندي فى واحدة من أجرأ المسيرات العسكرية فى التاريخ وأكثرها خطرًا، حيث قطعوا أكثر من ألف كيلو متر فى ثمانية عشر يومًا، فى صحراء قاحلة مهلكة، حتى وصلوا إلى وادي اليرموك فتسلم خالد بن الوليد القيادة من أبى عبيدة بن الجراح وخاض معركة مع الروم تُعد من أعظم المعارك وأبعدها أثرًا فى حركة الفتح الإسلامي، وسحق جيش الروم الذى كان يعد يومئذٍ أقوى جيوش العالم، إذ قتل منه نحو مائة وعشرين ألفًا، وقد أدرك هرقل إمبراطور الروم حجم الكارثة التي حلت بجيشه، فغادر المنطقة نهائيًا، وقلبه يقطر دمًا، ويتحسر على جهوده التي بذلها فى استرداد الشام من الفرس، ثم ها هي ذي يفتحها المسلمون، وقال:السلام عليك يا سوريا، سلامًا لا لقاء بعده، ونعم البلد أنت للعدو وليس للصديق، ولا يدخلك رومي بعد الآن إلا خائفًا
وقد استشهد من المسلمين نحو ثلاثة آلاف، وقد فتح هذا النصر العظيم الطريق لفتح بقية الشام، الذى تم فى عهد عمر بن الخطاب