Ya'alon lahir dengan nama Moshe Smilansky, sebagai putra dari David Smilansky dan Batya Silber. Ayahnya, seorang pekerja pabrik, berpindah ke Mandat Palestina dengan keluarganya dari Ukraina pada 1925, dan merupakan seorang veteran dari Haganah dan Brigade Yahudi. Ibunya adalah seorang korban selamat dari Holocaust yang berjuang melawan pasukan Nazi dengan para partisan saat Perang Dunia II. Ia datang ke Palestina pada 1946.[1] Ya'alon dibesarkan di Kiryat Haim, sebuah subperkotaan kelas pekerja dari Haifa. Ia aktif dalam gerakan pemuda Zionis Buruh "HaNoar HaOved VeHaLomed" dan bergabung dengan sebuah kelompok Nahal yang bernama Ya'alon, sebuah nama yang kemudian ia adopsi.[2] Ia kemudian berpindah ke kibbutz Grofit, di wilayah Arava dekat Eilat. Pada 1968, ia masuk dalam Pasukan Pertahanan Israel, dan bertugas dalam Brigade Nahal.
