Vi un tutorial de cómo hacer eso, es el siguiente:

Combine MP4 files using FFMPEG on Windows (without re-encoding) - Linglom.com
https://www.linglom.com/multimedia/combine-mp4-files-using-ffmpeg-windows-without-re-encoding/


y allí está explicado, lo que le falta es cómo instalar FFmpeg pues no han actualizado esa parte ya que la dirección web para descargarlo ya no está disponible así que vean este tutorial:

Cómo instalar FFmpeg en Windows 7, 8, 10
https://washingtonindacochea.blogspot.com/2018/12/como-instalar-ffmpeg-en-windows-7-10.html