395 yılında Roma imparatorluğu doğu ve batı Roma olarak ikiye ayrılmış ve Doğu Roma Bizans imparatorluğu adını almıştır. 420 yılında Sasani imparatorluğu hakimiyetin de olan bölgelerde çıkan ayaklanmalar sonucu Sasanilerden kaçan isyancıların Bizansa sı¬ğınması üzerine iki taraf arasında 7 yıl süren savaşlar başlamış ve 427 yılında yapılan bir antlaşma ile savaşlar sona ermiştir.
Sasani hükümdarı Kavad Bizans imparatorluğu ile aralarındaki bu savaşsız dönemden faydalanarak Bizanstan para yardımı talebinde bu¬lunmuş ve bu talebinin reddedilmesi üzerine 5 ekim 502 tarihinde Diyarbakır Sasaniler tarafından kuşatılmıştır. Uzun süren kuşatma sonucu Amida kalesi yoğun bir tahribata uğramış ve şehir Sasanilerin eline geçmiştir. 503 yılında toparlanan Bizans ordusu Diyarbakır'ı yeniden kuşatmış ve 639 da Müslüman Araplar tarafından fethedi¬lene kadar Diyarbakır birkaç defa sahip değiştirmiştir.
Halife Hz. Ömer döneminde Bizans topraklarında Müslüman Arapların başlattığı fetih hareketleri kuzey Mezopotamya'ya ulaşmıştır. 639 yılında Diyarbakır'a ulaşan Müslüman Araplar beş aylık bir kuşatmadan sonra şehri ele geçirmiştir. Diyarbakır'ın fethinin ardından ilk olarak ibadet ihtiyacının karşılanması için MarToma kilisesi Ulu Camiye dönüştürülmüştür. Son halife Hz. Ali'nin 661'de ölümü üzerine halifelik Emevilere geçmiş ve Diyarbakır 750 ye ka-dar Emevi hakimiyetinde kalmıştır.
750-869 yılları arasında Abbasi hakimiyetinde olan Diyarbakır sırasıyla Şeyhoğulları (869-899) Hamdaniler (930-980) Büveyho- ğulları (980-984) ve Mervaniler (984-1085) yönetimine girmiştir. Mervaniler hakimiyetinde Diyarbakırda imar faaliyetleri yoğunluk kazanmış ve tahribata uğrayan Diyarbakır surları, kalesi ve on gözlü Dicle köprüsü onarım görmüştür. 1085 yılında Diyarbakır, Mervani hakimiyetine son veren Selçukluların eline geçmiştir. 1093 yılına kadar Büyük Selçuklu idaresinde kalan Diyarbakır'a sırasıyla Suriye Selçukluları (1093-1097) İnanoğulları (1097-1142), Nisanoğulları (1142-1183) ve Artukoğulları (1183-1232) egemen olmuştur.