Aslen Saraybosna'nın Drozgometya köyündendir. Devşirme olarak Enderun'da yetişti. Hadım lakabıyla da tanınan Ali Paşa bir süre Babüssaâde ağalığı yaptıktan sonra önce sancak beyliği, ardından da Karaman Beylerbeyliğinde bulundu (1482). Bu sırada içteki çeşitli siyasi karışıklıklarla uğraştı. Özellikle Cem Sultan ve Karamanoğlu Kasım Bey'e başarı ile mücadele etti. Daha sonra Rumeli Beylerbeyi olan Ali Paşa, Boğdan Voyvodasının Akkirman'ı almaya teşebbüs etmesi üzerine ona karşı gönderildi. Ali Paşa Eflak Beyini ve kuvvetlerini yenerek Boğdan'a girdi.

Boğdan Prensi Stefan Çel Mare karşı koyamayacağını anlayınca Lehistan'a iltica etmek zorunda kaldı. 1483'te Veziriazam Davud Paşa'nın maiyetinde Memlük Seferine katıldı. Çevredeki kalelerin zapt edilmesinde başarılı oldu. Memlüklülerle barış imzalanması ardından, Venediklilerin Mora Kıyılarını tehdidi üzerine Davud Paşa ile birlikte Modon ve Koron'u almakla görevlendirildi ve yol boyunca, Navarin, Zenşiyo savaş yapmadan ele geçirip Osmanlı topraklarına kattı (1500). Bu fetihten sonra Mora'da ticaret çok gelişmiş, o sırada İspanya'da büyük sıkıntı içerisinde olan Müslümanlardan bir kısmı Mora'ya yerleşmiştir.

Ali Paşa 1501'de Mesih Paşa'nın ölümü üzerine veziriazam oldu. Bu ilk sadareti iki yıl kadar devam etti ve 1503'te görevden alındı. 1506'da ikinci defa bu makama tayin edilen Ali Paşa 1511'de şehit düşünceye kadar sadarette kalarak, devlet işlerini başarıyla sürdürdü. Hatta II. Beyazıt bir çok konuda idareyi ona bıraktı.

Atik Ali Paşa değerli bir devlet adamı, iyi bir kumandan olmanın yanında memleketin imarına önemli hizmetleri geçmiş bir kimsedir. Dürüst ve dirayetli şahsiyeti, hayırseverliğiyle devrin kaynaklarında övülmüştür. Onun hayır eserlerinin başında İstanbul Çemberlitaş'ta Cami, Medrese, İmaret, Mektep, Kütüphane ve diğer müştemilattan oluşan külliye gelir. Ali Paşa'nın bu külliye içerisinde teşkil ettiği kütüphane fetihten sonraki İstanbul2un en önemli kültür müesseselerinden biridir. Yine İstanbul Karagümrük'teki Zincirlikuyu veya atik Ali Paşa Camii, Tekfur Sarayı, civarında Kaiye adıyla manastırdan çevrilen cami, bunun yakınında yaptırdığı bir Medrese, Edirne'deki bir cami, Bursa'da bir imaret, Mora'da ki birkaç sıbyan mektebi onun hayratındandır.

Ali Paşa, vakıflarında hizmet gören personelin ücretleri, bu eserlerin tamir masrafları vb. için başta İstanbul olmak üzere İmparatorluğun birçok yerinde yüzlerce ev, dükkan, hamam, çiftlik, bahçe ve tarla vakfetmiştir. 953 (1546) yılında yapılan bir tespite göre vakıflarının toplam geliri 471.998 akçe idi. O dönemdeki paranın alım gücüne göre çok büyük bir meblağ olan bu toplamdan vakıf personeli, imaret masrafları, Medine fukarası için yapılan toplam harcama 270.638 akçe tutmakta, 201.360 akçe ise vakfın gelir fazlası olarak kaydedilmektedir.

Ali Paşa bütün bunların yanında ilim ve sanata da yakın ilgi duymuş, ilim ve sanat erbabını himaye etmiştir. Sarayında sık sık alim ve şairleri toplar, onlara ziyafet verir, ilim ve kültür sohbetleri yapılmasını sağlardı. Devrinin tanınmış şairlerinden Prişteneli Meishi onun divan katibi idi. Efendisinin ölümü üzerine söylediği mersiyesi meşhurdur. İdris-i Bitlisi Heşt Bihişt adlı tarihe dair eserini Atik Ali Paşa'ya ithaf etmiştir.