Sokolović se rodio u selu Sokolovići pored Rudog, kao Bajo Nenadic ,otac mu se zvao Dimitrije.Bio je iz pravoslavne porodice. Imao je najmanje dva brata ( jedan se zvao Makarije)jednu sestru, i jednog ujaka. Sokolović je odveden ujanjičare kao danak u krvi 1516 na njihovu obuku – adžami-oglan. Nakon toga je u istanbulskim janjičarskim kasarnama prošao vojnu obuku i postao musliman. Ovo je bila uobičajena praksa u otomanskoj vojsci u to doba (pogledajtejanjičari). Nakon vojne obuke kao izuzetno intelegentan kadet nastavio je školovanje na Enderunu (nešto poput visoke škole uz sultanovu palaču).

Sokolović se kao janjičar istaknuo u bitkama kod Mohača 1526 i za Prve opsade Beča 1529. Za vladavine sultana Sulejmana I Veličanstvenog, obavlja razne dužnosti u sultanovom saraju. Od 1543 do 1546. bio je komandant janjičarske dvorske straže (kapidžibaša), od 1546. do 1551. bio je kapudan-paša (admiral). Zatim je bio Beglerbeg (generalni guverner) u Rumeliji (1551-1555), zbog vojničkih zasluga u ratovima na istoku i perzijskom frontu dobija položaj trećeg vezira (1555. – 1561.) a nakon toga uspeo se na položaj drugog vezira od 1561 do 1565. Oženio se sa Ismihan (ili Esma Han) unukom sultana Sulejmana I., što mu je izgleda isto tako pomoglo u usponu na visoke položaje. Sokolović se 28. juna1565. godine uspeo na najviši mogući položaj na koji je mogao reflektirati janjičar postao je Veliki vezir Sulejmana I Veličanstvenog. Bio je veliki vezir tri sultana; Sulejmana I., Selima II. i Murata III. ravno 14 godina, 3 mjeseca i 17 dana. 1571 godine naredio je da se izgradi most na Drini u Visegradu. Posto je poticao iz pravoslavne porodice, on je bio prvi vezir koji je dozvolio obnovu Pećke Patrijašije.

Sokolović se osobito istakao prilikom Opsade Sigeta 1566, tad je iznenada 4. septembra umro sultan Sulejman Veličanstveni Punih tri tjedna, Mehmed-paša Sokolović je uz pomoć carskog štitonoše Džafer-bega i tajnog pisara Feriduna, tajio od vojske i ostalih carskih dostojanstvenika smrt Sulejmana I., da vojsci ne bi pao moral. Postoje i priče da je dao pobiti sve svjedoke sultanove smrti – a sultanovu odsutnost objašnjavao njegovom bolešću. U tom trenutku je sudbina bitke, a i carstva praktički bila u njegovim rukama, tri dana kasnije janjičari su na juriš zauzeli utvrdu Siget.

Hrvatski ban Nikola Šubić Zrinski se pokušao probiti iz obruča, ali je ranjen i zarobljen te je odmah nakon toga pogubljen. Njegovu glavu je Sokolović poslao budimskom namjesniku, svom nećaku Gulabi-agi, da je ovaj proslijedi u Beč na carski dvor. Sokolović se sa vojskom zaputio natrag u Istanbul, tek je kod Beograda tri tjedna nakon odlaska iz Sigeta 24. septembra – objavio je vojsci da je Sulejman I. mrtav, prilikom jutarnje molitve uz Kuran.

Slijedeći sultan Selim II. bio je slab vladar, tako da je Sokolović zapravo vladao sam, tad je otomanska mornarica zauzela Cipar 1571 i istjerala Venecijance. Sokolović je zatajio i smrt svog narednog sultana Selima II. 1574 sve dok se njegov najstariji sin Murat nije vratio iz Manise. Novi sultan zadržao je Sokolovića na položaju Velikog vezira, ali je postupno sužavao krug njegovih saveznika na dvoru, koje je jednog po jednog eliminirao. Izgleda da je Sokolović nakupio za 14 godina vlasti velik broj neprijatelja, koji su mu potajno radili o glavi.

Poginuo je u naizgled bezazlenom incidentu, kad ga je 11. oktobra 1579, izbo nožem mentalno poremećeni derviš, koji je netom prije incidenta tražio da ga primi, nakon tri sata Sokolović je umro. Oko ovog incidenta postoje i dan danas brojne teorije, po kojima je to bila organizirana urota, a ne suludi čin, ali nema pisanih izvora koji bi to točno rasvijetlili. Pokopan je u vlastitoj grobnici (turbe) kod džamije sultana Ejupa u Carigradu, koja je njegova žena Ismihan, već prije naručila kod tada slavnog arhitekta Mimar Sinana oko 1572.