"Tra le case più nobili, che posson dirsi propriamente palazzi [prende] luogo quella del conte Grignano, posta nel gran largo del Carmine, occupando la sua stesa del prospetto un'ala intera di detto piano colla distinzione in essa di un interno giardino". Così a fine Settecento scriveva il Marchese di Villabianca nella sua Storia di Marsala.

Il palazzo Grignano (o Grignani, la grafia oscilla nel corso dei secoli) sorge nell'antica e suggestiva piazza Carmine, impreziosita dall'antico convento dei frati carmelitani, con annessa chiesa dedicata alla Madonna Annunziata e campanile ottagonale, e dal neoclassico palazzo Vaccara, oggi trasformato in albergo.

Accanto al palazzo Grignano sorgeva il palazzo dei Cappasanta, che fino al XVI secolo furono tra i protagonisti della vita cittadina, successivamente, poiché i Cappasanta si estinsero o si trasferirono altrove, il palazzo passò ai Grignano che ingrandirono la loro residenza verso sud, ma non unificarono mai le facciate dei due palazzi, sicché il prospetto risulta incompiuto.
Probabilmente le difficoltà finanziarie a cui andò incontro la famiglia non consentirono di armonizzare i due edifici. Il palazzo Grignani è un massiccio edificio settecentesco che conserva, però, qualche elemento dei secoli precedenti, quali le tre finestre architravate inquadrate da una cornice orizzontale di gusto manieristico.
Il grande portale con arco a tutto sesto è inquadrato da due alte paraste di bugnato liscio che reggono una cornice orizzontale.
Dei balconi del secondo piano uno soltanto, dal disegno mosso ed armonioso, presenta una soglia dal profilo ondulato poggiante su mensole a volute e una ringhiera in ferro battuto a forma di petto d'oca; gli stipiti modellati reggono un frontone spezzato in cui è inserito un medaglione ricco di elementi ornamentali.
Un cornicione dal forte aggetto retto da mensole corona l'edificio.

Sul prospetto laterale di via Garraffa l'unico elemento di rilievo è costituito da un balconcino con la caratteristica ringhiera settecentesca a petto d'oca.
Nel rivelo del conte Antonio XI Grignano, ossia nella dichiarazione dei redditi, è contenuta una dettagliata descrizione del palazzo che può risultare utile per conoscere l'originaria struttura dell'edificio, fortemente degradato dalle frequenti manomissioni avvenute nell'ultimo secolo e dall'abbandono in cui è stato lasciato per decenni.

Il Conte "dice possedere una casa grande per propria abitazione consistente in tre piani; ed incominciando dal suolo dice esservi nel cortile cinque archi sostenuti da quattro colonne di marmo bianco, e nove porte". Segue una dettagliata descrizione degli ambienti di piano terra, dove si trovavano una stalla, due ampi magazzini con tre archi che contenevano duecento salme di frumento, il locale delle carrozze, due case per la servitù, altro locale capace di cento salme di frumento, un locale per il carbone, altro locale capace di 80 salme di frumento e un magazzino per conservare la paglia.
Una porta introduceva "in un giardino per proprio divertimento consistente in tumoli due di terra con quattro viali coperti di viti", con alberi di fico, meli, peri, melograni, peschi e diverse altra piante. Nel quale giardino, chiuso da muraglia di pietra, vi era acqua corrente, un pozzo, la cui acqua veniva raccolta dalla senia, e una casetta per il giardiniere.
Una scala di marmo bianco conduceva al primo piano, dove erano le camere da letto e la cucina, servita da acqua corrente "a grilletto". Il secondo piano era servito dalla suddetta scala di marmo, che introduceva in una galleria con tre archi sostenuti da tre pilastri di pietra d'intarsio; nella quale galleria vi era una porta, che immetteva nella sala, dove si aprivano due porte, che introducevano in altre camere da letto, nella cappella e in un terrazzo coperto, con vetrate.
Appartenevano al medesimo conte alcune casette contigue al palazzo, site in tre cortili dell'attuale via Garraffa.

Il palazzo, restituito alla città,ospita la Pinacoteca Comunale dell'Ente Mostra di Pittura .