Il castello “castrum Vici”  nell’ XI secolo è già esistente ed è di proprietà dei Normanni. Ne abbiamo notizia attraverso diverse fonti scritte. la prima menzione relativa al castello è contenuta nel Regesto di San Leonardo di Siponto e si riferisce ad un documento del 1113: “Guarino de Ollia al signor castellano di Vico rende noto nello stesso castello, di possedere un pezzo di terra in località Guasto”. Un ulteriore notizia relativa al castello si trova in un documento del 1144 in cui la Chiesa di San Pietro Apostolo “supra montem, prope castellum Vici”, viene donata dal cavaliere normanno Enrico de Ollia ai canonici di San Leonardo. Un’altra testimonianza si trova in un documento del 1149 in cui il castello viene citato da Cristofano, abitante del castello di Vico. Motivi di difesa sono alla base del primo impianto del complesso, che in età sveva viene ampliato ed adattato a sede di caccia. Il nucleo più antico del castello si sviluppa sull’asse NE-SE, chiuso agli angoli da torri quadrate. Quella di NE si eleva su di una scarpa di base a blocchi sagomati e smussati, evidenziata da un costolone marcapiano; l’altra di SE culmina con un’elegante bifora a tutto sesto con colonnina centrale: quest’ultima presenta un capitello a foglie piatte e crochets angolari, mentre alla base i resti di una foglia angolare. La merlatura, con due intervalli fra merli sul lato est e tre su quello sud e con i rispettivi merli senza feritoie, sembra essere quella originaria. Quasi a rinsaldare quest’ultima slanciata struttura angolare, un bastione circolare di fortificazione, la cosiddetta torre maestra, ricorda il periodo aragonese. Il tracciato delle mura che insiste  sull’asse SE-NO è visibile solo a tratti in quanto al castello risultano addossate costruzioni realizzate nei secoli successivi. In prossimità dell’attuale ingresso il tracciato risulta intervallato da una torre semicircolare che si eleva su una scarpa non molto ampia; all’angolo nord-ovest una torre a struttura circolare si eleva su una scarpa da cornice marcapiano. All’ interno degli edifici vi è un cortile ampio sul quale si affacciano sia gli ingressi che danno alle stalle ed ai magazzini terranei, sia quelli che conducono ai piani superiori di civile abitazione; di fronte all’ingresso  vi è un portico coperto da volta unghiata mentre lateralmente è situata la cisterna per la raccolta delle acque piovane. Per concludere riportiamo il giudizio che lo studioso tedesco A. Haseloff ha dato in merito alla costruzione: “La nostra attenzione è attirata in primo luogo dalla torre nord-est (NE) del castello. Per quanto ne sia rimasto ben poco, già il materiale degli spigoli della torre rivela che qui non ci troviamo di fronte ad una delle piccole ed insignificanti costruzioni dell’epoca successiva; a confermare questa opinione viene la volta a crociera del piano attiguo. Anche se non si può  naturalmente affermare che qui le forme siano esclusivamente precipue delle costruzioni imperiali, la volta a crociera con i pesanti costoloni e l’aspetto dei modiglioni  mostrano una straordinaria somiglianza con i castelli federiciani edificati in forme gotiche:  una somiglianza che ‒ anche perché simili forme non sono consuete nell’architettura della Capitanata ‒ consente di annoverare di conseguenza questa parte del castello di Vico fra le costruzioni imperiali degli anni intorno al 1240.

Luogo non accessibile a persone con disabilità per presenza di barriere architettoniche.