Io e la mia compagna siamo stati all'Elba un paio d'anni fa in primavera, è davvero molto bella!
Appoggio la scelta di Porto Azzurro come base, ero stato anch'io li e te lo consiglio

Il paesino è molto bello e, grazie alla proprietaria del B&B che ci ospitava, abbiamo conosciuto un posticino per mangiare dove vanno praticamente solo i "locals"
Eccolo:
https://goo.gl/maps/PPuZRSMnMDM2
Consiglio di prenotare, perchè ha 6/7 tavoli