Το αρχικό όνομα του χωριού ήταν Σβέρδια. Η αρχική ονομασία του χωριού φαίνεται να σχετίζεται με τη μεσαιωνική λέξη συββεργίδια, δηλαδή πολλές βέργες (λυγαριές). Το τοπωνύμιο Σεβεργίδια, το οποίο αναφέρεται σε αγιορείτικα χρυσόβουλα που βρέθηκαν στο κοντινό μετόχι Χάρακας, ενισχύει την παραπάνω άποψη. Το 1956 το χωριό μετονομάστηκε σε Δάφνη, από μια μεγάλη πικροδάφνη που δεσπόζει στην περιοχή, επειδή το Σβέρδια θεωρήθηκε κακόηχο και ξενικό. Το 1858 επισκέφτηκε το χωριό ο Conze και το σημείωσε στο χάρτη του ως Swerdia. Σχεδίασε ένα αρχαίο ανάγλυφο που υπήρχε εντοιχισμένο στο μικρό ναό του Αγίου Δημητρίου, το οποίο του υπέδειξε ο ιερέας. Ο ναός αυτός, που ήταν παλαιός, σήμερα καλείται Άγιος Δημήτριος Χουχλού. Την εποχή εκείνη χτιζόταν ο ναός των Αγίων Αναργύρων, ο οποίος αποπερατώθηκε το 1872. Έχει όμορφο ξυλόγλυπτο τέμπλο. Αναφέρεται πως τους λίθους για την ανέγερσή του έφεραν από τη Μάλτα σβερδιανοί ναυτικοί και οι κάτοικοι τούς μετέφεραν από την ακτή με υποζύγια.