Το χωριό αναφέρεται το 1396 σε κώδικα της μονής Παντοκράτορος με την μορφή Καριώνες, κάτι που οδήγησε κάποιους να θεωρήσουν ότι οφείλει την ονομασία του στην ύπαρξη καρυών, αν και δεν υπάρχουν καρυδιές στην περιοχή. Στα βόρεια των Αγκαριώνων βρίσκεται η περιοχή Λακτοβόιδι, που σημειώνεται ως ιδιοκτησία της μονής Φιλοθέου σε χρυσόβουλο του 1355. Αργότερα ο τόπος αποτελούσε τουρκικό τσιφλίκι, το οποίο εξαγοράστηκε από εύπορους αιγυπτιώτες.
Το 1858 το επισκέφθηκε ο Conze, ο οποίος εντόπισε κομμάτια μαρμάρων σε ένα περιβόλι με σκιερά δέντρα, στο οποίο κατέφυγε να δροσιστεί. Σήμερα υπάρχουν εκεί μόνο τα εξωκλήσια του Αγ. Αθανασίου και της Αγ. Παρασκευής. Το δεύτερο φέρει ενσωματωμένα μαρμάρινα μέλη στην τοιχοποιία του και την επιγραφή: “ΚΤΗΜΑ ΑΝΤΩΝΙΟΥ ΒΕΛΙΣΑΡΙΔΗ ΤΗ 20 ΑΒΓΟΥΣΤ… 192…” Στο εσωτερικό του υπάρχει εικόνα του 1858 του αγιογράφου Ευστρατίου Ιμβρίου.