Een opmerkelijk bijzonder ingerichte stad, verdeeld in het havengebied, het oude centrum van Karlovassi, de middelste stad, de nieuwe en de baai. Daarom spreken de inwoners van hun stad in het meervoud van Karovasia.
De naam zou zijn afgeleid van de Turkse woorden Karli-Ovasi, dat betekent sneeuwvallei, maar omdat het bijna nooit sneeuwt in Karlovasi heeft menigeen grote twijfels of dit verhaal klopt.
Auteur Zafeiriou ondersteunt het idee dat de plaats aanvankelijk Kariova werd genoemd, later veranderd in Karlovassi. Nikos Dimitriou schrijft in zijn boek Samos folklore, dat de plaatsnaam is afgeleid van de achternaam Karlovas, dit is waarschijnlijk de juiste interpretatie.
Karlovassi was ooit een belangrijk commercieel en industrieel centrum voor de verwerking van leer, met een groot exportvolume. De vele herenhuizen, de grote en rijkelijk versierde kerken en verlaten fabrieken getuigen van zijn vroegere welvaart. 3 km ten zuidoosten van Karlovassi, naast de weg die naar Konteika leidt, bevindt zich het klooster van Profitis Elias (Profeet Elias) op een hoogte van 200 meter. De bouw ervan begon in 1739 door de monniken Neophilos en Gregorios.
Ten westen van Karlovassi ligt ook het strand van Potami. Er komt een warmwaterbron tevoorschijn en de kapel van Metamorphosi dateert uit de 11e eeuw en wordt beschouwd als de oudste op Samos. De Mathematische Instituut van de Universiteit van de Egeïsche Zee is gevestigd in een uniek gebouw in de stad.
De gezelligheid die u in Kokkari en Pythagorion aantreft, zult u waarschijnlijk niet aantreffen. Het mooiste deel van de stad is de oude stad, gebouwd op een heuvel ten zuiden van de haven. In dit deel, gebouwd in 1650 en nu Palio Karlovassi genoemd, staat de Agia Triada-kerk op de heuvel.
