Изначально (в XIV веке) город носил название Йетачер (Getakär), но в начале XV века был переименован по близлежащей крепости в Варберг.

Варберг расположен на западном побережье страны и славится своими песчаными пляжами. К северу от города побережье слегка меняется и песчаные пляжи переходят в каменные террасы. Варберг — популярный летний курорт и многие жители из промышленных городов, таких как Бурос, либо проводят в Варберге лето, либо приезжают туда на несколько дней на отдых.