Здравствуйте. Виза для посещения страны не нужна. Поэтому выйти в город можно. При пересадке менее 6 часов не рекомендую уезжать далеко от аэропорта. Но 8 часов должно хватить. Но имейте ввиду, что скорее всего на Баку у Вас будет не более 3-4 часов и заранее составьте маршрут что хотите посетить, чтобы уже ехать целенаправленно и не терять время.
Вот как из Тбилиси в Батуми знаю, а вот в другую страну через границы таких "разных" стран, в том числе по вероисповеданию, как Грузия, Азербайджан и Армения не рискнул бы. Хотя люди ездят на своих машинах.
Москва