Şehrin adı ve ne zaman kurulduğu hakkında ki bilgiler çok kesin değildir. Bu gün bilinen isminin Ortaçağ Ermeni kaynaklarında: Payberd, Bizans kaynaklarında; Payper, Baberd, Paypert. XIII. Yüzyıl sonlarında bu bölgeden geçen Marko Polo'nun seyhatnamesinde; Paipurth, Baiburt. Arap kaynaklarında; Babirt, II. Mesud adına 1291 'de basılan bir parada Baypırt. Akkoyunlu tarihinden bahseden çağdaş eserlerde Papirt şeklinde geçen kelimenin son hecesi Berd'in "yüksek kale" anlamına geldiği bilinmekteyse de ilk hecesine bir mana verilememektedir. 1647 yılında şehri ziyaret eden Evliya Çelebi Bayburt adının zengin manasına gelen "Bay" belde manasına gelen "yurt" gibi iki kelime ile izah eder. Osmanlı dönemine ait kaynaklar ise ismi bu günkü söylenişine uygun olarak Bayburt şeklinde kaydederler.​