Yahya Efendi Dergahını yaptırdığı zaman o civarda Ortaköy Rumlarından başka kimseler yoktu. Bir gün bir Rum Çoban, davar güderken koyunlarından iki tanesi dergâhın bahçesine girmiş. Koyunlarını çıkarmak maksadıyla dergahın bahçesine giren çoban, bir dervişin:

- Ne arıyordun? sorusuyla irkilerek:

-Koyunlarımı arıyordum, demiş.

Çobanı gören Yahya Efendi, Rum Çobanı dergaha içeri aldırmış, o na:

-Gel bakalım gel... Koyunlarını mı istersin, kendini mi? Yoksa ikisini birden mi, ne dersin? diyerek, çobanı rahat bir yere oturtarak:

-Yağ, bal ve ekmek getirin demesiyle, hemen anında sofra kuyrulmuş, isteneler gelmiş, sofra kurulunca Yahya Efendi, Rum Çobana:

-Hayde bakalım, bismillâh buyur, işte sana tereyağı, mumlu bal ve taze nan, ister ise yağa ban, ister isen bala ban, demiş.

Bu tatlı ortamdan sonra, çoban koyunlarına değil de kendine talib olmuş, o gün, orada, o vesileyle Müslüman olduğu için adı Balaban kalmış.