Podle pověstí pochází Babalú Ajé ze země Arara neboli z bývalého království Dahomé. Nějakou dobu tam žil a dařilo se mu docela dobře. Poté musel odejít, údajně proto, že nerespektoval starší božstva, která na něj seslala neštovice jako trest za jeho zpupnost. Jeho tělo se pokrylo vřídky a nebyl na něj pěkný pohled. Všichni jej začali odmítat a vyhánět od svých dveří. Zanedlouho byl Babalú Ajé nejenom nemocný, ale také špinavý a zapáchající. Netrvalo dlouho, a ačkoli byl oriša, nikdy jej už nerespektovali. Dokonce jej na znamení pohrdání polévali vodou.
