„Shiba“ sa vzťahuje na typ malého kefy nachádzajúcich sa v horských oblastiach Japonska. Slovo „Shiba“ sa používa na opis niečoho malého, kompaktného alebo rustikálneho. V prípade Shiba INU sa pravdepodobne týka malej veľkosti psa a jeho súvislosti s vidieckymi oblasťami.
„Inu“ jednoducho znamená „pes“ v japončine. Je to bežné slovo, ktoré sa používa na označenie akéhokoľvek typu psa, bez ohľadu na plemeno.
Slovo „Shiba inu“ sa doslova prekladá na „Pes Brushwood“ alebo „malý rustikálny pes“. Tento názov odráža pôvod psa a jeho spojenie s vidieckymi oblasťami Japonska, kde bol chovaný.