Slovo „shiba inu“ (柴犬) spája dve japonské slová: „shiba“ (柴) a „inu“ (犬).
„Shiba“ sa vzťahuje na druh malého keřoviny v japonských horách, čo navrhuje niečo malé, kompaktné alebo rustikálne. „Inu“ jednoducho znamená „pes“.
Spolu „Shiba Inu“ priblížne prekladá ako „pes z keřoviny“ alebo „malý rustikálny pes“, čo odráža pôvod plemene v japonských vidieckych oblastiach.