Hlavnými nepriateľmi rybárskeho orla sú iní draví vtáky, ako jastrabia, a občas ľudia. Kvôli svojej veľkosti a hravosti je rybársky orol zvyčajne dobre vybavený na obranu svojho územia.
Ako mnohé dravé vtáky majú rybárske orly ostrý zrak a sú prispôsobené na lov, čo im pomáha udržať potenciálnych protivníkov v šachu.