A település területe már az őskorban is lakott volt, ezt bizonyítják azok a régészeti leletek, melyek ma a Kassai Múzeumban megtekinthetők. A honfoglalás után királyi birtok volt, nevét az itt letelepített királyi vadászokról kapta. A települést 1279-ben említik először, mikor IV. László Lőrinc fiának, Miklós zólyomi ispánnak adományozta. A család később innen vette fel a Vadász előnevet.
1279-től 1403-ig a Vadász család, majd 1517-ig a Perényiek birtoka volt. Rákóczi Zsigmond és Rákóczi Ferenc tőlük vette meg 1517-ben 3 000 aranyforintért, és ezek után a Rákócziak ezen ága büszkén viselte a Felsővadászi előnevet. A 16. században a Rákócziak egy erődített várkastélyt építettek a birtokon, melyet 1567-ben ostrom alá vett, majd felgyújtott Hasszán temesvári pasa. A feldúlt falu lakosságának nagy része ekkor elvándorolt. 1600 körül Rákóczi Zsigmond a falut rendbe tetette, a kastélyt és a templomot felújíttatta, a lakókat pedig protestáns hitre térítette. Zsigmond ide vonult vissza fejedelmi székéből, és 1608 decemberében itt hunyt el. Ezt követően még egy teljes évszázadig a Rákóczi-család névadó birtoka volt. II. Rákóczi Ferenc is előszeretettel tartózkodott Felsővadászon, itt nevelkedett, és a falu plébániájának 1707-ben ajándékozott egy szarvasbőrből készült miseruhát is. Királyi adomány útján 1713-ban Meskó Jakab tulajdona lett a II. Rákóczi Ferenctől elkobzott kastély.
A ruszin népesség a szabadságharc után 1750-ben fából készült görögkatolikus templomot szenteltetett fel, melyet az 1860-ban pusztító nagy szélvihar lerombolt, használhatatlanná tett. A jelenleg is a településen álló Kisboldogasszony-templomot 1864-ben építették.
A kastély egészen az 1800-as évek elejéig a Meskó család tulajdona volt, de ekkor gróf Vay Ádám – II. Rákóczi Ferenc fő bizalmasának leszármazottja – megvásárolta, és 1945-ig a Vay család tulajdona volt. A kastély az 1860-ban történt átépítés során nyerte el romantikus stílusát, a második világháború végétől napjainkig pedig általános iskola működik benne.
Felsővadászt Bedő Albert 1896-ban készített térképén mezővárosként jelölte. A Rákóczi-kastély külsőleg jelenleg is eredeti formájában látható, dísztermében II. Rákóczi Ferenc portréja és korabeli bútorok találhatók. A kétszintes épület összetett alaprajzú, sávosan vakolt, romantikus stílusú. A kastély 1956 óta körzeti általános iskolaként működik jelenleg is, amely megtalálható a Rákóczi téren.