Istoriniai šaltiniai liudija, kad pirmą kartą Vokės vardas paminėtas 1375 m., kai pro šią vietovę žygiavo kryžiuočių kariuomenė. Tuo metu vyko Lietuvos Didžiosios Kunigaikštystės ir kryžiuočių ordino kariuomenės mūsis. 1396 – 1397 m. Vytautas Didysis čia apgyvendino totorius. Iš išlikusių dokumentų matyti, kad žemės valda Vokė – dabartinės Trakų Vokės dalis – priklausė totoriui Atikiezui Bezgimovičiui, kurią jis gavo iš savo žmonos, bet jam mirus be paveldėtojų, atiteko totoriui Abrahimui Zavackiui, o šis XVII a. pradžioje ją pardavė tuometiniam LDK arklidininkui Povilui Sapiegai.
Vietovė pavadinta pafal pro ją tekančią Vokės upę. Vietovardis susijęs su Vytauto Didžiojo laikais į Lietuvą atsikėlusiais totoriais. Kaip rašo menotyrininkė Birutė Vitkauskienė, Peterburgo universiteto tiurkų literatūros profesorius Antonas Muchlinskis, vienas pirmųjų ėmęsis tyrinėti Lietuvos totorių archyvus, teigė, kad Vokė – tai viena iš nedaugelio vietovių, kurioje totoriai gyveno kompaktiškai ir turėjo didelę mečetę.
1812 m. žiemą per totorių akalicas plėšikaudami ir vagiliaudami perėjo prancūzų Didžiosios armijos morodieriai. Anuomet kai kurios mečetės nukentėjo, Vokės buvo sugriauta.