Din intuition er god, men du blander nogle kvante- og klassiske fænomener.
I klassisk (dvs. ikke-kvante) fysik er et vakuum et område af rummet uden betydning. Du kan have elektromagnetiske felter i et vakuum, så længe de ladninger, der skaber felterne, er i en anden region. På samme måde kan du have tyngdekraftsfelter i et vakuum, genereret af masser et andet sted i rummet. I denne klassiske beskrivelse af universet er der ikke sådanne ting som fotoner eller gravitoner, og alt fungerer (for det meste).
I kvantefysik er historien ikke så let. Som du siger, er vores kraftfelter nu også partikler (fotoner og gravitoner), så måske skulle et "kvantevakuum" heller ikke omfatte dem? Desværre viser det sig, at det i kvantemekanik (som rob påpegede) er umuligt at have et perfekt vakuum, en tilstand uden partikler overhovedet. En måde at se dette på er gennem energitids usikkerhedsprincippet: $ \ Delta E \ \ Delta t > \ hbar / 2 $.
Et perfekt vakuum, en tilstand uden partikler overhovedet, skal have nøjagtigt nul energi. Hvis energien er nøjagtigt nul, er den helt sikker, og $ \ Delta E = 0 $, der overtræder usikkerhedsprincippet. Så kvantevakuumet er ikke en tilstand med nul partikler, det er en tilstand med sandsynligvis nul partikler. Og i forskellige situationer kan det være nyttigt at ændre din definition af "sandsynligvis", så der er mange forskellige ting, som fysikere vil kalde et "vakuum" i kvantemekanik.
Denne idé, at der kvantemekanisk altid er nogle partikler rundt i enhver region i rummet, har nogle seje konsekvenser, som vi har verificeret i laboratoriet! Den ene er Casimir-effekten. Dette er en kraft, der dukker op, når du bevæger to objekter i et vakuum så tæt sammen, at trykket fra disse "virtuelle" fotoner får dem til at tiltrække. En anden er den partikel, de opdagede ved LHC, Higgs Boson. Higgs-feltet har en "vakuumforventningsværdi", et perfekt kvantevakuum vil have et Higgs-felt, der ikke er nul, igennem det. Excitationer af dette felt er de Higgs-partikler, der findes ved LHC!