Det problem, du tænker på, er kendt som spørgsmålet om termodynamisk grovkornning . Dette vil forhåbentlig give dig en sætning, som du kan søge på for at finde ud af mere.
Nogle gange er mulige tilstande for ensemblemedlemmer åbenlyst diskrete, da de er i en samling kvanteharmoniske oscillatorer. Meget af kvantemekanikken afhænger af, at det underliggende Hilbert-tilstandsrum er adskillelig ( dvs. har en tællelig tæt delmængde), og for Hilbert-rum svarer dette til påstanden om, at selve vektorbasis kan tælles. Så selvom en observerbar som momentum eller position har et kontinuerligt spektrum ( dvs. kan give en kontinuerlig tilfældig variabel som en måling), er det underliggende tilstandsrum ofte diskret. I OP'ernes særlige eksempel kan du modellere gassen som et system af partikler i en 3D-kasse (hat tip til bruger knzhou for at minde mig om dette punkt), så tilstandsrummet for ensemblemedlemmer er klart diskret. Når vi hæver lydstyrken på vores boks, stiger tætheden af stater (diskuteret mere i Chris svar) i forhold til boksens rumlige volumen, og derfor gør entropien det også. I grænsen for et meget stort gasvolumen er entropien pr. Volumenhedsenhed en veldefineret, endelig grænse.
I tilfælde hvor statsrummet ikke er åbenlyst diskret, skal man ty til brugen af grovkorn eller relativ entropi.
Grovkorn er den noget vilkårlige opdeling af ensemble-medlemmers statsrum i diskrete undergrupper, hvor stater, der tilhører en given partition, derefter anses for at være de samme. Således samles et kontinuerligt tilstandsrum i en diskret tilnærmelse. Mange konklusioner fra statistisk mekanik er ufølsomme over for en sådan sammenklumpning.
Relativ entropi defineres i informationsteoretisk forstand for en kontinuerlig tilfældig variabel som en grov entropiændring i forhold til en eller anden "standard" kontinuerlig tilfældig variabel, såsom en styret af en Gaussisk fordeling . Vi ser det problem, du har at gøre med, hvis vi naivt prøver at finde ud af Shannon-entropien for en kontinuerlig tilfældig variabel med sandsynlighedsfordeling $ p (x) $ som grænsen for en diskret sum:
$$ S \ approx - \ sum \ limits_i p (x_i) \, \ Delta x \, \ log (p (x_i) \, \ Delta x) = - \ log (\ Delta x) \, \ sum \ limit_i p (x_i) \, \ Delta x - \ sum \ limits_i p (x_i) \, \ Delta x \, \ log (p (x_i)) \ tag {1} $$
De to summer i det yderste udtryk konvergerer OK, men vi modvirkes af faktoren $ \ log (\ Delta x) $, som naturligvis divergerer. Men hvis vi tager forskellen mellem entropien for vores $ p (x) $ og en "standard" fordeling, giver vores beregning:
$$ \ Delta S \ approx - \ log (\ Delta x) \, \ left (\ sum \ limits_i p (x_i) \, \ Delta x- \ sum \ limits_i q (x_i) \, \ Delta x \ højre) - \ sum \ grænser_i \ venstre (p (x_i) \, \ log (p (x_i)) - q (x_i) \, \ log (q (x_i)) \ højre) \, \ Delta x \ tag {2} $$
en mængde, der konvergerer til $ \ int \ left (p \ log p - q \, \ log q \ right) \ mathrm {d} x $. Den sædvanlige relative entropi er ikke helt den samme som denne definition (se artikler - definitionen er ændret for at gøre målingen uafhængig af reparameterisering), men dette er den grundlæggende idé. Ofte droppes konstanterne i grænsen på (2), og man ser størrelsen $ - \ int \, p \, \ log p \, \ mathrm {d} x $ defineret som den ukvalificerede (relative) entropi af fordelingen $ p (x) $.
Grovkornning, i denne beregning ville det blot være at vælge en konstant $ \ Delta x $ i (1). (1) er derefter omtrent den relative entropi $ - \ int \, p \, \ log p \, \ mathrm {d} x $ opvejet af den konstante $ - \ log (\ Delta x) $. Derfor, så længe:
- Vi holder fast med en konstant $ \ Delta x $ i en given diskussion;
- $ \ Delta x $ er lille nok i forhold til variationerne i sandsynlighedstætheden, så $ \ sum \ limits_i p (x_i) \, \ Delta x \, \ log (p (x_i)) \ approx \ int p\, \ log p \, \ mathrm {d} p $;
- Vores beregninger og fysiske forudsigelser har kun at gøre med forskelle mellem entropier (som det mest er tilfældet)
så giver tilgangen til grovkorn og relative entropier identiske fysiske forudsigelser uafhængigt af den nøjagtige valgte $ \ Delta x $.
En god gennemgang af disse ideer med historisk diskussion findes i:
Katinka Ridderbos, "Den grovkornende tilgang til statistisk mekanik: hvor salig er vores uvidenhed?", Studies in History and Philosophy of Modern Physics , 33, pp65-77, 2002