Statistics 8 – Các định lý giới hạn

By blogkinhteluong on

Như ta đã thấy ở các bài trước, không thể dự đoán trước được một cách chắc chắn xem biến ngẫu nhiên sẽ nhận giá trị nào trong các giá trị có thể có của nó khi thực hiện phép thử. Điều đó phụ thuộc vào rất nhiều nhân tố mà ta không thể tính hết được. Tuy nhiên vấn đề sẽ khác đi khi ta xét cùng một lúc một số lớn các biến ngẫu nhiên. Với một số điều kiện khác rộng rãi, hành vi tổng thể của một số lớn các biến ngẫu nhiên lại gần như mất đi tính ngẫu nhiên và trở nên có tính quy luật. Nói cách khác, khi ta tổng hợp một số lượng lớn các biến ngẫu nhiên thì tính ngẫu nhiên của hiện tượng mất đi và quy luật tất nhiên của nó được bộc lộ.

Đối với thực tiễn thì điều quan trọng là phải xác định các điều kiện trong đó tác động đồng thời của rất nhiều nguyên nhân ngẫu nhiên sẽ dẫn đến kết quả gần như không phụ thuộc gì vào các yếu tố ngẫu nhiên nữa, và lúc đó, ta có thể dự đoán được tiến trình của hiện tượng. Các điều kiện này được chỉ ra trong các định lý có tên là các định lý giới hạn mà một vài kết luận của chúng đã được đề cập ở các bài trước. Ở đây, ta sẽ chỉ xét một số định lý có nhiều ứng dụng hơn cả trong thực tế, bao gồm một số định lý của luật số lớn và định lý giới hạn trung tâm.

Trước hết, ta xét một công cụ bổ trợ là bất đẳng thức Trê-bư-sép.

1. Bất đẳng thức Trê-bư-sép:

Nếu X là biến ngẫu nhiên có kỳ vọng toán và phương sai hữu hạn thì với mọi số dương \displaystyle \varepsilon tùy ý ta đều có:

\displaystyle P(\left| {X-E(X)} \right|<\varepsilon )\ge 1-\frac{{V(X)}}{{{{\varepsilon }^{2}}}}

Hay: \displaystyle P(\left| {X-E(X)} \right|\ge \varepsilon )\le \frac{{V(X)}}{{{{\varepsilon }^{2}}}}

Về mặt thực tiễn, bất đẳng thức Trê-bư-sép chỉ cho phép đánh giá cận trên hoặc cận dưới xác suất để biến ngẫu nhiên X nhận giá trị sai lệch so với kỳ vọng toán của nó lớn hơn hoặc nhỏ hơn \displaystyle \varepsilon . Đôi khi sự đánh giá đó là hiển nhiên và không có ý nghĩa. Chẳng hạn nếu \displaystyle V(X)\ge {{\varepsilon }^{2}} thì bất đẳng thức Trê-bư-sép cho kết quả hiển nhiên. Song nó lại có ưu điểm là áp dụng được đối với mọi biến ngẫu nhiên mà không cần biết quy luật phân phối xác suất của nó. Về mặt lý thuyết, bất đẳng thức Trê-bư-sép có ý nghĩa rất to lớn. Nó được sử dụng để chứng minh các định lý của luật số lớn.

2. Định lý Trê-bư-sép:

Nếu các biến ngẫu nhiên \displaystyle {{X}_{1}},{{X}_{2}},...,{{X}_{n}},... độc lập từng đôi, có các kỳ vọng toán hữu hạn và các phương sai đều bị chặn trên bởi hằng số \displaystyle C (\displaystyle V({{X}_{i}})\le C;i=\overline{{1,n}}) thì với mọi \displaystyle \varepsilon dương bé tùy ý ta luôn có:

\displaystyle \underset{{n\to \infty }}{\mathop{{\lim }}}\,P\left( {\left| {\frac{{{{X}_{1}}+{{X}_{2}}+...+{{X}_{n}}}}{n}-\frac{{E({{X}_{1}})+E({{X}_{2}})+...+E({{X}_{n}})}}{n}} \right|<\varepsilon } \right)=1

Hay: \displaystyle \underset{{n\to \infty }}{\mathop{{\lim }}}\,P\left( {\left| {\overline{X}-E(\overline{X})} \right|<\varepsilon } \right)=1

Ở trên, ta giả thiết là các biến ngẫu nhiên \displaystyle {{{X}_{1}},{{X}_{2}},...,{{X}_{n}}} có các kỳ vọng toán khác nhau. Trong thực tế thường gặp trường hợp các biến ngẫu nhiên có cùng một kỳ vọng toán. Lúc đó có thể áp dụng trường hợp riêng của bất đẳng thức Trê-bư-sép như sau:

Nếu \displaystyle {{{X}_{1}},{{X}_{2}},...,{{X}_{n}}} là các biến ngẫu nhiên độc lập từng đôi, có cùng kỳ vọng toán (\displaystyle E({{X}_{i}})=m;i=\overline{{1,n}}) và các phương sai cùng bị chặn trên (\displaystyle V({{X}_{i}})\le C,i=\overline{{1,n}}) thì với mọi \displaystyle \varepsilon dương bé tùy ý, ta luôn có:

\displaystyle \underset{{n\to \infty }}{\mathop{{\lim }}}\,P\left( {\left| {\frac{{{{X}_{1}}+{{X}_{2}}+...+{{X}_{n}}}}{n}-m} \right|<\varepsilon } \right)=1

Định lý trên còn được gọi là luật số lớn của Trê-bư-sép.

Bản chất của định lý Trê-bư-sép là nó chứng minh sự hội tụ theo xác suất của trung bình số học của một số lớn các biến ngẫu nhiên về trung bình số học của các kỳ vọng toán tương ứng. Nói cách khác, nó chứng tỏ sự ổn định của trung bình số học của một số lớn các biến ngẫu nhiên xung quanh trung bình số học của các kỳ vọng toán của các biến ngẫu nhiên ấy.

Như vậy, mặc dù từng biến ngẫu nhiên độc lập có thể nhận giá trị khác nhiều so với kỳ vọng toán của chúng, song trung bình số học của một số lớn các biến ngẫu nhiên lại nhận giá trị gần bằng trung bình số học của các kỳ vọng toán của chúng với xác suất rất lớn. Điều đó cho phép dự đoán giá trị của trung bình số học của các biến ngẫu nhiên.

Trong thực tế, định lý Trê-bư-sép có ứng dụng rộng rãi trong nhiều lĩnh vực, chẳng hạn trường hợp riêng của nó chính là cơ sở cho phương pháp đo lường trong vật lý. Để xác định giá trị của một đại lượng vật lý nào đó, người ta thường tiến hành đo n lần và lấy trung bình số học của các kết quả đo làm giá trị thực của đại lượng cần đo. Thật vậy, giả sử xem kết quả đo của n lần đo là các biến ngẫu nhiên \displaystyle {{X}_{1}},{{X}_{2}},...,{{X}_{n}}. Ta thấy rằng đối với các biến ngẫu nhiên này có thể áp dụng được trường hợp riêng của định lý Trê-bư-sép vì chúng độc lập với nhau (từ đó chúng cũng độc lập từng đôi một với nhau), có cùng kỳ vọng toán vì nếu không có sai số hệ thống thì kỳ vọng toán của các biến ngẫu nhiên ấy chính bằng giá trị thực của đại lượng vật lý. Cuối cùng các phương sai của chúng đều bị chặn trên bằng độ chính xác của thiết bị đo. Do đó theo định lý Trê-bư-sép ta có thể chứng tỏ rằng trung bình số học của các kết quả đo sẽ sai lệch rất ít so với giá trị thực của đại lượng vật lý và điều đó xảy ra với xác suất gần như bằng 1.

Định lý Trê-bư-sép còn là cơ sở cho một phương pháp được áp dụng rộng rãi trong thống kê là phương pháp mẫu mà thực chất nó là dựa vào một mẫu ngẫu nhiên khá nhỏ có thể kết luận về toàn bộ tập hợp tổng quát của các đối tượng được nghiên cứu. Chẳng hạn, để đánh giá năng suất cây trồng của một vùng nào đó, người ta không cần phải điều tra trên toàn bộ diện tích của vùng đó mà chỉ dựa vào kết quả thu hoạch được của một mẫu ngẫu nhiên khá nhỏ mà vẫn đưa ra được các kết luận đủ chính xác về năng suất cây trồng của vùng đó.

Qua vài ví dụ như vậy có thể thấy được ý nghĩa to lớn của định lý Trê-bư-sép đối với thực tiễn.

3. Định lý Bernoulli:

Nếu \displaystyle f là tần suất xuất hiện biến cố A trong \displaystyle n phép thử độc lập và \displaystyle p là xác suất xuất hiện biến cố đó trong mỗi phép thử thì với mọi \displaystyle \varepsilon dương bé tùy ý, ta luôn có:

\displaystyle \underset{{n\to \infty }}{\mathop{{\lim }}}\,P\left( {\left| {f-p} \right|<\varepsilon } \right)=1

Định lý trên còn được gọi là luật số lớn của Bernoulli.

Định lý Bernoulli chứng minh sự hội tụ theo xác suất của tần suất xuất hiện biến cố trong n phép thử  độc lập về xác suất xuất hiện biến cố đó trong mỗi phép thử khi số phép thử tăng lên vô hạn. Nó chứng tỏ sự ổn định của tần suất xung quanh giá trị xác suất của biến cố đó.

Định lý Bernoulli là cơ sở lý thuyết của định nghĩa thống kê về xác suất, do đó nó cũng là cơ sở cho mọi áp dụng của định nghĩa thống kê về xác suất trong thực tế.

Chú ý rằng, trong các định lý của luật số lớn, ta chỉ đề cập đến sự hội tụ theo xác suất chứ không phải sự hội tụ theo nghĩa thông thường của giải tích toán học. Chẳng hạn, theo định lý Bernoulli, không thể kết luận rằng \displaystyle \underset{{n\to \infty }}{\mathop{{\lim }}}\,f=p, tức là không thể kết luận khi n đủ lớn thì f sẽ luôn luôn sai lệch không đáng kể so với p. Sự hội tụ theo xác suất chỉ có nghĩa là khi n đủ lớn thì việc f và p sai lệch nhau không đáng kể sẽ có thể xem như có xác suất bằng 1.  Như vậy thì với từng giá trị riêng biệt của n, bất đẳng thức vẫn có thể không thỏa mãn, tức là f và p vẫn có thể sai lệch nhau đáng kể. Vì vậy định lý Bernoulli có thể viết ngắn gọn: khi \displaystyle n\to \infty thì f hội tụ theo xác suất về p.

4. Định lý giới hạn trung tâm:

Định lý giới hạn tổng quát hơn cả là định lý giới hạn trung tâm của Liapunov. Ở đây, ta chỉ xét một trường hợp của nó được sử dụng nhiều trong thống kê. Trước hết, ta xét khái niệm hàm đặc trưng.

4.1. Hàm đặc trưng: 

a. Định nghĩa:

Hàm đặc trưng của biến ngẫu nhiên X là kỳ vọng toán của biến ngẫu nhiên \displaystyle {{e}^{{itx}}} và được ký hiệu là \displaystyle {{\varphi }_{X}}(t). Tức là:

\displaystyle {{\varphi }_{X}}(t)=E\left[ {{{e}^{{itx}}}} \right]=E(\cos tX)+iE(\sin tX)

Như vậy, nếu X là biến ngẫu nhiên rời rạc thì:

\displaystyle {{\varphi }_{X}}(t)=\sum\limits_{j}{{{{e}^{{itx}}}{{P}_{j}}}}

Còn nếu X là biến ngẫu nhiên liên tục thì:

\displaystyle {{\varphi }_{X}}(t)=\int\limits_{{-\infty }}^{{+\infty }}{{{{e}^{{itx}}}f(x)dx}}

b. Các tính chất của hàm đặc trưng:

1) \displaystyle \left| {{{\varphi }_{X}}(t)} \right|\le 1

2) Nếu \displaystyle Y=ax+b thì \displaystyle {{\varphi }_{Y}}(t)={{e}^{{ibt}}}{{\varphi }_{X}}(at).

3) \displaystyle F(x) xác định một cách duy nhất theo hàm đặc trưng \displaystyle {{\varphi }_{X}}(t).

4) Nếu \displaystyle {{X}_{1}},{{X}_{2}},...,{{X}_{n}} là các biến ngẫu nhiên độc lập thì:

\displaystyle {{\varphi }_{{{{X}_{1}}+{{X}_{2}}+...+{{X}_{n}}}}}(t)=\prod\limits_{{k=1}}^{n}{{{{\varphi }_{{{{X}_{k}}}}}(t)}}

5) Nếu tồn tại \displaystyle E{{\left| X \right|}^{k}} thì hàm đặc trưng \displaystyle {{\varphi }_{X}}(t) cũng tồn tại đạo hàm đến bậc k tại mọi điểm t (khả vi đến bậc k tại mọi điểm t).

6) Nếu \displaystyle \left\{ {{{F}_{n}}(x)} \right\} là dãy hàm phân bố xác suất và \displaystyle \left\{ {{{\varphi }_{n}}(t)} \right\} là dãy các hàm đặc trưng tương ứng thì điều kiện cần và đủ để \displaystyle \left\{ {{{F}_{n}}(x)} \right\} hội tụ yếu (tức là hội tụ tại các điểm \displaystyle {{{F}_{n}}(x)} liên tục) tới hàm phân bố xác suất \displaystyle F(x) là \displaystyle \left\{ {{{\varphi }_{n}}(t)} \right\} hội tụ tại mọi t đến hàm đặc trưng \displaystyle \varphi (t) tương ứng với \displaystyle F(x).

Với khái niệm hàm đặc trưng, ta sẽ xét định lý giới hạn trung tâm sau đây:

4.2. Định lý Lindenberg – Lewi:

Nếu \displaystyle {{X}_{1}},{{X}_{2}},...,{{X}_{n}} là một dãy các biến ngẫu nhiên độc lập cùng tuân theo một quy luật phân phối xác suất nào đó với kỳ vọng toán và phương sai hữu hạn: \displaystyle E({{X}_{k}})=a;V({{X}_{k}})={{\sigma }^{2}};\forall k, thì quy luật phân phối xác suất của biến ngẫu nhiên:

\displaystyle U_{n}^{c}=\frac{{{{U}_{n}}-E({{U}_{n}})}}{{\sqrt{{V({{U}_{n}})}}}} với \displaystyle {{U}_{n}}=\sum\limits_{{k=1}}^{n}{{{{X}_{k}}}}

sẽ hội tụ khi \displaystyle n\to \infty tới quy luật chuẩn hóa \displaystyle N(0,1).

Tức là: \displaystyle P(U_{n}^{c}<x)=\frac{1}{{\sqrt{{2\pi }}}}\int\limits_{{-\infty }}^{x}{{{{e}^{{-\frac{{{{t}^{2}}}}{2}}}}dt}}

Về mặt thực hành, người ta có thể ứng dụng định lý giới hạn trung tâm như sau:

Với n đủ lớn, ta có thể cho rằng :

\displaystyle P(U_{n}^{c}<x)\approx \frac{1}{{\sqrt{{2\pi }}}}\int\limits_{{-\infty }}^{x}{{{{e}^{{-\frac{{{{t}^{2}}}}{2}}}}dt}}=\phi (x)

Hoặc:

\displaystyle P\left( {a<{{U}_{n}}<b} \right)\approx {{\phi }_{0}}\left( {\frac{{b-E({{U}_{n}})}}{{\sqrt{{V({{U}_{n}})}}}}} \right)-{{\phi }_{0}}\left( {\frac{{a-E({{U}_{n}})}}{{\sqrt{{V({{U}_{n}})}}}}} \right)

Tham khảo:

– Chương 5 – Giáo trình Lý thuyết Xác suất & Thống kê Toán – ĐH KTQD – 4th edition.

…

Posted in: Lý thuyết, Xác suất thống kê (Statistics)

Comment