Instructions:

1.  This problem set consists of 5 problems worth a total of 100 points (each worth 20 points).

2.  All submissions must be made online via Canvas as a single pdf file with your name showing on the first page. Your solutions may include typed pages and/or scanned handwritten pages and/or R codes/outputs (if applicable).  But they must be all combined into a single pdf file.

3.  It is your responsibility to ensure that your uploaded solutions are complete and fully legible, especially if there are scans involved.  If not, the TA may be forced to ignore those parts!

4.  The deadline is strict. No unwarranted exceptions or extension requests will be entertained.

5.  Your proofs/arguments must be rigorous and complete.  Please make sure to show all details of your work, including intermediate steps/reasonings – otherwise points will be deducted.

6.   You are only allowed to use (without proof) any result from the lecture notes in your solutions – make sure to properly cite them (e.g., slide/result number) when using them in your proofs.

Problems:

1.  Let x1  =  (1, 1, 0, 0), , x2  =  (0, 0, 1, 1), , X =  (x1 , x2 ), β =  (β1 , β2 ), , Y =  (Y1, . . . , Y4 ), , and

assume E(Y) = Xβ and Var(Y) = σ2 I4 .

(a)  Find the vector d such that d,Y is the BLUE for 3β1  - β2 .

(b)  Let a = (2, 1, -1, 0), .  Show that a,Y is unbiased for 3β1  - β2 .

(c)  Find a(-) := p{ajC(X)}, and evaluate Var(d,Y), Var(a,Y) and Var(a(-),Y).  Comment on the results (howa(-) compares to d, and how the 3 variances compare among each other).

(d)  Derive a test statistic and its null distribution for testing the hypothesis – H0  : β1  = β2 .

Suppose Y = (6, -1, 3, 8),  is observed.  Perform. this test and report its result in terms of the P-value for a two-sided alternative, and your conclusion at a level Q = 0.05.

2.  Let Yn ×1 = Xn ×k βk ×1 +εn ×1, where ε ~ N (0, σ2 In ) and rank(X) = r ≤ k (so X may not be full-column rank).  Consider the minimum-norm least squares estimator: β = (X, X)+ X,Y.

(a)  Derive the distribution of β - β (showing clearly its mean and variance).

(b)  Show that β is unbiased for β if and only if β ∈ C(X, ), and that this holds uniformly in β (i.e., for any β ∈ Rk ) if and only if X is full-column rank.

(c)  Let θi  := Xi(I)β- (i = 1, . . . , n).  Show that θi  := Xi(I)β is always unbiased for θi  (even if β is not!) and (θi − θi )/(√iS) ∼ tn —r (0), where √i(2) = Xi(I)(XIX)+ Xi.  Give a 95% CI for θi.

(d)  Derive 95% CIs (of anon-trivial 2-sided form. [a, b]; a > 0) for σ2  and E(ⅡXβ − XβⅡ2 ).

3.  Consider the linear model:  E(Yn ×1) = Xn ×k βk ×1 and Var(Y) = σ 2 In , with rank(X) = k.

Let Σn ×n be any given pd matrix and consider the estimator βΣ := (XI ΣX)—1XI ΣY of β .

(Note that the usual OLS estimator β = (XIX)—1XIY is a special case of βΣ with Σ = In.)

(a)  Show that for any Σ as above, (XI ΣX)k ×k is non-singular (so that βΣ is well-defined).

(b)  Show that cIβΣ (for any Σ as above) is a LUE of the LPF cIβ, for any c ∈ Rk .

(c)  Show that E(Ⅱβ − βⅡ2 ) ≤ E(ⅡβΣ − βⅡ2 ), where β is the usual OLS estimator.  (So the

result shows that βΣ is no more e   cient than β in terms of their respective MSEs.)

Consider now a new linear model with the same triplet (Y, X, β) but with diferent assump- tions as follows: E(Y) = Xβ (still) but Var(Y) = σ 2 Σ—1 [equivalently, Var(Σ1/2Y) = σ2 In].

(d)  Show that under this model, E(Ⅱβ −βⅡ2 ) ≥ E(ⅡβΣ −βⅡ2 ) [thus (c) gets reversed now].

4.  Suppose Y8×1  = (Y11 , Y12 , Y13 , Y14 , Y21 , Y22 , Y23 , Y24 )I  and the model for E(Y) is specified as:

E(Yij )  = μ + Qi + θxij ,   i =  1, 2  and  j  =  1, . . . , 4,   where

(x11 , x12 , x13 , x14 , x21 , x22 , x23 , x24 )I  = (1, 2, −2, 4, −1, 3, 0, 3)I . Let β := (μ, Q1 , Q2 , θ) ∈ R4 .   (a)  Let Ω be the set of possible values for E(Y) as β varies over R4 .  Determine dim(Ω). (b)  Determine which, if any, of the individual parameters in β are estimable.

(c)  Show that Q1  − Q2  is estimable, and so is μ + Qi  + θx for every x ∈ R and i = 1, 2.

5.  Consider the linear model: E(Yn ×1) = Xn ×k βk ×1 = X1β 1 + X2β2 , where each Xj  is n × kj and βj  is kj × 1 (kj ≥ 1) for j = 1, 2, so that X = (X1, X2 ), β = (β1(I) , β2(I))I  and k1 + k2  = k.

Under this model, consider the LPF cIβ ≡ c2(I)β2  for any c2 ∈ Rk2 .  Let Tn ×n  := PX − PX1 .

Show that the LPF c2(I)β2  is estimable under the model above if and only if c2 ∈ C(X2(I)T).

(Note: The lesson here is that although the LPF c2(I)β2  depends only on the sub-vector β2  of β, its estimability is not equivalent to requiring c2(I) ∈ the row space of X2  (the corresponding design sub-matrix), though it may be tempting to think so!  Rather, it requires c2(I) ∈ the row space of (PX − PX1)X2 , i.e., the ‘version’ of X2  with columns orthogonalizedw.r.t.  C(X1 ).)