label budget

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%22fewlab%3E%3D3.0%22%2C%20%22marimo%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22pandas%3D%3D3.0.2%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%22%22%22Which%20websites%20should%20you%20pay%20to%20label%3F%20A%20marimo%20notebook.%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20import%20fewlab%0A%0A%20%20%20%20return%20fewlab%2C%20mo%2C%20np%2C%20pd%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Which%20websites%20should%20you%20pay%20to%20label%3F%0A%0A%20%20%20%20A%20browsing%20panel%20records%20who%20visited%20what.%20You%20want%20to%20regress%20something%0A%20%20%20%20about%20the%20*sites*%20on%20features%20of%20the%20*people*%3A%20whether%20older%20adults%0A%20%20%20%20encounter%20more%20trackers%2C%20whether%20education%20predicts%20news%20consumption.%20But%0A%20%20%20%20determining%20what%20a%20site%20is%20costs%20money%2C%20and%20you%20cannot%20afford%20all%20of%20them.%0A%0A%20%20%20%20This%20notebook%20runs%20the%20whole%20decision%20on%20a%20real%20panel%20where%20every%20label%20is%0A%20%20%20%20already%20known%2C%20so%20the%20answer%20can%20be%20checked%20against%20the%20truth%20instead%20of%0A%20%20%20%20argued%20about.%0A%0A%20%20%20%20%23%23%20The%20data%0A%0A%20%20%20%201%2C132%20US%20panelists%20metered%20for%20June%202022%20and%2034%2C078%20domains%20whose%0A%20%20%20%20Blacklight%20tracking%20scan%20succeeded.%20Identifiers%20are%20salted%20hashes%3B%20no%0A%20%20%20%20domain%20name%20or%20panelist%20is%20recoverable.%20The%20matrix%20is%200.27%25%20dense%2C%20so%20it%0A%20%20%20%20arrives%20in%20long%20format%20and%20stays%20that%20way.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pd)%3A%0A%20%20%20%20data%20%3D%20mo.notebook_location()%20%2F%20%22public%22%0A%20%20%20%20visits%20%3D%20pd.read_csv(str(data%20%2F%20%22visits.csv.gz%22))%0A%20%20%20%20labels%20%3D%20pd.read_csv(str(data%20%2F%20%22labels.csv.gz%22)).set_index(%22entity%22)%0A%20%20%20%20features%20%3D%20pd.read_csv(str(data%20%2F%20%22features.csv.gz%22)%2C%20index_col%3D0)%0A%0A%20%20%20%20MEASURES%20%3D%20%5B%22ddg_join_ads%22%2C%20%22third_party_cookies%22%5D%0A%20%20%20%20labels%20%3D%20labels%5BMEASURES%5D.astype(float)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%7Bvisits.user.nunique()%3A%2C%7D%20panelists%2C%20%7Blen(labels)%3A%2C%7D%20domains%2C%20%22%0A%20%20%20%20%20%20%20%20f%22%7Blen(visits)%3A%2C%7D%20nonzero%20cells%22%0A%20%20%20%20)%0A%20%20%20%20return%20MEASURES%2C%20features%2C%20labels%2C%20visits%0A%0A%0A%40app.cell%0Adef%20_(features%2C%20fewlab%2C%20labels%2C%20visits)%3A%0A%20%20%20%20study%20%3D%20fewlab.Study.from_long(%0A%20%20%20%20%20%20%20%20visits%2C%0A%20%20%20%20%20%20%20%20features%2C%0A%20%20%20%20%20%20%20%20unit%3D%22user%22%2C%0A%20%20%20%20%20%20%20%20entity%3D%22entity%22%2C%0A%20%20%20%20%20%20%20%20count%3D%22visits%22%2C%0A%20%20%20%20%20%20%20%20entities%3Dlabels.index%2C%0A%20%20%20%20)%0A%20%20%20%20study%0A%20%20%20%20return%20(study%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Before%20buying%20anything%2C%20check%20that%20a%20design%20can%20help%0A%0A%20%20%20%20If%20every%20site%20influences%20the%20regression%20in%20the%20same%20direction%20and%20they%0A%20%20%20%20differ%20only%20in%20magnitude%2C%20then%20every%20criterion%20ranks%20sites%20identically%20and%0A%20%20%20%20the%20choice%20of%20estimand%20stops%20mattering.%20Read%20the%20spectrum%20against%20a%20noise%0A%20%20%20%20floor%20of%20about%20%601%2Fsqrt(mean%20count)%60%2C%20not%20against%20a%20fixed%20cutoff.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20study)%3A%0A%20%20%20%20spectrum%20%3D%20study.diagnostics%5B%22direction_spectrum%22%5D%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22Spectrum%3A%20%60%7Bnp.round(spectrum.to_numpy()%2C%203)%7D%60%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22Effective%20directions%3A%20**%7Bstudy.diagnostics%5B'effective_directions'%5D%7D**%2C%22%0A%20%20%20%20%20%20%20%20%22%20so%20this%20population%20has%20real%20structure%20to%20exploit%20and%20the%20declared%22%0A%20%20%20%20%20%20%20%20%22%20loss%20will%20matter.%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What%20each%20site%20is%20worth%0A%0A%20%20%20%20%60b_j%60%20is%20site%20%60j%60's%20contribution%20to%20the%20design%20risk.%20It%20needs%20no%20labels%3A%0A%20%20%20%20only%20the%20visit%20counts%20and%20the%20panelist%20features.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd%2C%20study)%3A%0A%20%20%20%20b%20%3D%20study.scores(loss%3D%22coefficient%22)%0A%20%20%20%20share%20%3D%20b.sort_values(ascending%3DFalse).cumsum()%20%2F%20b.sum()%0A%20%20%20%20tops%20%3D%20%5B10%2C%2050%2C%20250%2C%201000%5D%0A%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%22share%20of%20contribution%20mass%22%3A%20%5Bshare.iloc%5Bk%20-%201%5D%20for%20k%20in%20tops%5D%7D%2C%0A%20%20%20%20%20%20%20%20index%3Dpd.Index(tops%2C%20name%3D%22top%20sites%22)%2C%0A%20%20%20%20).round(3)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20head%20is%20extraordinarily%20concentrated%2C%20which%20is%20exactly%20the%20situation%0A%20%20%20%20the%20design%20is%20for.%0A%0A%20%20%20%20%23%23%20Choose%20a%20budget%0A%0A%20%20%20%20Everything%20below%20this%20slider%20is%20recomputed%20for%20the%20number%20of%20labels%20you%0A%20%20%20%20can%20afford.%20In%20the%20browser%20each%20change%20takes%20several%20seconds%2C%20and%20the%0A%20%20%20%20slider%20responds%20once%20the%20page%20has%20finished%20loading%20Python.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20budget%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20steps%3D%5B100%2C%20250%2C%20500%2C%201000%2C%202000%2C%204000%5D%2C%0A%20%20%20%20%20%20%20%20value%3D250%2C%0A%20%20%20%20%20%20%20%20label%3D%22labels%20to%20buy%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20debounce%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20budget%0A%20%20%20%20return%20(budget%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Build%20the%20design%0A%0A%20%20%20%20%60pi_j%20%3D%20min(1%2C%20lambda%20*%20sqrt(b_j%20%2F%20c_j))%60.%20The%20cap%20at%20one%20is%20not%20a%20separate%0A%20%20%20%20rule%20for%20big%20sites%3A%20the%20set%20it%20binds%20on%20*is*%20the%20certainty%20core.%20Nothing%0A%20%20%20%20is%20assigned%20probability%20zero%20except%20sites%20nobody%20visited%2C%20which%20contribute%0A%20%20%20%20nothing%20and%20so%20cost%20no%20bias.%20That%20is%20what%20keeps%20the%20estimate%20unbiased.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(budget%2C%20mo%2C%20study)%3A%0A%20%20%20%20design%20%3D%20study.design(budget.value)%0A%20%20%20%20core%20%3D%20design.certain%0A%20%20%20%20tail%20%3D%20(design.probabilities%20%3E%200).sum()%20-%20len(core)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7C%20%7C%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20budget%20%7C%20%7Bdesign.budget%3A%2C.0f%7D%20%7C%0A%20%20%20%20%7C%20certainty%20core%20%7C%20%7Blen(core)%7D%20sites%20labeled%20with%20probability%201%20%7C%0A%20%20%20%20%7C%20sampled%20tail%20%7C%20%7Btail%3A%2C%7D%20sites%20at%20pi%20%3C%201%20%7C%0A%20%20%20%20%7C%20largest%20weight%20%7C%20%7Bdesign.diagnostics%5B%22max_weight%22%5D%3A%2C.0f%7D%20%7C%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20core%2C%20design%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Draw%20the%20sample%2C%20label%20it%2C%20estimate%0A%0A%20%20%20%20A%20design%20is%20a%20plan.%20Drawing%20it%20gives%20the%20list%20you%20actually%20send%20to%20be%0A%20%20%20%20labeled.%20The%20cube%20method%20lands%20on%20the%20budget%20exactly%20and%20balances%20on%20the%0A%20%20%20%20influence%20totals%2C%20which%20reduces%20variance%20without%20touching%20the%0A%20%20%20%20probabilities.%20Here%20the%20labels%20are%20already%20known%2C%20which%20is%20what%20makes%20this%0A%20%20%20%20checkable%3B%20in%20practice%20labeling%20is%20the%20step%20that%20costs%20money.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(core%2C%20design%2C%20labels%2C%20mo%2C%20study)%3A%0A%20%20%20%20sample%20%3D%20study.draw(design%2C%20random_state%3D0)%0A%20%20%20%20est%20%3D%20study.estimate(sample%2C%20labels.loc%5Bsample.items%5D)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%7Blen(sample)%7D%20sites%20to%20label%3B%20the%20core%20is%20in%20every%20draw%3A%20%22%0A%20%20%20%20%20%20%20%20f%22%7Bset(core)%20%3C%3D%20set(sample.items)%7D.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22**%7Best.diagnostics%5B'variance_ratio'%5D%3A.1%25%7D**%20of%20the%20estimate's%22%0A%20%20%20%20%20%20%20%20%22%20variance%20is%20due%20to%20labeling.%20A%20budget%20only%20moves%20that%20share%3B%20once%20it%22%0A%20%20%20%20%20%20%20%20%22%20is%20small%2C%20more%20labels%20buy%20almost%20nothing%20and%20the%20binding%20constraint%22%0A%20%20%20%20%20%20%20%20%22%20is%20the%20size%20of%20the%20panel.%22%0A%20%20%20%20)%0A%20%20%20%20return%20(est%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Check%20it%20against%20the%20truth%0A%0A%20%20%20%20Because%20every%20label%20in%20this%20frame%20is%20known%2C%20the%20coefficient%20you%20would%20get%0A%20%20%20%20by%20labeling%20all%2034%2C078%20sites%20is%20computable%20exactly.%20Nothing%20else%20in%20this%0A%20%20%20%20notebook%20uses%20it.%20%60z%60%20is%20how%20many%20standard%20errors%20each%20estimate%20sits%20from%0A%20%20%20%20the%20truth%3B%20values%20scattered%20around%20zero%20are%20what%20an%20unbiased%20estimator%0A%20%20%20%20with%20an%20honest%20standard%20error%20looks%20like.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(MEASURES%2C%20est%2C%20labels%2C%20pd%2C%20study)%3A%0A%20%20%20%20H%20%3D%20study.influence.H%0A%20%20%20%20truth%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20H%20%40%20labels.loc%5Bstudy.influence.items%5D.to_numpy(float)%2C%0A%20%20%20%20%20%20%20%20index%3Dest.coefficients.index%2C%0A%20%20%20%20%20%20%20%20columns%3DMEASURES%2C%0A%20%20%20%20)%0A%20%20%20%20comparison%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%3A%20truth%5B%22ddg_join_ads%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22estimate%22%3A%20est.coefficients%5B%22ddg_join_ads%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22design%20se%22%3A%20est.design_se%5B%22ddg_join_ads%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20comparison%5B%22z%22%5D%20%3D%20(comparison%5B%22estimate%22%5D%20-%20comparison%5B%22truth%22%5D)%20%2F%20comparison%5B%0A%20%20%20%20%20%20%20%20%22design%20se%22%0A%20%20%20%20%5D%0A%20%20%20%20comparison.round(3)%0A%20%20%20%20return%20(truth%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What%20the%20design%20bought%0A%0A%20%20%20%20The%20same%20budget%20spent%20uniformly%20at%20random%2C%20against%20the%20influence%20design%2C%0A%20%20%20%20over%2060%20independent%20draws%20of%20each.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(budget%2C%20fewlab%2C%20labels%2C%20mo%2C%20np%2C%20study%2C%20truth)%3A%0A%20%20%20%20def%20rmse(method%2C%20reps%3D60%2C%20seed%3D1)%3A%0A%20%20%20%20%20%20%20%20d%20%3D%20study.design(budget.value%2C%20method%3Dmethod)%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20err%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(reps)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20s%20%3D%20study.draw(d%2C%20random_state%3Drng%2C%20fixed_size%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(s)%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20e%20%3D%20fewlab.estimate(study.influence%2C%20s%2C%20labels.loc%5Bs.items%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20err.append(e.coefficients.to_numpy()%20-%20truth.to_numpy())%0A%20%20%20%20%20%20%20%20err%20%3D%20np.array(err)%0A%20%20%20%20%20%20%20%20return%20float(np.sqrt((err**2).sum(axis%3D(1%2C%202)).mean()))%0A%0A%20%20%20%20pps%2C%20srs%20%3D%20rmse(%22pps%22)%2C%20rmse(%22srs%22)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7C%20%7C%20RMSE%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20uniform%20random%20%7C%20%7Bsrs%3A.2f%7D%20%7C%0A%20%20%20%20%7C%20influence%20design%20%7C%20%7Bpps%3A.2f%7D%20(%7Bsrs%20%2F%20pps%3A.1f%7Dx%20better)%20%7C%0A%0A%20%20%20%20For%20scale%2C%20the%20coefficient%20matrix%20itself%20has%20norm%0A%20%20%20%20%7Bnp.linalg.norm(truth.to_numpy())%3A.1f%7D.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What%20not%20to%20do%0A%0A%20%20%20%20The%20tempting%20shortcut%20is%20to%20label%20the%20top%20sites%20and%20treat%20the%20rest%20as%0A%20%20%20%20zero.%20That%20is%20a%20real%20point%20on%20the%20bias-variance%20frontier%20and%20it%20is%20never%0A%20%20%20%20the%20best%20one%3A%20on%20this%20panel%20its%20bias%20runs%20from%2014%20to%2053%20percent%20of%20the%0A%20%20%20%20size%20of%20the%20coefficient%2C%20and%20unlike%20variance%20it%20cannot%20be%20estimated%20from%0A%20%20%20%20the%20data%20you%20have.%20The%20package%20will%20not%20let%20a%20ranking%20reach%20an%20estimator%0A%20%20%20%20by%20accident%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(budget%2C%20labels%2C%20mo%2C%20study)%3A%0A%20%20%20%20ranking%20%3D%20study.rank(budget.value)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20study.estimate(ranking%2C%20labels.loc%5Branking.items%5D)%0A%20%20%20%20%20%20%20%20refusal%20%3D%20mo.md(%22The%20ranking%20was%20accepted.%22)%0A%20%20%20%20except%20TypeError%20as%20exc%3A%0A%20%20%20%20%20%20%20%20refusal%20%3D%20mo.md(f%22%60TypeError%3A%20%7Bexc%7D%60%22)%0A%20%20%20%20refusal%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A