/Docs
ETEN

Tõste ja juurdekasv

Mis see on

Konsoolis on kaks eri tugevusega "mõju" numbrit:

  • Kirjeldav tõste — mootoriga seotud ostude osakaal võrreldes kontrollostudega. Näitab seost, mitte põhjuslikkust.
  • Juurdekasv (holdout) — randomiseeritud eksperimendi tulemus: osa auditooriumist (holdout-grupp) hoitakse teadlikult geneerilisel sisul ja võrreldakse käivet saaja kohta (RPP) kahe haru vahel. See on ainus number, mis tõestab, et mootor lõi käivet juurde.

Kuidas see arvutatakse

  • Kirjeldav tõste: päeva mootori-ostude määr vs kontrollostude määr, samast omistamise liigitusest.
  • Juurdekasv: kliendid jagati juhuslikult treatment- ja holdout-harru. Mõlemal harul arvutatakse RPP — kogu haru käive jagatud KÕIGI haru liikmetega, ka nendega, kes midagi ei ostnud. Erinevusele arvutatakse 95% usaldusvahemik. Kuni vahemik sisaldab nulli, näitab paneel selgelt "kogub andmeid", mitte lõplikku numbrit.

Kuidas seda tõlgendada

  • Kirjeldav tõste võib liikuda põhjustel, millel pole mootoriga pistmist (kampaaniate arv, hooaeg, plugin-signaali katvus). Kasuta seda trendi jälgimiseks, mitte tulemuse raporteerimiseks.
  • Juurdekasvu numbrit tasub tsiteerida alles siis, kui usaldusvahemik välistab nulli. Väikese e-posti listiga võtab see tüüpiliselt 8-12 nädalat. Varajane number laia vahemikuga on suunav, mitte tõestus.
  • RPP loeb mitte-ostjad nulliga sisse — see on taotluslik, sest ka "ei ostnud" on tulemus.

Kellele see näidatakse

Holdout-numbrid jõuavad konsooli alles siis, kui operaator lülitab käsitsi sisse per-tenant nähtavuse-lüliti — mitte kunagi automaatselt ega enne, kui 95% usaldusvahemik välistab nulli. Eksperimendi olemasolu ise ei ole aga peidetud: kui holdout käib, kuid lüliti on veel väljas, näitab konsool banner'it, mis selgitab, et kontrollitud mõõtmine on käimas, mida see näitab kui valmis on, ja ligikaudset "tulemus umbes N nädala pärast" hinnangut (sama usaldusvahemiku-kitsenemise arvutus, mida admin-paneel kasutab; kui hinnang pole veel usaldusväärne, langeb tekst tagasi üldisele 8-12 nädala vahemikule). Ainult tenant'id, kus holdout't pole kunagi sisse lülitatud, näevad lihtsat "numbrid on siin kirjeldavad" sõnumit — seda öelda ajal, mil eksperiment tegelikult käib, oleks vale.

Tüüpilised valestimõistmised

  • "Tõste on 40%, kas võin kliendile/juhtkonnale öelda +40%?" — mitte kirjeldavast tõstest ja mitte enne, kui holdout-vahemik nulli välistab.
  • "Miks te osa kliente teadlikult ilma jätate?" — holdout on ainus viis ausalt eristada, mille mootor lõi ja mille eest ta lihtsalt au võttis. Ilma selleta oleks iga tõste-number vaidlustatav.
  • "Usaldusvahemik on lai, kas midagi on katki?" — ei, see on väikese valimi matemaatika. Vahemik kitseneb andmete kogunedes.

Tehniline taust

Kirjeldav tõste: lib/metrics/compute-daily.ts (lift_pct = mootori-määr / kontrolli-määr − 1). Juurdekasv: Health'i "Incrementality (holdout)" paneel (components/dashboard/widgets/HoldoutLift.tsx) — treatment vs holdout RPP, buyer-rate statistiline olulisus, AOV/sageduse lahtivõtt ja valmisoleku-hinnang kõik ühes paneelis, 95% CI väravaga; metoodika uuring docs/RESEARCH_incrementality_measurement.md. Konsooli-nähtavuse värav on tenant_settings.incrementality_client_visible; lib/story/loader.ts väljastab päris numbrid (Story.lift.incrementality) alles siis, kui see on sees — väljas olles väljastab see ikkagi mitte-numbrilise eksperimendi-oleku (Story.lift.experiment: aktiivsuse lipp, algusaeg, valmisoleku-nädalad), et konsooli banner (components/console/insights-sections.tsx LiftCard) saaks käimasolevat mõõtmist kirjeldada ilma ühtki numbrit lekitamata.

Viimati uuendatud: 2026-07-21