/Docs
ETEN

Tõste ja juurdekasv

Mis see on

Konsoolis on kaks eri tugevusega "mõju" numbrit:

  • Kirjeldav tõste — mootoriga seotud ostude osakaal võrreldes kontrollostudega. Näitab seost, mitte põhjuslikkust.
  • Juurdekasv (holdout) — randomiseeritud eksperimendi tulemus: osa auditooriumist (holdout-grupp) hoitakse teadlikult geneerilisel sisul ja võrreldakse käivet saaja kohta (RPP) kahe haru vahel. See on ainus number, mis tõestab, et mootor lõi käivet juurde.

Kuidas see arvutatakse

  • Kirjeldav tõste: päeva mootori-ostude määr vs kontrollostude määr, samast omistamise liigitusest.
  • Juurdekasv: kliendid jagati juhuslikult treatment- ja holdout-harru. Mõlemal harul arvutatakse RPP — kogu haru käive jagatud KÕIGI haru liikmetega, ka nendega, kes midagi ei ostnud. Erinevusele arvutatakse 95% usaldusvahemik. Kuni vahemik sisaldab nulli, näitab paneel selgelt "kogub andmeid", mitte lõplikku numbrit.

Kuidas seda tõlgendada

  • Kirjeldav tõste võib liikuda põhjustel, millel pole mootoriga pistmist (kampaaniate arv, hooaeg, plugin-signaali katvus). Kasuta seda trendi jälgimiseks, mitte tulemuse raporteerimiseks.
  • Juurdekasvu numbrit tasub tsiteerida alles siis, kui usaldusvahemik välistab nulli. Väikese e-posti listiga võtab see tüüpiliselt 8-12 nädalat. Varajane number laia vahemikuga on suunav, mitte tõestus.
  • RPP loeb mitte-ostjad nulliga sisse — see on taotluslik, sest ka "ei ostnud" on tulemus.

Kellele see näidatakse

Holdout-numbrid jõuavad konsooli alles siis, kui operaator lülitab käsitsi sisse per-tenant nähtavuse-lüliti — mitte kunagi automaatselt ega enne, kui 95% usaldusvahemik välistab nulli. Eksperimendi olemasolu ise ei ole aga peidetud: kui holdout käib, kuid lüliti on veel väljas, näitab konsool banner'it, mis selgitab, et kontrollitud mõõtmine on käimas, mida see näitab kui valmis on, ja ligikaudset "tulemus umbes N nädala pärast" hinnangut (sama usaldusvahemiku-kitsenemise arvutus, mida admin-paneel kasutab; kui hinnang pole veel usaldusväärne, langeb tekst tagasi üldisele 8-12 nädala vahemikule). Konto, kus holdout't pole kunagi sisse lülitatud, ei näe tõste-paneeli üldse — selle asemel näidatakse programmi ulatust ja vastukaja (järgmine peatükk).

Kui holdout välja lülitatakse

Mõõtmise lõpetamine ei kustuta selle tulemust. Kui holdout välja lülitada (nt minnakse üle 100% personaliseerimisele), salvestatakse mõõteperioodi lõpp ja viimane tulemus jääb konsooli ning admin-paneeli nähtavaks lõpetatud mõõtmisena: samad numbrid, juures mõõteperiood (algus … lõpp) ja märge, et holdout on nüüd väljas. Arvutus peatub mõõteperioodi lõpus — pärast väljalülitamist hakkab endine holdout-grupp jälle soovitusi saama, seega hilisemad ostud enam võrdlusse ei lähe.

Sellisel kujul on tulemus selle perioodi kohta, mitte tänase seisu kohta: ükski lause ei väida, et kontrollgrupp praegu jookseb. Kui holdout hiljem uuesti sisse lülitada, jätkub sama eksperiment (sama algus) ja lõpu-märge kustub.

Kui holdout't pole üldse

Holdout on onboarding'u VALIK, mitte reegel. Konto, mis jookseb 100% personaliseerimisega, ei saa kunagi juurdekasvu numbrit — seega alaliselt tühja tõste-paneeli asemel näitab konsool programmi ulatust ja vastukaja: Home'is "Personaliseerimise ulatus" tile'ina, Insights'is samas kohas kaardina. Järjekord on paigas selle järgi, kui kindel iga number on:

  1. Ulatus ja täituvus — mitu sinu Smaily listi kontakti kannab praegu elavaid soovitusi, mitu 9-st slotist on keskmiselt täidetud, mitu toodet on rotatsioonis soovitatavast kataloogist ja millal soovitused viimati ümber arvutati. Need on kontrollitavad faktid: ava kontakt Smailys ja näed samu välju.
  2. Kui personaalsed soovitused täna on — kui suur osa slottidest tuli käitumis-trigerist, kui suur segmendi parimatest ja kui suur bestsellersitest (külmstart). Suur bestseller-osakaal on alguses normaalne ja kahaneb ostuajaloo kogunedes.
  3. Krediteeritud käive alates aktiveerimisest — sama omistamise number nagu mujal konsoolis, loetuna päevast, mil konto sisse lülitati. See on krediit, mitte tõestus, ja kuni ta on null, öeldakse see sõnadega välja, mitte ei näidata nulli.

Ükski selle kaardi number ei ole põhjuslik ja ühtki ei sõnastata tõstena. Kaart ütleb ühe korra, joonealuse märkusena, et sellel kontol kontrollgruppi ei jookse — ja et ajaliselt piiratud mõõtmise saab käivitada millal iganes. Käivitamine mõjub samal päeval: ulatuse-kaardi asemele tuleb mõõtmise-paneel ja ülalolevad numbrid töötavad muutumatult edasi.

"Alates aktiveerimisest" on päev, mil operaator konto aktiveeris (kirjas admin-auditlogis). Kontodel, mis aktiveeriti enne selle logimist, loetakse esimesest väljastatud soovitusest ja seda ka öeldakse.

Tüüpilised valestimõistmised

  • "Tõste on 40%, kas võin kliendile/juhtkonnale öelda +40%?" — mitte kirjeldavast tõstest ja mitte enne, kui holdout-vahemik nulli välistab.
  • "Miks te osa kliente teadlikult ilma jätate?" — holdout on ainus viis ausalt eristada, mille mootor lõi ja mille eest ta lihtsalt au võttis. Ilma selleta oleks iga tõste-number vaidlustatav.
  • "Usaldusvahemik on lai, kas midagi on katki?" — ei, see on väikese valimi matemaatika. Vahemik kitseneb andmete kogunedes.
  • "Insights'i graafik võrdleb mootorit kontrollgrupiga" — ei võrdle. Teine joon on "puudutust ei tuvastatud": ostud, kus me soovitus-puudet ei leidnud. Tuvastamine sõltub jälgimisest, seega puuduv signaal viib ostu sellele joonele. See on kirjeldav kontekst, mitte tõste-väide.

Tehniline taust

Kirjeldav tõste: lib/metrics/compute-daily.ts (lift_pct = mootori-määr / kontrolli-määr − 1). Juurdekasv: Health'i "Incrementality (holdout)" paneel (components/dashboard/widgets/HoldoutLift.tsx) — treatment vs holdout RPP, buyer-rate statistiline olulisus, AOV/sageduse lahtivõtt ja valmisoleku-hinnang kõik ühes paneelis, 95% CI väravaga; metoodika uuring docs/RESEARCH_incrementality_measurement.md. Konsooli-nähtavuse värav on tenant_settings.incrementality_client_visible; lib/story/loader.ts väljastab päris numbrid (Story.lift.incrementality) alles siis, kui see on sees — väljas olles väljastab see ikkagi mitte-numbrilise eksperimendi-oleku (Story.lift.experiment: aktiivsuse lipp, algusaeg, valmisoleku-nädalad), et konsooli banner (components/console/insights-sections.tsx LiftCard) saaks käimasolevat mõõtmist kirjeldada ilma ühtki numbrit lekitamata.

Programmi ulatus ja vastukaja: lib/story/reach.ts (loadProgrammeReach — elavad soovitused per sünkitud kontakt, slot-allikate jaotus, soovitatav kataloog, omistatud käive alates aktiveerimis-ankrust admin_audit_log-ist, tagavaraks MIN(recommendations.issued_at)); renderdab ProgrammeReachCard failis components/console/insights-sections.tsx. Laetakse ja näidatakse AINULT siis, kui Story.lift.display === 'none' ehk ühtki mõõtmist pole — eraldi per-tenant seadet selleks ei ole. Disaini-uuring: docs/RESEARCH_console_no_holdout.md.

Viimati uuendatud: 2026-08-06