[ , ] Berinsky ak kòlèg (2012) evalye Mechanical Turk an pati pa repwodui twa eksperyans klasik. Replike klasik Azyatik eksperyans la Maladi ankadre pa Tversky and Kahneman (1981) . Èske rezilta ou matche ak Tversky ak Kahneman a? Èske rezilta ou matche ak Berinsky ak kòlèg? Ki sa ki-si anyen-sa aprann nou sou lè l sèvi avèk Mechanical Turk pou eksperyans sondaj?
[ , ] Nan yon papye yon ti jan lang-an-yon souflèt ki gen tit "Nou gen kraze moute," sikològ sosyal la Robert Cialdini, youn nan otè yo nan Schultz et al. (2007) , te ekri ke li te retiran byen bonè nan travay li kòm yon pwofesè, an pati paske nan defi yo li te fè fas fè eksperyans jaden nan yon disiplin (sikoloji) ki sitou ap fè eksperyans laboratwa (Cialdini 2009) . Li papye Cialdini a, epi ekri l 'yon imèl pou mande l' nan rekonsidere li kraze-up nan limyè de posiblite yo nan eksperyans dijital. Sèvi ak egzanp espesifik nan rechèch ki abòde enkyetid l 'yo.
[ ] Yo nan lòd yo detèmine si ti siksè premye fèmen-an oswa fennen lwen, van de Rijt ak ak kòlèg (2014) entèveni nan kat sistèm diferan donan siksè sou tirajosò patisipan yo, ak Lè sa a mezire enpak yo ki dire lontan nan siksè sa a abitrè. Èske ou ka panse a lòt sistèm nan ki ou te kapab kouri eksperyans ki sanble? Evalye sistèm sa yo an tèm de pwoblèm ki gen valè syantifik, algoritmik par (gade Chapit 2), ak etik.
[ , ] Rezilta yo nan yon eksperyans ka depann sou patisipan yo. Kreye yon eksperyans ak Lè sa a kouri l 'sou Amazon Turk Mechanical (MTurk) lè l sèvi avèk de estrateji rekritman diferan. Eseye chwazi eksperyans ak rekritman estrateji yo pou ke rezilta yo yo pral kòm diferan ke posib. Pou egzanp, estrateji rekritman ou ta ka yo rekrite patisipan yo nan maten ak nan aswè a oswa nan konpanse patisipan yo ak wo ak ba peye. Sa yo kalite diferans ki genyen nan estrateji rekritman te kapab mennen nan pisin diferan nan patisipan yo ak diferan rezilta eksperimantal. Ki jan diferan t 'rezilta ou vire soti? Ki sa sa revele sou kouri eksperyans sou MTurk?
[ , , , ] Imajine ke ou te planifye Emosyonèl Contagion etid la (Kramer, Guillory, and Hancock 2014) . Sèvi ak rezilta yo soti nan yon pi bonè etid obsèvasyon pa Kramer (2012) deside ki kantite patisipan nan chak kondisyon. Etid sa yo de pa matche ak parfe kidonk asire ou klèman lis tout sipozisyon yo ki ke ou fè:
Kouri yon simulation ki pral deside ki jan anpil patisipan ta yo te nesesè yo detekte yon efè ki gwo tankou efè a nan Kramer (2012) ak \ (\ alfa = 0.05 \) ak \ (1 - \ beta = 0.8 \).
Bay rezilta yo soti nan Kramer (2012) te Emosyonèl Contagion (Kramer, Guillory, and Hancock 2014) sou ki mache ak pil (sa vle di, èske li gen plis patisipan pase nesesè)?
Nan sipozisyon yo ki ke ou te fè, ki gen efè nan pi gwo sou kalkil ou a?
[ , , , ] Reponn kesyon ki anwo a, men olye ke lè l sèvi avèk obsèvasyon etid la pi bonè pa Kramer (2012) itilize rezilta yo soti nan yon eksperyans pi bonè natirèl pa Coviello et al. (2014) .
[ ] Tou de Rijt et al. (2014) ak Margetts et al. (2011) tou de fè eksperyans ki etidye pwosesis la nan moun ki siyen yon petisyon. Konpare ak diferansye konsepsyon an ak konstatasyon sa ki te etid sa yo.
[ ] Dwyer, Maki, and Rothman (2015) fèt de eksperyans jaden sou relasyon ki genyen ant nòm sosyal ak konpòtman proenvironmental. Isit la nan abstrè a nan papye yo:
"Ki jan ta ka syans sikolojik itilize ankouraje konpòtman proenvironmental? Nan de etid, entèvansyon ki vize a fè pwomosyon enèji konpòtman konsèvasyon nan twalèt piblik egzamine enfliyans yo nan nòm deskriptif ak responsabilite pèsonèl. Nan etid 1, yo te estati a limyè (sa vle di, limen oubyen etenn) manipile anvan yon moun te antre nan yon twalèt piblik vakan, siyal nòmal la deskriptif pou sa anviwònman. Patisipan yo te siyifikativman plis chans yo vire limyè yo koupe si yo te sou lè yo te antre nan. Nan etid 2, yo te yon kondisyon adisyonèl enkli nan ki te nòmal la nan sinon koupe limyè a demontre pa yon pase kontra, men patisipan yo pa t 'tèt yo responsab pou vire l' sou. responsablite pèsonèl dousman enfliyans nan nòm sosyal sou konpòtman; lè patisipan yo te pa responsab pou vire sou limyè a, yo te enfliyans nan nòmal la diminye. Rezilta sa yo endike konbyen deskriptif nòm ak responsablite pèsonèl ka kontwole efikasite nan entèvansyon proenvironmental. "
Li papye yo ak desine yon replikasyon nan etid 1.
[ , ] Bati sou kesyon an anvan, kounye a pote soti nan modèl ou yo.
Ki sa ki ta eksplike diferans sa yo?
[ ] Te gen sibstansyèl deba sou eksperyans lè l sèvi avèk patisipan rekrite soti nan Amazon Mechanical Turk. Nan paralèl, te tou yo te sibstansyèl deba sou eksperyans lè l sèvi avèk patisipan rekrite soti nan popilasyon elèv bakaloreya. Ekri yon memo de-paj konpare ak konparan Turkers yo ak étidyan kòm chèchè patisipan yo. konparezon ou ta dwe gen ladan yon diskisyon sou tou de pwoblèm syantifik ak lojistik.
[ Liv] Jim Manzi a San kontwòl (2012) se yon entwodiksyon bèl bagay nan pouvwa a nan eksperimantasyon nan biznis. Nan liv la li retransmèt istwa sa a:
"Mwen te yon fwa nan yon reyinyon ak yon jeni biznis vre, yon bilyonè pwòp tèt ou yo ki te fèt ki te gen yon gwo twou san fon, entwisyon understating ki gen pouvwa a eksperyans. Konpayi li te pase resous enpòtan ap eseye kreye gwo montre fenèt magazen ki ta atire konsomatè yo ak ogmante lavant, kòm konvansyonèl bon konprann yo te di yo ta dwe. Ekspè ak anpil atansyon teste konsepsyon apre konsepsyon, ak nan sesyon revizyon tès endividyèl sou yon peryòd de ane kenbe ki pa montre okenn siyifikatif efè kozatif nan chak konsepsyon ekspozisyon nouvo sou lavant yo. Senior maketing ak merchandising ekzekitif te rankontre ak CEO nan yo revize sa yo rezilta tès istorik nan toto. Apre prezante tout nan done yo eksperimantal, yo konkli ke bon konprann nan konvansyonèl te montre mal-ki fenèt pa kondwi lavant yo. aksyon rekòmande yo te diminye depans ak efò nan zòn sa a. Sa a dramatikman demontre kapasite a nan eksperimantasyon ranvèse konvansyonèl bon konprann. repons CEO a te senp: 'konklizyon mwen se ke konsèpteur ou yo pa trè bon.' Solisyon l 'te ogmante efò nan konsepsyon ekspozisyon magazen, ak jwenn nouvo moun fè li. " (Manzi 2012, 158–9)
[ ] Bati sou kesyon an anvan, imajine ke ou te nan reyinyon an kote rezilta yo nan eksperyans yo te diskite. Ki sa ki kat kesyon ke ou ta ka mande, yonn pou chak kalite validite (estatistik, konstwi, entèn yo, ak ekstèn)?
[ ] Bernedo, Ferraro, and Price (2014) etidye efè a sèt ane nan entèvansyon an ekonomize dlo dekri nan Ferraro, Miranda, and Price (2011) (al gade Figi 4.10). Nan papye sa a, Bernedo ak kòlèg tou chache konprann mekanis nan dèyè efè a lè w konpare konpòtman an nan kay sa yo ki te epi yo pa yo te deplase apre yo te tretman an sove. Ki se, se apeprè, yo eseye wè si tretman ki afekte nan konsekans kay la oswa mèt kay la.
Li papye a, dekri konsepsyon yo, ak rezime rezilta yo. b) rezilta yo gen enpak sou ki jan ou ta dwe evalye pri-efikasite nan entèvansyon ki sanble? Si se konsa, poukisa? Si ou pa, poukisa pa?
[ ] Nan yon swiv-jiska Schultz et al. (2007) , Schultz ak kòlèg fè yon seri de twa eksperyans sou efè a nan nòm deskriptif ak enjonktif sou yon diferan konpòtman anviwònman (sèvyèt réutilisation) nan de kontèks (yon otèl ak yon kondominyòm timèychar) (Schultz, Khazian, and Zaleski 2008) .
Rezime konsepsyon an ak konstatasyon sa ki te twa eksperyans sa yo.
Ki jan, si nan tout, yo chanje entèpretasyon ou nan Schultz et al. (2007) ?
[ ] An repons a Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) kouri yon seri de eksperyans laboratwa ki tankou yo etidye desen an nan bòdwo elektrik. Men ki jan yo dekri l 'nan abstrè a:
"Nan yon eksperyans sondaj ki baze sou, chak patisipan te wè yon bòdwo kouran elektrik ipotetik pou yon fanmi ak itilize elektrisite relativman wo, ki te kouvri enfòmasyon sou (a) itilize istorik, (b) konparezon vwazen, ak (c) istorik itilize ak aparèy pann. Patisipan yo te wè tout kalite enfòmasyon ki nan youn nan twa fòma ki gen ladan (a) tab, (b) ba graf, ak (c) icon graf. Nou rapò sou twa konklizyon prensipal la. Premyèman, konsomatè konprann chak kalite elektrisite-itilize enfòmasyon ki pi lè li te prezante nan yon tab, petèt, paske tab fasilite la senp lekti pwen. Dezyèmman, preferans ak entansyon pou konsève pou elektrisite te pi fò a pou enfòmasyon an itilize istorik, endepandan de fòma. Twazyèmman, moun ki gen pi ba alfabetizasyon enèji konprann tout enfòmasyon mwens. "
Kontrèman ak lòt etid swiv-up, rezilta a prensipal nan enterè nan Canfield, Bruin, and Wong-Parodi (2016) se rapòte konpòtman pa konpòtman vrè. Ki sa ki fòs ak feblès nan sa a ki kalite etid nan yon pwogram rechèch pi laj fè pwomosyon ekonomi enèji?
[ , ] Smith and Pell (2003) se yon satirik meta-analiz nan syans demontre efikasite nan parachit. Yo konkli:
"Menm jan ak anpil entèvansyon gen entansyon anpeche sante malad, efikasite nan parachit pa te sibi evalyasyon solid lè l sèvi avèk owaza esè kontwole. Defansè dwa nan prèv ki baze medikaman te kritike adopsyon an nan entèvansyon evalye lè l sèvi avèk done sèlman obsèvasyon. Nou panse ke tout moun ta ka benefisye si gwo chabwak yo pi radikal nan prèv ki baze medikaman òganize yo e ki patisipe nan yon avèg doub, au, plasebo kontwole, kwazman jijman nan parachit la. "
Ekri yon op-ed apwopriye pou yon jounal lektè jeneral, tankou New York Times ki, diskite kont fetichizasyon a nan prèv eksperimantal. Bay espesifik, egzanp konkrè. Men yon tipoul: Gade tou, Bothwell et al. (2016) ak Deaton (2010)
[ , , ] Diferans-an-diferans ki genyen estimatè nan yon efè tretman ka dwe plis presi pase diferans-an-vle di estimatè. Ekri yon memo nan yon enjenyè an chaj nan A / B tès nan yon kòmanse-up konpayi medya sosyal eksplike valè a nan apwòch nan diferans-an-diferans ki genyen pou kouri yon eksperyans sou entènèt. memo an ta dwe gen ladan yon deklarasyon sou pwoblèm nan, gen kèk entwisyon sou kondisyon yo ki anba ki Estimator la diferans-an-diferans ap pèfòme Estimator la diferans-an-vle di, ak yon etid simulation senp.
[ , ] Gary Loveman te yon pwofesè nan Harvard Business School anvan yo vin CEO nan Harrah a, youn nan konpayi yo kazino pi gwo nan mond lan. Lè l 'demenaje ale rete nan Harrah a, Loveman transfòme konpayi an ak yon Bilten ki tankou souvan pwogram lwayote ki kolekte kantite lajan fòmidab nan done sou konpòtman kliyan. Sou tèt sa a sistèm mezi toujou-sou li a, konpayi an te kòmanse kouri eksperyans. Pou egzanp, yo ta ka kouri yon eksperyans evalye efè a nan yon koupon pou yon nwit otèl gratis pou kliyan ak yon modèl jwèt aza espesifik. Men ki jan Loveman dekri enpòtans ki genyen nan eksperimantasyon nan pratik biznis chak jou Harrah a:
"Se tankou ou pa anmède fanm, ou pa vòlè, epi ou te gen yo gen yon gwoup kontwòl. Sa a se youn nan bagay ki ke ou ka pèdi travay ou pou pi Harrah's-pa kouri yon gwoup kontwòl. " (Manzi 2012, 146)
Ekri yon imèl bay yon nouvo anplwaye eksplike poukisa Loveman panse li se konsa enpòtan nan gen yon gwoup kontwòl. Ou ta dwe eseye genyen ladan yo yon egzanp-swa reyèl oswa te fè monte-a ilistre pwen ou yo.
[ , ] Yon nouvo eksperyans gen pou objaktif pou estime efè a nan k ap resevwa tèks rapèl mesaj sou vaksinasyon absorption. 150 klinik, yo chak ak 600 pasyan ki kalifye, yo vle patisipe. Gen yon pri fiks de 100 dola pou chak klinik ou vle travay avèk, ak li te koute 1 dola pou chak mesaj tèks ke ou vle voye. Pli lwen, nenpòt klinik ke ou yo ap travay ak pral mezire rezilta a (si yon moun te resevwa yon vaksen) pou gratis. Sipoze ke ou gen yon bidjè de 1000 dola.
Dapre sa ki kondisyon ka li ka pi bon yo konsantre resous ou sou yon ti kantite klinik ak anba ki kondisyon ta ka li pi bon yo atè a konsa plis lajman?
Ki sa ki faktè ta detèmine pi piti gwosè a efè ke ou yo pral kapab fiable detekte ak bidjè ou a?
Ekri yon memo eksplike sa yo komès-konpwomi nan yon envèstiseur potansyèl yo.
[ , ] Yon pwoblèm pi gwo ak kou sou entènèt se attrition; anpil elèv ki kòmanse kou fini jete-soti. Imajine ke ou ap travay nan yon platfòm aprantisaj sou entènèt, e li te yon designer nan platfòm la ki te kreye yon bar pwogrè vizyèl ki li panse ap ede pou anpeche elèv ki soti nan jete soti nan kou a. Ou vle teste efè a nan ba a pwogrè sou elèv yo nan yon kou gwo enfòmatik syans sosyal. Apre adrese nenpòt pwoblèm etik ki ta ka leve nan eksperyans la, ou menm ak kolèg ou yo jwenn enkyete ke kou a pa ta ka gen elèv yo ase yo fiable detekte efè yo nan ba a pwogrè. Nan kalkil yo anba a ou ka asime ke mwatye nan elèv yo ap resevwa ba a pwogrè ak mwatye pa. Pli lwen, ou ka asime ke pa gen okenn entèferans. Nan lòt mo, ou ka asime ke patisipan yo, se sèlman ki afekte nan si wi ou non yo te resevwa tretman an oswa kontwòl; yo pa realize pa si wi ou non lòt moun resevwa tretman an oswa kontwòl (pou yon definisyon pi fòmèl, wè Gerber and Green (2012) , Ch. 8). Tanpri kenbe tras nan nenpòt ki sipozisyon adisyonèl sa yo ki ou fè.
Sipoze se ba a pwogrè espere ogmante pwopòsyon de elèv ki fini klas la pa 1 pousantaj pwen, ki sa ki gwosè a echantiyon bezwen fiable detekte efè a?
Sipoze se ba a pwogrè espere ogmante pwopòsyon de elèv ki fini klas la pa 10 pwen pousantaj, ki sa ki gwosè a echantiyon bezwen fiable detekte efè a?
Koulye a, imajine ke ou te kouri eksperyans la ak elèv ki fin fè tout materyèl sa yo kou yo te pran yon egzamen final la. Lè ou konpare nòt yo egzamen final elèv ki te resevwa ba a pwogrè li nan yon moun ki pa t ', ou jwenn, anpil sipriz ou, pou elèv ki pa t' resevwa ba a pwogrè aktyèlman bay nòt ki pi wo. Èske sa vle di ba a pwogrè ki te koze elèv yo aprann mwens? Ki sa ou ka aprann nan men sa a done rezilta? (Sijesyon: Wè Gerber and Green (2012) , Ch 7.)
[ , ] Nan yon papye bèl, Lewis and Rao (2015) klè ilistre yon fondamantal limit statistik de eksperyans menm masiv. Papye a-ki orijinal te gen tit la pwovokan "Sou Toupre-li enposib nan Mezire retounen yo nan Piblisite" -shows jan difisil li se ki mezire retounen an sou envestisman nan piblisite sou entènèt, menm avèk eksperyans dijital ki enplike dè milyon de kliyan yo. Plis jeneralman, papye a montre klèman ke li se difisil yo estime efè tretman ti nan mitan done rezilta bwi. Ou deklare diffently, papye a montre ke efè tretman estime ap gen entèval konfyans gwo lè enpak-a-estanda-devyasyon a (\ (\ frac {\ delta \ ba {y}} {\ sigma} \)) rapò ki piti. enpòtan Leson an jeneral soti nan papye sa a se ke rezilta ki soti nan eksperyans ak ti rapò enpak-a-estanda-devyasyon (egzanp, ROI nan kanpay anons) yo pral ensifizan. defi ou yo pral yo ekri yon memo ak yon moun nan depatman an maketing nan konpayi ou evaluting yon eksperyans te planifye ki mezire ROI an nan yon kanpay anons. memo ou ta dwe sipòte ak graf nan rezilta yo nan similasyon òdinatè.
Isit la nan kèk enfòmasyon background ke ou ta ka bezwen. Tout moun nan valè sa yo nimerik se tipik nan eksperyans yo reyèl rapòte nan Lewis and Rao (2015) :
ROI, se yon metrik kle pou kanpay anons sou entènèt, se defini yo dwe pwofi a nèt nan kanpay la (pwofi brit nan kanpay mwens pri nan kanpay) divize pa pri pou peye pou kanpay la. Pou egzanp yon kanpay ki te gen okenn efè sou lavant ta gen yon ROI nan -100% ak yon kanpay kote pwofi pwodwi te egal a depans ta gen yon ROI nan 0.
lavant yo vle di pou chak kliyan an se $ 7 ak yon devyasyon estanda nan $ 75.
se kanpay la espere ogmante lavant pa $ 0.35 pou chak kliyan ki koresponn ak yon ogmantasyon nan pwofi de $ 0,175 pou chak kliyan. Nan lòt mo, Marge a brit se 50%.
gwosè a te planifye nan eksperyans la se 200,000 moun, mwatye nan gwoup la tretman ak mwatye nan gwoup la kontwòl.
pri pou peye pou kanpay la se $ 0.14 pou chak patisipan yo.
Ekri yon memo evaluting eksperyans sa a. Ou ta rekòmande lansman eksperyans sa a jan li te planifye? Si se konsa, poukisa? Si ou pa, ki sa ki chanjman ou ta rekòmande?
Yon memo bon pral adrese ka sa a espesifik; yon memo pi bon pral jeneralizasyon nan ka sa a nan yon fason (egzanp, montre ki jan desizyon chanjman sa yo kòm yon fonksyon nan rapò a enpak-a-estanda-devyasyon); ak yon gwo memo pral prezante yon rezilta konplètman jeneralize.
[ , ] Fè menm bagay la kòm kesyon an anvan, men olye ke simulation ou ta dwe itilize rezilta analitik.
[ , , ] Fè menm bagay la kòm kesyon an anvan, men sèvi ak tou de simulation ak rezilta analitik.
[ , , ] Imajine ke ou te ekri memo an dekri anwo a-lè l sèvi avèk swa simulation, rezilta analitik, oswa toude-yo ak yon moun nan depatman an maketing rekòmande pou lè l sèvi avèk yon Estimator diferans-an-diferans ki genyen olye ke yon diferans nan vle di Estimator (al gade Seksyon 4.6.2) . Ekri yon nouvo memo pi kout eksplike ki jan yon korelasyon 0.4 ant lavant anvan eksperyans lan ak lavant apre eksperyans lan ta chanje konklizyon ou yo.
[ , ] Yo nan lòd yo evalye efikasite a nan yon nouvo sèvis karyè ki baze sou wèb, yon biwo sèvis karyè inivèsite fè yon jijman kontwòl chans nan mitan 10,000 elèv k ap antre dènye ane yo nan lekòl la. Yo te fè yon abònman gratis ak enfòmasyon boutèy demi lit-an inik voye nan yon envitasyon imel san konte 5,000 nan elèv yo tirajosò, pandan ke lòt 5,000 elèv yo yo se nan gwoup kontwòl la epi yo pa gen yon abònman. Douz mwa apre, yon sondaj swiv-up (ki pa gen okenn repons ki pa) montre ke nan tou de gwoup yo tretman ak kontwòl, te 70% nan elèv yo garanti travay plen tan nan chwazi jaden yo (Table 4.5). Se konsa, li sanble ke sèvis la ki baze sou wèb pa te gen okenn efè.
Sepandan, yon syantis done entelijan nan inivèsite a gade done yo yon ti jan pi byen epi li te jwenn ke se sèlman 20% nan elèv yo nan gwoup la tretman tout tan tout tan louvri sesyon an kont la apre li fin resevwa imel la. Pli lwen, ak yon ti jan surprenante, nan mitan moun ki te louvri sesyon an sit entènèt la sèlman 60% te garanti travay plen tan nan jaden chwazi yo, ki te pi ba pase to a pou moun ki pa t 'ouvri sesyon an epi pi ba pase to a pou moun ki nan kondisyon an kontwòl (Table 4.6).
Bay yon eksplikasyon pou sa ki ka te rive.
Ki sa ki de fason diferan yo kalkile efè a nan tretman an nan eksperyans sa a?
Bay rezilta sa a, yo ta dwe sèvis la karyè inivèsite ofri sèvis sa a karyè ki baze sou wèb nan tout elèv yo? Jis yo dwe klè, sa a se pa yon kesyon ak yon repons ki senp.
Ki sa yo ta dwe fè apre a?
Men yon tipoul: Kesyon sa a ale pi lwen pase materyèl la kouvri nan chapit sa a, men adresses kesyon komen nan eksperyans. Se Sa a ki kalite konsepsyon eksperimantal pafwa yo rele yon konsepsyon ankourajman paske yo ankouraje patisipan yo angaje yo nan tretman an. Pwoblèm sa a se yon egzanp sou sa yo rele yon sèl-sided ki pa konfòmite (gade Gerber and Green (2012) , Ch. 5)
[ ] Apre egzamen pi lwen, li vire soti ke eksperyans la dekri nan kesyon an anvan yo te menm plis konplike. Li sanble ke 10% nan moun ki nan gwoup kontwòl la peye pou aksè nan sèvis la, epi yo te fini ak yon to travay nan 65% (Table 4.7).
Ekri yon imèl rezime ki sa ou panse k ap pase ak rekòmande yon kou nan aksyon.
Men yon tipoul: Kesyon sa a ale pi lwen pase materyèl la kouvri nan chapit sa a, men adresses kesyon komen nan eksperyans. Pwoblèm sa a se yon egzanp sou sa yo rele de-sided ki pa konfòmite (gade Gerber and Green (2012) , Ch. 6)
Table 4.5: Senp gade nan done ki sòti nan eksperyans la sèvis karyè.
to Travay
Akòde aksè nan sit wèb 5,000 70%
Pa akòde aksè nan sit entènèt 5,000 70%
Table 4.6: Plis konplè gade nan done ki sòti nan eksperyans la sèvis karyè.
Akòde aksè a sou sit wèb ak louvri sesyon an 1,000 60%
Akòde aksè a sou sit wèb ak pa janm louvri sesyon an 4,000 85%
Table 4.7: Full gade nan done ki sòti nan eksperyans la sèvis karyè.
Akòde aksè a sou sit wèb ak pa janm louvri sesyon an 4,000 72.5%
Pa akòde aksè a sou sit wèb ak peye pou li 500 65%
Pa akòde aksè a sou sit wèb ak pa t 'peye pou li 4,500 70,56%