Изменения в карточке товара

Изменения на странице отзывов товара.

Основная проверяемая гипотеза: Если стоимость товара, и его количество будет всегда на виду, то увеличится конверсия в покладку товаров в корзину с карточки и с страницы отзывов.

Целевая метрика: 1. Конверсия карточка/корзина; 2. Конверсия страница баннера/корзина.

Вспомогательная метрика: 1. Конверсия спасибо за заказ; 2. Конверсия отказы клиентов после добавления в корзину сегментов А и С.

Результаты тестирования:

Гипотезу нельзя опровергнуть.. Конверсия страница отзывов/корзина увеличилась. Конверсия карточка/корзина не изменилась.

Мотивация решения:

Изменение кнопки корзины на страницы отзывов в мобильном приложение положительно отразилось на конверсии пользователей. В карточке товара изменение кнопки корзины не повлияло на конверсию, но ux-исследование показало, что информация на кнопке лучше воспринимается.

Подробное исследование https://jupyter.sima-land.local/user/vechk_aa/lab/workspaces/auto-h/tree/analytics/Vechkanov/ab_reports_1336.ipynb

Конверсия отказы клиентов после добавления в корзину сегментов А и С

test_segment	min_qty_category	users
A	Группа	109748
	Одиночный	406655
B	Группа	112508
	Одиночный	418351

Итог

🤔
Гипотеза - 'отказы клиентов, после добавления товара в корзину товар стали меньше удалять'.
Разница конверсий добавление в корзину / отказ в групповых товарах и одиночных товарах в сегментах A и C отсутсвует.

Посчитаем среднии конверсии отзывы/покладка групп А и С с обрезанием выбросов

	cr_A	cr_A_116	cr_A_117	cr_A_118	cr_C	cr_C_116	cr_C_117	cr_C_118	created_date
0	7.398932	7.398932	NaN	NaN	9.725490	9.725490	NaN	NaN	2023-01-29
1	5.958674	5.958674	NaN	NaN	8.654327	8.654327	NaN	NaN	2023-01-30
2	6.556684	6.556684	NaN	NaN	9.786325	9.790509	0.0	NaN	2023-01-31
3	6.742902	6.742902	NaN	NaN	9.116926	9.116926	NaN	NaN	2023-02-01
4	5.886709	5.886709	NaN	NaN	9.031262	9.031262	NaN	NaN	2023-02-02

	cr_A	cr_A_116	cr_A_117	cr_A_118	cr_C	cr_C_116	cr_C_117	cr_C_118
count	40.000000	40.000000	32.000000	19.000000	40.000000	40.000000	33.000000	19.000000
mean	6.754235	5.636028	7.145856	6.273117	9.517848	9.176917	8.837805	14.611952
std	0.571112	1.771550	3.894885	2.117866	0.690540	2.109915	2.783797	20.795202
min	5.160142	1.204819	1.234568	0.000000	7.865169	4.895105	0.000000	5.940594
25%	6.495732	4.260870	5.709159	5.438842	9.000948	8.579349	8.957590	8.833585
50%	6.789123	6.284801	6.745541	6.666667	9.612139	9.164828	9.685230	9.819639
75%	7.146365	6.747824	7.595254	7.250605	10.159858	10.264846	10.049628	10.680094
max	8.027606	8.910891	25.000000	9.826590	10.685413	14.193548	11.643836	100.000000

Проверка ttest

Стьюдентный критерий для парных выборок используется для сравнения средних значений двух выборок, когда каждое наблюдение в одной выборке может быть сопоставлено с наблюдением в другой выборке.

	add_cart_A_116	add_cart_A_117	add_cart_A_118	add_cart_C_116	add_cart_C_117	add_cart_C_118	cr_A_116	cr_A_117	cr_A_118	cr_C_116	cr_C_117	cr_C_118	created_date	view_cart_A_116	view_cart_A_117	view_cart_A_118	view_cart_C_116	view_cart_C_117	view_cart_C_118
35	9	9	163	6	14	245	8.910891	6.040268	7.096212	6.000000	8.588957	10.647545	2023-03-05	101	149	2297	100	163	2301
36	1	3	154	5	6	236	1.204819	2.542373	7.236842	5.208333	4.580153	10.966543	2023-03-06	83	118	2128	96	131	2152
37	3	1	119	6	11	148	3.846154	1.234568	6.655481	8.823529	11.340206	8.305275	2023-03-07	78	81	1788	68	97	1782
38	4	8	117	8	7	160	5.405405	9.523810	6.763006	12.698413	8.139535	8.888889	2023-03-08	74	84	1730	63	86	1800
39	1	1	28	3	2	38	4.000000	6.250000	5.353728	12.500000	9.523810	7.676768	2023-03-09	25	16	523	24	21	495

alpha = 0.05

H_0 : Средняя конверсии в группе А и группе С ровна
H_1 : Средняя коверсия в группе С больше средней конверсии группы А

p-значение:  6.297699369312241e-11
Отвергаем нулевую гипотезу

Итог

🤔
Разница конверсий статистически значима, конверсия в сегменте С выше чем в сегменте А и составляет:
* версия моб. приложения = 116 - 3%
* версия моб. приложения = 117 - 3.01%
* версия моб. приложения = 118 - 3.5%
* версия моб. приложения >= 116 - 2.37%

Посчитаем среднии конверсии карточка/покладка групп А и С с обрезанием выбросов

	cr_A	cr_A_116	cr_A_117	cr_A_118	cr_C	cr_C_116	cr_C_117	cr_C_118	created_date
0	36.522489	36.363636	NaN	NaN	36.706652	37.471396	NaN	NaN	2023-01-29
1	35.617883	36.205128	0.0	NaN	35.801010	36.377789	NaN	NaN	2023-01-30
2	36.162519	36.610374	100.0	NaN	36.653895	37.468241	100.0	NaN	2023-01-31
3	35.855509	36.228253	NaN	NaN	36.515251	37.072053	0.0	NaN	2023-02-01
4	36.261843	36.649907	0.0	NaN	36.724379	37.476636	0.0	100.0	2023-02-02

	cr_A	cr_A_116	cr_A_117	cr_A_118	cr_C	cr_C_116	cr_C_117	cr_C_118
count	38.000000	38.000000	34.000000	20.000000	38.000000	38.000000	34.000000	22.000000
mean	36.052550	35.141430	33.687968	31.032774	36.373220	35.548775	37.839470	38.671572
std	1.084888	2.001971	15.771369	13.918096	1.183716	2.105987	18.206277	24.811428
min	32.502623	31.000000	0.000000	0.000000	31.899736	27.007299	0.000000	0.000000
25%	35.636363	33.454274	32.168746	33.470807	35.819836	34.895987	34.416094	35.140620
50%	36.212181	35.529743	35.888289	35.767949	36.672438	36.083072	36.221940	36.672100
75%	36.525140	36.643000	36.841087	37.060315	37.031853	37.070130	37.945996	38.541812
max	37.979512	38.888889	100.000000	50.000000	38.036609	38.512035	100.000000	100.000000

Проверка ttest

Стьюдентный критерий для парных выборок используется для сравнения средних значений двух выборок, когда каждое наблюдение в одной выборке может быть сопоставлено с наблюдением в другой выборке.

	add_cart_A_116	add_cart_A_117	add_cart_A_118	add_cart_C_116	add_cart_C_117	add_cart_C_118	cr_A_116	cr_A_117	cr_A_118	cr_C_116	cr_C_117	cr_C_118	created_date	view_cart_A_116	view_cart_A_117	view_cart_A_118	view_cart_C_116	view_cart_C_117	view_cart_C_118
33	123	189	2313	113	176	2355	37.160121	30.781759	33.751642	32.944606	30.397237	35.086412	2023-03-03	331	614	6853	343	579	6712
34	93	154	2280	103	149	2276	31.000000	31.557377	35.552783	34.448161	31.702128	35.303242	2023-03-04	300	488	6413	299	470	6447
35	106	140	2447	103	162	2420	37.192982	30.107527	35.780085	35.034014	34.322034	35.814711	2023-03-05	285	465	6839	294	472	6757
36	86	120	2201	101	130	2205	33.992095	32.085561	34.166408	32.165605	31.784841	33.439490	2023-03-06	253	374	6442	314	409	6594
37	48	53	1049	37	66	1009	32.214765	29.943503	32.628305	27.007299	34.736842	31.890013	2023-03-07	149	177	3215	137	190	3164

alpha = 0.05

H_0 : Средняя конверсии в группе А и группе С ровна
H_1 : Средняя коверсия в группе С больше средней конверсии группы А

p-значение:  0.12120710481621237
Не получилось отвергнуть нулевую гипотезу

Итог

🤔
Разница конверсий статистически не значима, и не превышает стандартное отклоение составляет:
* версия моб. приложения = 116 - 0.62%
* версия моб. приложения = 117 - 0.95%
* версия моб. приложения = 118 - 1.20%
* версия моб. приложения >= 116 - 0.42%

Конверсия спасибо за заказ

	count_user_order	event_type_id	test_segment
0	45283	2	A
1	15916	6	A
2	45436	2	C
3	15962	6	C

zet_proportion проверка

H_0 : Пропорции равны
H_1 : Пропорция сегмента А больше пропорции сегмента C

pval = 0.823

Итог

🤔
Разница конверсий статистически не значима, конверсия сегмента А ровна конверсии сегмента С составляет:
* версия моб. приложения сегмент А >= 116 - 35.15%
* версия моб. приложения сегмент С >= 116 - 35.13%

(карточка товара) если возможно, то как изменилась покладка из положения экрана ниже строки с элементом "Сравнить" (т.е стали ли чаще добавлять товар в корзину не возвращаясь к началу экрана где мы сейчас выводим стоимость)

🤔
Данную конверсию сегментов А и С нет возможности рассмотреть.

(экран отзывов) уменьшились ли выходы с экрана отзывов в карточку товара для покладки товара в корзину, или стали чаще добавлять с экрана отзывов

	mean_add_del_A	mean_add_del_C	mean_add_del_A_116	mean_add_del_C_116	mean_add_del_A_117	mean_add_del_C_117	mean_add_del_A_118	mean_add_del_C_118
0	170.05	238.275	70.7	100.225	58.7	81.025	40.9	57.25

Итог

🤔
Видно, что средняя разница добавления в корзину и потом удаление в сегменте А меньше чем в сегменте С. т.е. в сегменте С остается больше товаров в корзине, что подтверждает увеличение конверсии из страницы отзывов/корзина