Аналіз даних починається з питання, на яке компанія хоче відповісти. Інженерія даних забезпечує надійне отримання й перетворення інформації, а Data Science досліджує закономірності та моделі. Якщо джерела суперечать одне одному, складний алгоритм може лише зробити неправильний висновок переконливішим.
Сформулюйте питання та одиницю спостереження
Погоджуємо, яке рішення підтримує аналіз і що означає один запис. Продаж, оплата й відвантаження описують різні події. Якщо змішати їх без правил, підсумки можуть не відповідати жодному процесу, навіть коли технічно таблиці об’єдналися.
Умовний приклад: потрібно зрозуміти повторні покупки. Спочатку визначаємо клієнта, завершену покупку, період і обробку повернень. Без цих домовленостей різні аналітики можуть отримати різні правильні за своєю логікою результати.
Підготуйте джерела й відповідність
Перелічуємо CRM, облік, сайт та інші джерела з власниками й доступами. Перевіряємо коди, часові зони, валюти, пропуски та дублікати. Подібна назва поля не доводить однаковий зміст; потрібен словник визначень.
Вихідні дані зберігаємо керовано окремо від перетворень. Це дозволяє пояснити походження результату й повторити розрахунок. Для чутливої інформації визначаємо допустимий склад, права та строки, не збираючи все про запас.
Побудуйте контрольований потік даних
Визначаємо розклад, повне або часткове оновлення й поведінку при запізнілих записах. Повторне завантаження не повинно непомітно подвоювати події. Помилка джерела має бути видимою, а останній успішний стан — зрозумілим для користувача аналізу.
Додаємо перевірки кількості, унікальності, допустимих значень і контрольних сум у відповідних розрізах. Зіставлення з джерелом важливіше за зелене повідомлення про завершення. Різницю потрібно пояснити правилами або виправити.
Аналіз має бути відтворюваним і корисним
Фіксуємо версію даних, визначення показника й припущення. Кореляцію не подаємо як доведену причину без відповідного дослідження. Для моделі окремо перевіряємо незалежні приклади та ціну помилки, а для звіту — відповідність бізнес-питанню.
Передаємо потоки, перевірки, власників і обмеження. Коли змінюється поле чи процес джерела, оновлюємо контракт. Готовий аналіз повинен мати пояснюване походження та підтримку, щоб не залежати від одноразової таблиці автора.
Джерела та подальше читання
