Поддержка #9764
Загрузка чеков в кампейн
100%
Описание
В кампейн не подгружается часть чеков.
Выяснили, что кампейн забирает себе данные, которые ещё не догрузились, поэтому часть чеков не попадает в загрузку.
Кампейн ответил:
Импорт данных запускается раз в три часа по расписанию, однако в разные периоды импортируются разные данные. Данные клиентов загружаются с 15:00 до 22:00 (15:00, 18:00 и 21:00). Импорт остальных данных (включая чеки) запускается в 00:00 (по Мск) и до 18:00 (в 21:00 импорт остальных данных не происходит).
По нашим данным на сервере Миницен подготовка данных происходит ежедневно за вчерашний день с 04:00 до 05:00 по хф или с 21:00 по 22:00 по мск.
Необходимо, чтобы в это время Кампейн не забирал данные, тогда проблема должна решиться.
При этом нужно учесть, что данные по чекам за вчерашний день в Кампейне будут доступны только после 05:00 по хф
В кампейн поставили задачу о переносе времени загрузки данных
Повторениеs
История
#1
Обновлено Елена Резинкина почти 2 года назад
18.02.24 сообщение от кампейна:
Некоторое время назад Вы обращались в поддержку с заявкой по поводу того, что в Кампейне нет всех чеков (изначально было обнаружено по нехватке чеков одного клиента, потом нашли общую проблему). Чеки не импортировались, если нет всех необходимых полей для импорта в базе данных ХФ (МЦ). В данном случае проблема была с items_cnt - количество строк в чеке, на момент импорта у МЦ в базе значение items_cnt было NULL, а должно быть число.
На этот счет поддержка давала соответствующие пояснения в рамках заявки для передачи на сторону ХФ, также по запросу описали в какое время мы данные с сервера ХФ по МЦ грузим. Вы приняли информацию, оценили совместно с ХФ, после чего от вас последовала обратная связь, где просили поменять время импорта.
Т.к. данные в базе МЦ обновляются по времени, попросили нас грузить после этого времени:
- с 04:00 до 05:00 по хф
- с 21:00 по 22:00 по мск.
- с 01:00 по 02:00 по Тск/Нск
По итогу на нашей стороне:
1. Выполнили необходимые для дальнейшей работы импорта правки,
2. Время импорта по МЦ сдвинули.
Было это сделано 9 февраля. Сейчас импорт чеков начинается по Нск в 7:00, т.е. вскоре после того, как у МЦ данные уже обновлены должны быть в их БД.
Но сейчас наблюдаем, что проблему это не решило окончательно. 16.02.2024 проблема повторилась. Заехало всего 12 чеков, а должно быть около 50 тыс.
В этой связи, просим довести еще раз более акцентировано донести до коллег из МЦ, что по их просьбе мы время запуска скорректировали, однако, 16.02.2024 на момент импорта у них в базе данные были не полные. Не было данных об items_cnt. Спустя какое-то время (как удалось отследить потом нашим инженерам) данные об items_cnt в БД МЦ появляются, но мы уже эти данные не видим, т.к. у нас только дельта грузится.
Можно попробовать еще время импорта для МЦ сдвинуть, если в этом есть явная необходимость. Если же случай с нехваткой данных в БД имеет частный характер, то коллегам на стороне МЦ необходимо найти проблему и решить на постоянной основе.
#2
Обновлено Елена Резинкина почти 2 года назад
- Файл image_2024_02_19T09_19_31_353Z.png добавлен
На нашей стороне проверили время загрузки данных. Прикладываю скриншот. Время указано Хабаровское.
Видно, что выгрузка данных завершилась до 5 утра и до этого времени данные об items_cnt уже должны быть подгружены. Позднее никаких загрузок мы не производим.
#3
Обновлено Елена Резинкина почти 2 года назад
Данные от Кампейна
Начало импорта, время НСК, первые 10 строк и пейлоад
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313732942","client_id":"7724898284","number":"313732942","date":"2024-02-15","items_cnt":null,"items_sum":"154.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"17913","device_id":"7","PartnerID":null,"cityName":"Город 12","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313709096","client_id":"7724898500","number":"313709096","date":"2024-02-15","items_cnt":null,"items_sum":"101.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"17782","device_id":"7","PartnerID":null,"cityName":"Город 48","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313709099","client_id":"7724898500","number":"313709099","date":"2024-02-15","items_cnt":null,"items_sum":"295.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"17782","device_id":"7","PartnerID":null,"cityName":"Город 48","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313756538","client_id":"7725294373","number":"313756538","date":"2024-02-15","items_cnt":null,"items_sum":"1967.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"14531","device_id":"5","PartnerID":null,"cityName":"Город 12","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313732980","client_id":"7486379978","number":"313732980","date":"2024-02-15","items_cnt":null,"items_sum":"2952.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"15208","device_id":"5","PartnerID":null,"cityName":"Город 26","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313711297","client_id":"7725337428","number":"313711297","date":"2024-02-15","items_cnt":null,"items_sum":"502.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"15133","device_id":"5","PartnerID":null,"cityName":"Город 25","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313726720","client_id":"7486718531","number":"313726720","date":"2024-02-15","items_cnt":null,"items_sum":"1125.5000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"15850","device_id":"7","PartnerID":null,"cityName":"Город 3","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313719077","client_id":"7720674598","number":"313719077","date":"2024-02-15","items_cnt":null,"items_sum":"251.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"18306","device_id":"4","PartnerID":null,"cityName":"Город 1","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313719080","client_id":"7720674598","number":"313719080","date":"2024-02-15","items_cnt":null,"items_sum":"38.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"18306","device_id":"4","PartnerID":null,"cityName":"Город 1","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
[2024-02-16 07:01:47] [Аптека Миницен:47:77c39227] batch-BatchImportDB.DEBUG: ERRORS: [{"items_cnt":true},{"local_id":"313779251","client_id":"7725036448","number":"313779251","date":"2024-02-15","items_cnt":null,"items_sum":"361.0000","status":"","payment_status_name":"","orderSourceID":null,"bunit_id":"18098","device_id":"5","PartnerID":null,"cityName":"Город 30","brand_code":"MINICEN","aedtm":"2024-02-16 00:01:01.273"}]
#5
Обновлено Елена Резинкина почти 2 года назад
- Описание обновлено (diff)
#6
Обновлено Елена Яблокова почти 2 года назад
- Параметр Назначена изменился с Елена Яблокова на Елена Резинкина
В загружаемых данных участвуют две таблицы: Чеки и Строки чеков.
Иногда Строки чеков за вчерашний день не успевают загрузиться в транзитную базу до начала их переноса в целевую базу (которая применяется для куба и Кампейна).
ХФ ранее писали, что могут начать загрузку на 2 часа раньше. В связи с этим мы попросили их сдвинуть начало загрузки как раз на это время.
Если проблема будет сохраняться, то единственный выход - это начинать перенос данных из транзитной базы в целевую позднее (сейчас начало переноса в 04:00 по ХФ). Но есть проблема. Весь процесс переноса вместе с обновлением куба занимает от 6 до 9 часов. То есть на сегодня вы можете начать использовать куб с данными за вчерашний день самое позднее в 10:00. Чем позже будет начало переноса данных, тем позже вы будете начинать работать с кубом.
#7
Обновлено Елена Резинкина около 1 года назад
- Параметр Дата завершения изменился на 30.09.2024
- Параметр Статус изменился с Новая на Завершена
- Параметр Готовность изменился с 0 на 100