Проект

Общее

Профиль

Разработка #10298

Загрузка данных Кассир

Добавил(а) Елена Яблокова больше 1 года назад. Обновлено больше 1 года назад.

Статус:
В работе
Приоритет:
Обычный
Назначена:
Категория:
Тех.поддержка
Дата начала:
04.06.2024
Дата завершения:
17.06.2024
Готовность:

20%


Загрузка данных Кассир.docx (15,1 КБ) Елена Яблокова, 04.06.2024 13:36

Снимок экрана 2024-07-10 130201.png (105 КБ) Preview Елена Яблокова, 10.07.2024 09:02

Бэкап.png (103 КБ) Preview Елена Яблокова, 02.08.2024 06:37

18319
18524

Повторениеs

История

#1 Обновлено Елена Яблокова больше 1 года назад

Задача в текстовом файле

#2 Обновлено Иван Щесюк больше 1 года назад

  • Параметр Назначена изменился с Иван Щесюк на Техническое Сопровождение2

#3 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Дата завершения изменился на 17.06.2024
  • Параметр Статус изменился с Новая на В работе
  • Параметр Готовность изменился с 0 на 20

#4 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

Данные нужно всегда только добавлять? или перед каждой загрузкой нужно очищать таблицы в БД?

#5 Обновлено Техническое Сопровождение2 больше 1 года назад

Сделал.

Скрипт лежит здесь e:\Kassir\Куб для клиента\script\upload_kassir.bat
Бэкапы скидываются сюда e:\Kassir\Куб для клиента\backup\

Как написали в телеграм, таблицы Clients, Domains, Emails, Emails Retail Rocket, Goods - очищаются каждый раз, если в папке есть файлы для загрузки.

Папку и таблицу в БД Emails Retail Rocket пришлось переименовать в Emails_Retail_Rocket. Это создавало проблемы при разработке скрипта.
Вообще исходные данные очень "грязные". Отличаются разделители, отличается кодировка, кавычки где-то есть, где-то нет.

#6 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2

Таблицы сейчас пустые.
При попытке загрузки через bat-файл ошибка "Отказано в доступе". Выдайте пожалуйста права для Елена Я и Планировщик2

#7 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

Права добавил. Таблицы специально почистил, чтобы загрузку произведи вы. Так будет нагляднее и заодно проверится под вашим доступом.

#8 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2

У Планировщика2 нет доступа

#9 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

На папки доступ был, возможно не было доступа к БД KAssir_work - права на БД добавил. Проверьте сейчас. Если не поможет, скиньте мне пароль, я попробую сам под ним зайти и проверить.

#10 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2

Доступ к БД появился. Но данные не загружаются через планировщик, возможно как-то по-другому нужно его настроить, посмотрите пожалуйста.

Задача в планировщике называется Kassir.
Пароль скинула в личку

#11 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

Зашел под планировщик, 2 удалил данные из таблицы клиентов, запустил скрипт - данные загрузились, данные в таблице появились. Удалил данные. Запустил загрузку через планировщик - данные загрузились. Ничего более не настраивал

#12 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2

В таблицу [Orders] поле sale_channel_name загружается символьно, с кодировкой что-то. Поправите?

#13 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Иван Щесюк

Кассир прислали новые данные. Несколько таблиц не загружаются, возможно клиент поменял типы данных или что-то ещё.
Нужно доработать механизм загрузки и сообщить трудозатраты в отдельности по каждому из пунктов ниже, чтобы выставить клиенту.

Что конкретно нужно сделать:
1. Доработать [Orders] (мой комментарий выше №12).
2. Доработать загрузку [Services], новый файл лежит в backup с попыткой загрузки от 26.06.24.
3. Доработать загрузку [Tickets], новый файл лежит в backup с попыткой загрузки от 26.06.24.

#14 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Иван Щесюк на Елена Яблокова

Хм...это очень странно, точно помню что проверял, именно по этой причине у меня в коде загрузки Orders загружается отдельно. Поправил. Перезагрузил данные по Orders

#15 Обновлено Техническое Сопровождение2 больше 1 года назад

2 и 3 пункты тоже поправил, они стали передавать данные с кавычками. Затратил 1 час.

#16 Обновлено Елена Яблокова больше 1 года назад

18319

На диске Е стали появляться файлы непонятного расширения и подозрительно похожие(равные) по размеру с файлами, которые загружали по Кассиру. Даты создания файлов совпадают с датами загрузок.
Можете проверить действительно ли это всё связано и поправить загрузку при необходимости?

#17 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

Поправил

#18 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2

Клиент с 27.07 начал выгружать данные. Но загружаются только Goods и Emails. Посмотрите пжл в чем дело

#19 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

Кто-то пересохранил файл скрипта в другой кодировке. Нужна 866, сделали 1251, в итоге путь который содержит русские символы исказился. ПОПРАВИЛ

По бонусам разломалась загрузка, они опять стали передавать какую-то херь, видно что в файле от 28.06 все поля были с кавычками, теперь они в кавычках передают только текстовые поля, а цифровые без кавычек, из за этого парсер отрабатывает не так и ломает загрузку. В таком случае вообще невозможно загрузить данные без их искажениия.

К примеру для клиентов, символ ; встречается в большом кол-ве емаилов, и это по полям вообще нереально разделить без кавычек.
Я могу перед обработкой файла удалять все символы ; но тогда тот же емаил уже будет недействительным. Либо пусть тогда сами убирают символы разделения при выгрузке.

В общем как в след раз они скинут выгрузку напишите мне в этой задаче, еще раз проверю, есть ли отклонения в передаче данных с их стороны тогда нужно будет решать вопрос с ними.

#20 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2

Новые данные клиента выгружены на E:\ftp\Kassir

#21 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

Сделал вариант замены всех символов разделителя полей ; на более уникальный. Сейчас загрузка работает. Но в идеале чтобы они передавали все поля в кавычках.

#22 Обновлено Елена Яблокова больше 1 года назад

  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2

Вы загрузили только данные, которые были в папке ftp?
Данные, которые мы пытались загрузить в БД за день до этого, вы не грузили? Можете загрузить?

#23 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

Да, загружал. Есть какие-то примеры которые не загрузились? Попроверял все файлы, поселектил ИД из файлов в базе, те что проверял - есть в БД.

#24 Обновлено Елена Яблокова больше 1 года назад

  • Файл Бэкап.png добавлен
  • Параметр Назначена изменился с Елена Яблокова на Техническое Сопровождение2
18524

Я смотрела по датам.
Сейчас, допустим, в таблице [Tickets] из июля24 загружено только 2024-07-28. Хотя в бэкапе есть и другие даты июля.

На скрине видно, что в бэкапе разделители кривые получились, видимо из-за того, что они кавычки убрали.

#25 Обновлено Техническое Сопровождение2 больше 1 года назад

  • Параметр Назначена изменился с Техническое Сопровождение2 на Елена Яблокова

у вас на фтп много файлов скопилось за разные даты, у вас в планировщике скрипт точно запускается?
Запустил вручную + подсунул недостающие файлы. Прогрузилось.
Также прогрузил то что пришло за 02.08.

Экспортировать в Atom PDF