Выгрузить csv что это
Выгрузить csv что это
Внимание! Если Вы пользуетесь данным способом импорта впервые, пожалуйста сделайте резервную копию инфоблока, с которым Вы ведете работу. При утере данных, наша техническая поддержка не сможет помочь с их восстановлением.
Что такое CSV?
В битриксе есть встроенный импорт/экспорт данных. Выгрузить можно любую динамическую информацию, т.е. любой инфоблок. Также Вы можете настроить поля, которые нужно выгружать/загружать.
Экспорт информационных блоков (без выгрузки цены и валюты)
Шаг 1. Выбираете тип инфоблока и инфоблок для выгрузки, жмете далее.
Шаг 2. Свойства формата файлов изменять не нужно, по умолчанию все настроено правильно.
Выбираете те поля, которые хотите выгрузить.
Жирным выделены обязательные для выгрузки поля (Название и внешний код).
Советуем Вам выбирать небольшое количество свойств, т.к. после выгрузки названия свойств будут преобразованы, например IPROP34.
Если у Вас много свойств, советуем воспользоваться ctrl+f для поиска нужных.
Скроллите в самый низ, нажимаете «Начать выгрузку».
Скачиваете файл на свой компьютер.
Структура файла выгрузки
CSV файл обязательно должен содержать в себе наименование элемента и xml_id (внешний код), иначе импортировать ничего не получится.
Привязка товаров в битриксе работает по xml_id, и если в одном информационном блоке пересечется несколько одинаковых кодов, то возникнут ошибки. Поэтому xml_id должен быть уникальным.
В файле выгрузки каждое свойство имеет свой столбец, будь то код, свойство, описание или что-то другое.
Мы не советуем через выгрузку работать со множественными значениями свойств, т.к. множественные значения попадают каждый в отдельную строчку, дублируя при этом товар. Например, если у Вас всего 1000 товаров, каждый из которых имеет привязку к 2-м разделам, и Вы выгружаете это поле, то у Вас в файле будет 2000 строк.
Для наглядности прилагаем пример файла CSV
Импорт CSV
Подготовьте файл для импорта в формате CSV, разделители запятые. Пример файла CSV
Возможные проблемы при импорте или экспорте данных
Если на Вашем сайте используется кодировка UTF-8, то все русскоязычные наименования у Вас превратятся в «иероглифы», т.к. excel не воспринимает кодировку UTF-8.
Для исправления проблемы Вам необходимо переконвертировать файл в кодировку windows1251, а при импорте обратно в UTF-8. Сделать это можно с помощью продвинутых текcтовых редакторов, типа Php Expert Editor, Sublime Text или Open Office
Редактируем CSV-файлы, чтобы не сломать данные
Продукты HFLabs в промышленных объемах обрабатывают данные: адреса, ФИО, реквизиты компаний и еще вагон всего. Естественно, тестировщики ежедневно с этими данными имеют дело: обновляют тест-кейсы, изучают результаты очистки. Часто заказчики дают «живую» базу, чтобы тестировщик настроил сервис под нее.
Первое, чему мы учим новых QA — сохранять данные в первозданном виде. Все по заветам: «Не навреди». В статье я расскажу, как аккуратно работать с CSV-файлами в Excel и Open Office. Советы помогут ничего не испортить, сохранить информацию после редактирования и в целом чувствовать себя увереннее.
Материал базовый, профессионалы совершенно точно заскучают.
Что такое CSV-файлы
Формат CSV используют, чтобы хранить таблицы в текстовых файлах. Данные очень часто упаковывают именно в таблицы, поэтому CSV-файлы очень популярны.
CSV-файл состоит из строк с данными и разделителей, которые обозначают границы столбцов
CSV расшифровывается как comma-separated values — «значения, разделенные запятыми». Но пусть название вас не обманет: разделителями столбцов в CSV-файле могут служить и точки с запятой, и знаки табуляции. Это все равно будет CSV-файл.
У CSV куча плюсов перед тем же форматом Excel: текстовые файлы просты как пуговица, открываются быстро, читаются на любом устройстве и в любой среде без дополнительных инструментов.
Из-за своих преимуществ CSV — сверхпопулярный формат обмена данными, хотя ему уже лет 40. CSV используют прикладные промышленные программы, в него выгружают данные из баз.
Одна беда — текстового редактора для работы с CSV мало. Еще ничего, если таблица простая: в первом поле ID одной длины, во втором дата одного формата, а в третьем какой-нибудь адрес. Но когда поля разной длины и их больше трех, начинаются мучения.
Следить за разделителями и столбцами — глаза сломаешь
Еще хуже с анализом данных — попробуй «Блокнотом» хотя бы сложить все числа в столбце. Я уж не говорю о красивых графиках.
Поэтому CSV-файлы анализируют и редактируют в Excel и аналогах: Open Office, LibreOffice и прочих.
Ветеранам, которые все же дочитали: ребята, мы знаем об анализе непосредственно в БД c помощью SQL, знаем о Tableau и Talend Open Studio. Это статья для начинающих, а на базовом уровне и небольшом объеме данных Excel с аналогами хватает.
Как Excel портит данные: из классики
Все бы ничего, но Excel, едва открыв CSV-файл, начинает свои лукавые выкрутасы. Он без спроса меняет данные так, что те приходят в негодность. Причем делает это совершенно незаметно. Из-за этого в свое время мы схватили ворох проблем.
Большинство казусов связано с тем, что программа без спроса преобразует строки с набором цифр в числа.
Округляет. Например, в исходной ячейке два телефона хранятся через запятую без пробелов: «5235834,5235835». Что сделает Excel? Лихо превратит номера́ в одно число и округлит до двух цифр после запятой: «5235834,52». Так мы потеряем второй телефон.
Приводит к экспоненциальной форме. Excel заботливо преобразует «123456789012345» в число «1,2E+15». Исходное значение потеряем напрочь.
Проблема актуальна для длинных, символов по пятнадцать, цифровых строк. Например, КЛАДР-кодов (это такой государственный идентификатор адресного объекта: го́рода, у́лицы, до́ма).
Удаляет лидирующие плюсы. Excel считает, что плюс в начале строки с цифрами — совершенно лишний символ. Мол, и так ясно, что число положительное, коль перед ним не стоит минус. Поэтому лидирующий плюс в номере «+74955235834» будет отброшен за ненадобностью — получится «74955235834». (В реальности номер пострадает еще сильнее, но для наглядности обойдусь плюсом).
Потеря плюса критична, например, если данные пойдут в стороннюю систему, а та при импорте жестко проверяет формат.
Разбивает по три цифры. Цифровую строку длиннее трех символов Excel, добрая душа, аккуратно разберет. Например, «8 495 5235834» превратит в «84 955 235 834».
Форматирование важно как минимум для телефонных номеров: пробелы отделяют коды страны и города от остального номера и друг от друга. Excel запросто нарушает правильное членение телефона.
Удаляет лидирующие нули. Строку «00523446» Excel превратит в «523446».
А в ИНН, например, первые две цифры — это код региона. Для Республики Алтай он начинается с нуля — «04». Без нуля смысл номера исказится, а проверку формата ИНН вообще не пройдет.
Меняет даты под локальные настройки. Excel с удовольствием исправит номер дома «1/2» на «01.фев». Потому что Windows подсказал, что в таком виде вам удобнее считывать даты.
Побеждаем порчу данных правильным импортом
Если серьезно, в бедах виноват не Excel целиком, а неочевидный способ импорта данных в программу.
По умолчанию Excel применяет к данным в загруженном CSV-файле тип «General» — общий. Из-за него программа распознает цифровые строки как числа. Такой порядок можно победить, используя встроенный инструмент импорта.
Запускаю встроенный в Excel механизм импорта. В меню это «Data → Get External Data → From Text».
Выбираю CSV-файл с данными, открывается диалог. В диалоге кликаю на тип файла Delimited (с разделителями). Кодировка — та, что в файле, обычно определяется автоматом. Если первая строка файла — шапка, отмечаю «My Data Has Headers».
Перехожу ко второму шагу диалога. Выбираю разделитель полей (обычно это точка с запятой — semicolon). Отключаю «Treat consecutive delimiters as one», а «Text qualifier» выставляю в «
На третьем шаге выбираю формат полей, ради него все и затевалось. Для всех столбцов выставляю тип «Text». Кстати, если кликнуть на первую колонку, зажать шифт и кликнуть на последнюю, выделятся сразу все столбцы. Удобно.
Дальше Excel спросит, куда вставлять данные из CSV — можно просто нажать «OK», и данные появятся в открытом листе.
Перед импортом придется создать в Excel новый workbook
Но! Если я планирую добавлять данные в CSV через Excel, придется сделать еще кое-что.
После импорта нужно принудительно привести все-все ячейки на листе к формату «Text». Иначе новые поля приобретут все тот же тип «General».
После этого, если повезет, Excel оставит исходные данные в покое. Но это не самая твердая гарантия, поэтому мы после сохранения обязательно проверяем файл через текстовый просмотрщик.
Альтернатива: Open Office Calc
Для работы с CSV-файлами я использую именно Calc. Он не то чтобы совсем не считает цифровые данные строками, но хотя бы не применяет к ним переформатирование в соответствии с региональными настройками Windows. Да и импорт попроще.
Конечно, понадобится пакет Open Office (OO). При установке он предложит переназначить на себя файлы MS Office. Не рекомендую: хоть OO достаточно функционален, он не до конца понимает хитрое микрософтовское форматирование документов.
А вот назначить OO программой по умолчанию для CSV-файлов — вполне разумно. Сделать это можно после установки пакета.
Итак, запускаем импорт данных из CSV. После двойного клика на файле Open Office показывает диалог.
Заметьте, в OO не нужно создавать новый воркбук и принудительно запускать импорт, все само
Помимо Calc у нас в HFLabs популярен libreOffice, особенно под «Линуксом». И то, и другое для CSV применяют активнее, чем Excel.
Белая пустошь, раскинувшаяся посередине, в оригинальном CSV-файле богато заполнена данными
Поэтому после сохранения я еще раз открываю файл и убеждаюсь, что данные на месте.
После пересохранения обязательно еще раз проверяю, что все данные на месте и нет лишних пустых строк.
Если интересно работать с данными, посмотрите на наши вакансии. HFLabs почти всегда нужны аналитики, тестировщики, инженеры по внедрению, разработчики. Данными обеспечим так, что мало не покажется 🙂
Что такое CSV файл и для чего нужен в Интернет-магазине?
Если у вас уже солидная база клиентов, база заказов и соответственно детальные описания продуктов, которые вы продаете, то рано или поздно перед вами встанет проблема обмена и сбережения информации.
Возможные проблемы для рабочего Интернет-магазина:
По ходу работы Интернет магазина возникают новые и дополнительные вопросы.
Все эти вопросы, возможно решать, даже если у вас нет возможности изменить логику представления данных или программировать скрипты Интернет магазина.
Вы можете спросить меня – как это?
Рекомендую использовать универсальный формат данных, экспортируя и импортируя информацию через CSV файл.
Что такое csv файл?
Это текстовый файл, в котором содержится информация, а поля разделяются специальными символами – разделителями.
Поэтому и он называется Comma Separated Values – значения, разделённые запятыми.
Вообще-то в США эти файлы разделяются действительно запятыми, в странах СНГ основным разделителем есть точка с запятой, то есть ;
Хотя Вы можете выбрать себе другой уникальный разделитель.
Как выбрать себе уникальный разделитель – я отпишу ниже. Конечно, тут есть еще нюансы.
Этот же csv-файл может быть полезен для операций прайс-листами онлайн магазина.
Думаю, более удобнее будет для вас показать полезность csv формата на реальных примерах.
Для примера я возьму демонстрационную версию Интернет-магазина.
Предположим мне нужно экспортировать все продукты Интернет-магазина для редактирования или для ознакомления.
Экспортируем данные в csv файл и сохраняем на свой ПК.
Вы видите, что браузер сам определил, что файл формата csv может быть отрыт программой Microsoft Excel.
Хорошая новость, что вам не нужен еще дополнительный инструмент для работы с файлом CSV.
Чтобы открыть файл вам достаточно даже простой Блокнот или другая программа, которая может читать тексты.
А для автоматического преобразования данных в файле подойдет Excel или подобная программа. Например, бесплатный пакет LibreOffice.
Обычно, первая строка файла – это список полей, для которых делается экспорт.
Вы можете потом удалить их, чтобы они не нарушили ваши данные.
Следующие данные разбиты по строкам, причем поля отделяются разделителем – то есть специальным символом. В нашем варианте это точка с запятой.
Некоторые клиенты забывают про специальный разделитель и “попадаются” на этой детали.
Если у вас в описании товара используются такие символы, попробуйте поставить другой разделитель, который точно не будет использоваться в описании товаров. Например: * или # или другой символ.
Чтобы открыть файл, просто запустите его в Excel
Возможные проблемы в таких типах файлов могут возникать в ценах (точка и запятая) для разделения цифр.
Эти моменты решаются простой функцией авто-замены значений полей.
Теперь, мы получили нужный файл, внесли в нем изменения. Например, поменяли цены для всех товаров на 20 % и хотим закачать его обратно в магазин.
Как автоматически менять цены на прайс – я описывал в свой статье.
Как это сделать – очень просто!
Большинство Интернет-магазинов или больших и серьезных программ используют промежуточный файл сохранения данных – то есть CSV файлы.
Будь это 1С Бухгалтерия или Интернет-магазин.
Как закачать прайс или описание товаров в магазин?
На примере я покажу, как можно импортировать данные в файле csv в Интернет-магазин.
Выбираете файл, укажите поля, которые нужно подключить в магазин и нажмите кнопку запуска. Вот и все.
Поэтому, когда у меня спрашивают, как сделать обмен данными – я всегда предлагаю клиентам попробовать csv файл.
Этот универсальный файл поможет вам во много раз ускорить все процессы управления Интернет-магазином и его наполнение контентом.
Что еще почитать про экспорт – импорт файлов?
Импорт и экспорт текстовых файлов (в формате TXT или CSV)
Импортировать данные из текстового файла в Excel можно двумя способами: открыть их в Excel или импортировать как диапазон внешних данных. Чтобы экспортировать данные из Excel в текстовый файл, воспользуйтесь командой Сохранить как и измените тип файла в меню.
Чаще всего используются два формата текстовых файлов:
текстовые файлы с разделителями (TXT), в которых для разделения полей текста обычно используется знак табуляции (знак ASCII с кодом 009);
текстовые файлы с разделителями-запятыми (CSV), в которых в качестве разделителя полей текста обычно используется запятая (,).
Вы можете изменить знак разделения, используемый в TXT- и CSV-файлах. Это может потребоваться для обеспечения успешного выполнения импорта и экспорта.
Примечание: Можно импортировать и экспортировать до 1 048 576 строк и 16 384 столбцов.
Импорт текстового файла путем его открытия в Excel
Текстовый файл, созданный в другой программе, можно открыть как книгу Excel с помощью команды Открыть. При открытии текстового файла в Excel его формат не изменяется — это можно заметить по заголовку окна Excel, где имя указывается с расширением текстового файла (например, TXT или CSV).
Перейдите в > открыть и перейдите в папку с текстовым файлом.
В диалоговом окне Открытие выберите текстовые файлы в списке тип файла.
Найдите нужный файл и дважды щелкните его.
Если это текстовый файл (с расширением ТХТ), запустится мастер импорта текста. Окончив работу с мастером, нажмите кнопку Готово, чтобы завершить импорт. Дополнительные сведения о разных вариантах и дополнительных параметрах см. в мастере импорта текста.
Если файл имеет расширение CSV, Excel автоматически откроет его и отобразит данные в новой книге.
Примечание: При открытии CSV-файлов для определения способа импорта каждого столбца используются заданные по умолчанию параметры форматирования данных. Если вы хотите применить другие параметры, используйте мастер импорта текста. Например, мастер потребуется, если столбец данных в CSV-файле имеет формат МДГ, а в Excel по умолчанию используется формат ГМД или необходимо преобразовать в текст столбец чисел, содержащих начальные нули, чтобы сохранить их. Чтобы принудительно запустить мастер импорта текста, можно изменить расширение имени файла с CSV на TXT или импортировать текстовый файл путем подключения к нем (дополнительные сведения см. в следующем разделе).
Импорт текстового файла путем подключения к нем (Power Query)
Вы можете импортировать данные из текстового файла в существующий.
На вкладке Данные в группе & преобразование данных выберите из текстового/CSV-документа.
В диалоговом окне Импорт данных найдите и дважды щелкните текстовый файл, который нужно импортировать,и нажмите кнопку Импорт.
В диалоговом окне предварительного просмотра есть несколько вариантов:
Выберите Загрузить, если вы хотите загрузить данные непосредственно на новый.
Кроме того, выберите загрузить в, если вы хотите загрузить данные в таблицу, в смету или на существующий или новый листа Excel, или просто создать подключение. Вы также можете добавить данные в модель данных.
Выберите Преобразовать данные, если вы хотите загрузить данные в Power Query и отредактировать их перед их преобразованием в Excel.
Если Excel не преобразует определенный столбец данных в нужный формат, их можно преобразовать после импорта. Дополнительные сведения см. в статьях Преобразование чисел из текстового формата в числовой и Преобразование дат из текстового формата в формат даты.
Экспорт данных в текстовый файл путем его сохранения
Лист Excel можно преобразовать в текстовый файл, используя команду Сохранить как.
Выберите Файл > Сохранить как.
Нажмите кнопку Обзор.
В диалоговом окне Сохранить как в поле Тип файла выберите формат текстового файла для этого документа. Например, щелкните Текст (с табу женой) или CSV (сзапятой).
Примечание: Различные форматы текстовых файлов поддерживают разные возможности. Дополнительные сведения см. в статье Поддерживаемые Excel форматы файлов.
Перейдите в папку, куда вы хотите сохранить файл, а затем нажмите кнопку Сохранить.
Откроется диалоговое окно с напоминанием о том, что в текстовом файле будет сохранен только текущий лист. Если вы хотите сохранить именно текущий лист, нажмите кнопку ОК. Другие листы можно сохранить в отдельных текстовых файлах, повторив эту процедуру для каждого из них.
Кроме того, под лентой может появиться предупреждение о том, что некоторые возможности могут быть потеряны при сохранение книги в формате CSV.
Дополнительные сведения о сохранении файлов в других форматах см. в статье Сохранение книги в другом формате файла.
Импорт текстового файла путем подключения к нему
Вы можете импортировать данные из текстового файла в существующий.
Щелкните ячейку, в которую вы хотите поместить данные из текстового файла.
На вкладке Данные в группе Получение внешних данных нажмите Из текста.
В диалоговом окне Импорт данных найдите и дважды щелкните текстовый файл, который нужно импортировать,и нажмите кнопку Импорт.
Следуйте инструкциям мастера импорта текста. Щелкните 
на любой странице мастера импорта текста, чтобы получить дополнительные сведения об использовании мастера. Окончив работу с мастером, нажмите кнопку Готово, чтобы завершить импорт.
В диалоговом окне Импорт данных:
В группе Куда следует поместить данные? выполните одно из следующих действий:
Чтобы поместить данные в выбранные ячейки, щелкните На существующий лист.
Чтобы поместить данные в верхний левый угол нового листа, выберите вариант На новый лист.
При необходимости нажмите кнопку Свойства, чтобы задать параметры обновления, форматирования и макета импортируемых данных.
Excel добавит диапазон внешних данных в указанное место.
Если Excel не преобразует столбец в необходимый формат, это можно сделать после импорта. Дополнительные сведения см. в статьях Преобразование чисел из текстового формата в числовой и Преобразование дат из текстового формата в формат даты.
Экспорт данных в текстовый файл путем его сохранения
Лист Excel можно преобразовать в текстовый файл, используя команду Сохранить как.
Выберите Файл > Сохранить как.
Откроется диалоговое окно Сохранение документа.
В поле Тип файла выберите формат текстового файла для листа.
Например, выберите Текстовые файлы (с разделителями табуляции) или CSV (разделители — запятые).
Примечание: Различные форматы текстовых файлов поддерживают разные возможности. Дополнительные сведения см. в статье Поддерживаемые Excel форматы файлов.
Перейдите в папку, куда вы хотите сохранить файл, а затем нажмите кнопку Сохранить.
Откроется диалоговое окно с напоминанием о том, что в текстовом файле будет сохранен только текущий лист. Если вы хотите сохранить именно текущий лист, нажмите кнопку ОК. Другие листы можно сохранить в отдельных текстовых файлах, повторив эту процедуру для каждого из них.
Откроется второе диалоговое окно с напоминанием о том, что сохраняемый лист может содержать возможности, которые не поддерживаются текстовыми форматами файлов. Если в новом текстовом файле нужно сохранить только данные листа, нажмите кнопку Да. Если вы не уверены и хотите получить дополнительные сведения о том, какие возможности Excel не поддерживаются форматами текстовых файлов, нажмите кнопку Справка.
Дополнительные сведения о сохранении файлов в других форматах см. в статье Сохранение книги в другом формате файла.
Способ изменения деления при импорте зависит от того, как вы импортируете текст.
Если вы импортируете текстовый файл с помощью мастера импорта текста, вы можете изменить его на шаге 2 мастера импорта текста. На этом шаге также можно изменить способ обработки последовательных разделителей (например, идущих подряд кавычек).
Дополнительные сведения о разных вариантах и дополнительных параметрах см. в мастере импорта текста.
Если при сохранение в CSV-окне вы хотите использовать в качестве по умолчанию полу двоеточие, но для этого нужно ограничиться Excel, измените десятичной запятой. В этом случае Excel будет использовать для этого двоеточие. Очевидно, что это также изменит способ отображения десятичных чисел, поэтому также рассмотрите возможность изменения разграничения чисел в тысячах, чтобы сузить путаницу.
Очистка параметров Excel> Дополнительные> параметры редактирования> Использование системных междугов.
Для десятичной запятой установите для десятичной запятой (запятую).
Когда вы сохраняете книгу в CSV-файле, по умолчанию в качестве разных списков запятой является запятая. Вы можете изменить этот знак на другой знак с помощью параметров региона Windows.
Внимание: Изменение параметров Windows приведет к глобальным изменениям на компьютере и повлияет на все приложения. Чтобы изменить только делитель для Excel, см. изменение стандартного деления в списке для сохранения файлов в виде текста (CSV- или CSV-файла) в Excel.
В Microsoft Windows 10 щелкните правой кнопкой мыши кнопку Начните и выберите параметры.
Нажмите кнопку & языки выберите регион в левой области.
На главной панели в группе Региональные параметрыщелкните Дополнительные параметры даты,времени и региона.
В областивыберите изменить форматы даты, времени или числа.
В диалоговом окке Регион на вкладке Формат нажмите кнопку Дополнительные параметры.
В диалоговом окне Настройка формата на вкладке Числа введите символ, который будет использовать в качестве нового в поле «Сепаратор списков».
Дважды нажмите кнопку ОК.
Нажмите кнопку Пуск и выберите пункт Панель управления.
В разделе Часы, язык и регион щелкните элемент Изменение форматов даты, времени и чисел.
В диалоговом окке Регион на вкладке Формат нажмите кнопку Дополнительные параметры.
В диалоговом окне Настройка формата на вкладке Числа введите символ, который будет использовать в качестве нового в поле «Список».
Дважды нажмите кнопку ОК.
Примечание: После изменения разделителя элементов списка все программы на компьютере будут использовать новый символ. Вы можете вернуть стандартный символ, выполнив эти же действия.
Дополнительные сведения
Вы всегда можете задать вопрос специалисту Excel Tech Community или попросить помощи в сообществе Answers community.