Быстрое обезличивание информационной базы

Публикация № 1149906

Администрирование - Администрирование данных 1С - Чистка базы

быстрое обезличивание удаление свертка очистка

Обработка для формирования SQL-скрипта для быстрого обезличивания и очистки данных.

Предлагаю вашему вниманию внешнюю обработку-конструктор для подготовки SQL-скрипта, который может

  • Очищать текстовые реквизиты
  • Заменять значение текстовых реквизитов на GUID
  • Удалять таблицы

При первом открытии надо нажать кнопку "Заполнить дерево МД". В дерево попадут:

  • все объекты, имеющие табличную сущность: основные реквизиты, табличные части, изменения...
  • все реквизиты, имеющие текстовый тип данных

Ставим где нужно флаг "Кодировка" и выбираем доступное для объекта действие. В поле "Запрос SQL" будет появляться собственно сам текст запроса. 

Текст можно скопировать и выполнить в SQL Server Management Studio, не забыв при этом указать целевую базу. Длительность работы скрипта исчисляется минутами, а не часами и днями, если делать то же самое средствами платформы. В скрипте применяются команды UPDATE и TRUNCATE TABLE.

Настройки можно сохранить в файл и восстановить.

Обработка тестировалась на платформе 8.3.12.1567.

В качестве дисклаймера:

  • перед запуском скрипта еще раз тщательно проверьте, что указана правильная база. И эта база точно не продуктив (!), а копия, которую вы решили передать внешнему миру. И сделайте полную копию,  т.к. TRUNCATE TABLE - быстро чистит таблицу, но не оставляет следов в журнале транзакций, так что в случае чего откатить не удастся.
  • обработка сама не меняет данные, полученный скрипт не меняет структуру, но всё же вносит изменения в содержимое базы данных нештатными средствами, поэтому - применяя скрипт к 1С-базе вы нарушаете лицензионное соглашение!
  • возможно кто-то скажет, что это реплика, так и есть! Я честно скачал несколько похожих обработок с ИС, но ни одна из них меня не устроила, ни по функционалу, ни по удобству. Поэтому пришлось написать свою.

Скачать файлы

Наименование Файл Версия Размер
Быстрое обезличивание информационной базы:
.epf 11,33Kb
05.11.19
17
.epf 1 11,33Kb 17 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. ktb 357 07.11.19 09:57 Сейчас в теме
(0) Я бы добавил "красненьким", что это только для тех кто понимает, что делает. :-)
dim9; dj_tol; barelpro; +3 Ответить
4. zzz_natali 59 07.11.19 10:55 Сейчас в теме
(1) Ну, кто добрался "до сладкого", то бишь до манажамент студио, тот уже понимает, что делает. :)
13. dj_tol 93 11.11.19 07:52 Сейчас в теме
(1)и жирненьким и мигающим.
2. nomad_irk 47 07.11.19 10:07 Сейчас в теме
А обычную форму и формирование скрипта для Postgres сделаете? :)
3. barelpro 1122 07.11.19 10:16 Сейчас в теме
(2)

У меня нет постгресса, не на чем будет тестировать, он еще редко встречается...
С обычной формой наоборот - уже редко встречается...
Но если найдутся желающие взять мою обработку за основу для такого развития - я не против!
5. zzz_natali 59 07.11.19 11:03 Сейчас в теме
(3) Если проанализировать родной одинэсовский запрос в profiler'е, то там не всё так однозначно. Скажем, очистка адресного классификатора в УПП выглядит так:
DELETE FROM T1
FROM dbo._InfoRg19091 T1
SELECT DISTINCT T1._Fld19325_TYPE, T1._Fld19325_RTRef, T1._Fld19325_RRRef, T1._Fld19326
FROM dbo._InfoRg19324 T1
Прокомментируете или пофиг(трункатим скопом, а потом смотрим, жива таблица или амба)?
6. barelpro 1122 07.11.19 11:19 Сейчас в теме
(5) Видеть бы еще ваш УПП, что за имена МД стоят за _InfoRg19091 и _InfoRg19324 ? )

Кстати, с удалением ссылочных объектов надо быть осторожнее в моей обработке, т.к. могут появится битые ссылки. Да и всякие зависимые таблицы (типа итогов и оборотов регистров) тоже не удаляются.
Это уже другая должна быть обработка - обрезка базы, немного другой подход.
Моя цель была - удалить или скрыть информацию, представляющую коммерческую тайну
8. zzz_natali 59 07.11.19 11:37 Сейчас в теме
(6)
InfoRg19091 - таблица КЛАДРа
InfoRg19324 - регистр сведений версии объектов(у нас версионирование включено)
Да, согласна: с наскока не будет выигрыша, хотя подрихтовать базу от битых ссылок можно через конфигуратор с помощью тестирования/исправления
7. Danil.Potapov 429 07.11.19 11:34 Сейчас в теме
(5) TRUNCATE ничего не знает о saas от 1с, поэтому платформа использует DELETE.
9. Yashazz 3053 10.11.19 15:32 Сейчас в теме
Не-е-е. Делать обфускатор на уровне СУБД - это к восстановлению битой базы и долгому интенсивному интиму...
10. barelpro 1122 10.11.19 16:44 Сейчас в теме
(9) Конечно, если менять ссылочные реквизиты, а тут только строковые
11. Yashazz 3053 10.11.19 17:16 Сейчас в теме
(10) Всегда есть шанс цепануть что-то критическое...

Я для себя иначе поступил - написал конфу, которая берёт пустую cf и генерирует стендово-тестовое наполнение по заданным правилам. С тех пор базы у заказчиков не прошу, а прошу лишь логику и статистику их наполнения.

А обфускацию лучше имхо на уровне платформы делать.
Kolunya; barelpro; +2 Ответить
12. barelpro 1122 10.11.19 18:05 Сейчас в теме
(11) Ну это если вы на стороне подрядчика. А если вы на стороне заказчика хотите дать внешнему подрядчику базу, и у вас нет такой волшебной обработки? )
14. Fox-trot 109 11.11.19 08:13 Сейчас в теме
(12) или тебя по-твоему незаслуженно уволили
лол
15. fart07 09.12.19 09:51 Сейчас в теме
Отличная обработка, как раз нужно было быстро обезличить большую базу. Чуть модифицировал под обычные формы.
barelpro; +1 Ответить
Оставьте свое сообщение

См. также

Удаление данных по организации для УПРАВЛЯЕМЫХ форм

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Абонемент ($m) Чистка базы

Обработка предназначена для удаления неиспользуемой организации и данных по ней.

1 стартмани

26.02.2020    151    ranis888    0       

​​​​​​​CorelDRAW Graphics Suite 2019 Промо

CorelDRAW – пакет профессиональных инструментов для редактирования фотографий, разработки дизайна, создания макетов страниц и векторных иллюстраций

1C:Предприятие для программистов: Запросы и отчеты. Второй поток. Онлайн-интенсив с 17 марта по 16 апреля 2020 г. Промо

Данный онлайн-курс предусматривает углубленное изучение языка запросов и возможностей системы компоновки данных, которые понадобятся при разработке отчетов, работающих на платформе “1С:Предприятие” в рамках различных прикладных решений. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей различных прикладных решений, которые используют в своей работе отчеты разного назначения.

6500 рублей

Простая обработка удаления помеченных объектов (управляемые и обычные формы)

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Обработка удаляет объекты, помеченные на удаления, а также связанные объекты (в том числе ключи регистров сведений), если на них нет дополнительных ссылок. Доступны опции удаления определенного количества объектов и удаления до определенной даты.

1 стартмани

31.01.2020    683    6    w.r.    1       

Удаление движений документов

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы Обработка документов

Обработка для удаления движений документов, управляемые формы.

2 стартмани

23.01.2020    811    3    wowik    4       

Базовый курс по обмену данными в системе 1С:Предприятие. Онлайн-интенсив с 12 по 28 мая 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, обеспечивающих обмен данными между различными прикладными 1С-решениями и взаимодействие с другими информационными системами. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”.

5500 рублей

Удаление неиспользуемых элементов справочника (обычные и управляемые формы)

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы Обработка справочников

Обработка позволяет получить ссылки на используемые элементы справочника (кроме предопределенных), помечать их на удаление и удалить из базы (без проверки целостности данных).

1 стартмани

09.01.2020    910    4    Diana.dedov.91    0       

Удаление помеченных на удаление объектов без контроля ссылочной целостности (управляемые формы)

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Когда надо подчистить базу, а ссылки на удаляемые объекты все лезут и лезут. Особенно тяжело с объектами ЭДО. Управляемые формы.

2 стартмани

12.12.2019    1341    14    papche    7       

Онлайн-курс "Подготовка к экзамену 1С:Эксперт и 1С:Профессионал по технологическим вопросам" с 7 по 24 апреля 2020 г. Промо

На курсе вы получите практические навыки решения задач производительности 1С, в том числе характерных для высоконагруженных информационных систем (более 1000 пользователей). Подготовка к экзамену – только одна из составляющих курса. 70% слушателей приходят за знаниями, которые позволят расти и зарабатывать, делать сложные задачи на крупных проектах.

16450 рублей

Очистка кэша баз из 1С (обычные и управляемые формы)

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Windows Абонемент ($m) Чистка базы

Обработка очищает кэш нескольких баз из 1С (обычное и управляемое приложение), кроме текущей базы (в которой открыта обработка).

1 стартмани

12.12.2019    2006    12    Diana.dedov.91    0       

INFOSTART MEETUP Kazan. 13 марта 2020 г. Промо

Инфостарт продолжает путешествие по России. Следующая остановка - Казань. Тема мероприятия - управление и технологии автоматизации учета на платформе "1С: Предприятие". Ждем всех: докладчиков и участников! Стоимость участия - 5 500 рублей. Цена действительна до 30.01.2020

5 500

Свертка БД 1С: обрезка до выбранной даты средствами MS SQL

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Абонемент ($m) Свертка базы Чистка базы

Внешняя обработка, позволяющая произвести анализ размера БД и грубую обрезку данных до выбранной даты средствами MS SQL. Управляемые формы, 1С:Предприятие 8.3 (8.3.9.1818).

1 стартмани

15.11.2019    5320    69    dmitrydemenew    27       

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Удаление движений документа

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Россия Абонемент ($m) Чистка базы Обработка документов

Обработка удаления движений документа. Может быть полезна для удаления движений документа, с признаком: удаление движений - не удалять автоматически.

1 стартмани

15.10.2019    1674    14    Andry_m    4       

Подборка решений для взаимодействия со ФГИС «Меркурий» Промо

С 1 июля 2019 года все компании, участвующие в обороте товаров животного происхождения, должны перейти на электронную ветеринарную сертификацию (ЭВС) через ФГИС «Меркурий». Инфостарт предлагает подборку программ, связанных с этим изменением.

Изменение записей независимых регистров сведений (УФ)

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Универсальные обработки

Обработка предназначена для очистки или удаления (изменения) предварительно отобранных записей независимых (не подчиненных регистраторам)  регистров сведений.

1 стартмани

08.10.2019    1624    Hitcher    0       

Очистка хранилища системных настроек (управляемые формы, неуправляемые формы)

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Обработка покажет хранилища системных настроек, что в них находится и у какого пользователя. Вы можете выбрать нужные хранилища и удалить

1 стартмани

02.10.2019    2043    1    paulis    0       

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

Очистка базы данных 1С от данных по организациям прямыми SQL-запросами к СУБД

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Чистка базы

Работа с помощью прямых запросов в случае, когда нельзя, но очень необходимо.

10 стартмани

20.09.2019    7154    35    nomad_irk    54       

Поиск элементов справочника без ссылок на них в информационной базе и удаление

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Абонемент ($m) Чистка базы Поиск данных

Обработка для УФ позволяет выбрать любой справочник в конфигурации и найти все объекты этого справочника, на которые нет ссылок в других объектах, и удалить их.

2 стартмани

17.09.2019    1699    13    Neuroproton    0       

Новый раздел на Инфостарте - Electronic Software Distribution Промо

Инфостарт напоминает: на нашем сайте можно купить не только ПО, связанное с 1С. В нашем арсенале – ESD-лицензии на ПО от ведущих вендоров: Microsoft, Kaspersky, ESET, Dr.Web, Аскон и другие.

  • Низкие цены, без скрытых платежей и наценок
  • Оперативная отгрузка
  • Возможность оплаты с личного счета (кешбек, обмен стартмани на рубли и т.п.)
  • Покупки идут в накопления для получения скидочных карт лояльности Silver (5%) и Gold (10%)

Чистка баз данных (удаление документов, записей регистров) - все и с отбором по организации

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Обработка позволяет помечать к удалению документы за указанный период или все, справочники, по выбранному типу. Также позволяет их удалять через обработку и без проверки целостности (напрямую). Также позволяет очищать все виды регистров. Тем самым дает возможность частичной и полной чистки базы и удалять объекты, которые не удаляются типовыми средствами. Допускается возможность отбора записей и документов по отдельной организации.

2 стартмани

09.08.2019    3020    20    vik070777    12       

Голосование за доклады на INFOSTART MEETUP Kazan - до 25 февраля. Промо

Выбирайте и голосуйте за самые интересные доклады! Лучшие из лучших попадут в окончательную программу казанского митапа. Оставить свой голос можно до 25 февраля 2020 года.

Пакетное удаление персональной информации из файлов Excel и Word

Инструменты и обработки Программист Бухгалтер Пользователь Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Внешняя обработка для пакетного удаления персональной информации из файлов .doc, .docx, .xls, .xlsx

1 стартмани

24.07.2019    1516    wonder_boy    0       

Удаление ненужных сообщений в УТМ ЕГАИС

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Розничная и сетевая торговля (FMCG) Россия УУ Розничная торговля Абонемент ($m) Чистка базы

Порой при получении сообщений из ЕГАИС товароучетная система ругается на ответы ЕГАИС, для которых не найден запрос. В большинстве случаев это ответы на запросы, отправленные другими устройствами (ATOL HUB-19, Эвотор и т.п.). Чтобы не засорять учетную систему и не занимать её время обработкой ненужных сообщений, в публикации рассмотрен способ их удаления перед обработкой нужных сообщений из ЕГАИС.

1 стартмани

12.07.2019    2811    vasilievil    0       

Сдача регламентированной отчетности из программ 1С Промо

Сдача регламентированной отчетности из программ "1С" во все контролирующие органы без выгрузок и загрузок в другие программы. Для групп компаний действуют специальные предложения.

от 1500 руб.

Удаление всех документов за период в обычном и управляемом приложении

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Windows Абонемент ($m) Чистка базы Обработка документов

Обработка удаляет (или помечает на удаление) все документы в любой конфигурации на обычном и управляемом приложении.

1 стартмани

26.06.2019    2051    14    diar01    0       

1C:Предприятие для программистов: Расчетные задачи (зарплата). Онлайн-интенсив с 01 по 17 июня 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, которые предназначены для автоматизации периодических расчетов, а именно - для расчета зарплаты. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей прикладного решения “1С:Зарплата и управление персоналом” и прочих прикладных решений, в которых реализован функционал расчета зарплаты.

4900 рублей

Универсальное удаление выбранного объекта 8.2 - 8.3 на управляемых формах

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Данная обработка просто хороший, удобный удалитель выбранного объекта через "ОбменДанными" с кучей дополнительных возможностей. Выгода использования данной обработки особенно ярко проявляет себя, когда у вас стоит подписка на события или другой код препятствующий удалению, но вам абсолютно необходимо удалить данный объект ввиду возможности его случайного использования. И вам нет необходимости выходить из режима 1С:Предприятия, входить в конфигуратор, менять отлаженный код блокировок и подписок на события. Таким образом осуществляется "горячее" удаление объекта.

1 стартмани

17.06.2019    2995    7    AlexandrSmith    0       

Поиск и замена данных 8.3 с пометкой на удаление

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Россия Абонемент ($m) Чистка базы Поиск данных

Данная публикация появилась в результате постоянной работы с различными базами при помощи стандартной обработки ("Поиск и замена данных"). Обработка тестировалась на версиях 8.3.x до 8.3.15. На последнем бета образце 8.4 тестировалась так же.

1 стартмани

02.04.2019    2602    10    AlexandrSmith    1