Автоматизировали загрузку файлов с помощью нестандартного коннектора на DATAREON Platform

Крупный строительный холдинг с многотысячным штатом, работающий над инфраструктурными объектами по всей стране.

У заказчика не было единого места для хранения документов:
— Сотрудники хранили документы на рабочих столах и личных дисках.
— Каждый отдел вел собственный файловый сервер без единой структуры.
— Часть документов хранилась на FTP-ресурсах или личных облачных хранилищах.

Из-за такой структуры специалисты тратили много времени на поиск нужных документов. Возникали дубли разных версий файлов, было сложно определить, какая версия договора актуальна, а важные документы терялись.

Запрос: создать централизованное хранилище, куда автоматически собираются все рабочие документы — без изменения привычек сотрудников и без дополнительного обучения. Ключевое требование: система должна сама находить новые файлы и раскладывать их по нужным местам.

Использовали уже развернутое на серверах заказчика частное облако
с открытым исходным кодом и богатым REST API на базе WebDAV. У этого инструмента отличные интерфейсы и возможности для централизованного хранения документов предприятия.

Для интеграций заказчик использовал платформу DATAREON

Поэтому мы решили написать нестандартный коннектор, который автоматически по заданному расписанию, заданной папке, проверял наличие новых поступивших файлов, определял какие это файлы и передавал их в целевую систему Nextcloud.

Есть источники: список локальных папок, сетевых шаров, ФТП-ресурсов, разбросанных по всей компании.

Есть плагин — нестандартный коннектор, программируемый коннектор КОЛЛЕКТОРС#, действующий как сборщик файлов, мониторящий все источники.

По заложенным внутри плагина правилам  он классифицирует файлы, которые там появляются. В зависимости от классификации передает их на модуль процессов. Модуль процессов, в свою очередь, передает на систему приемника.

Приемник передаем уже стандартными базовыми коннекторами, которые входят в состав платформы DATAREON. Мы использовали REST API.

Все это управляется через центр мониторинга и администрирования, Можно смотреть на уровне платформы.

Каждый файл проходит путь от папки пользователя через плагин и ETL-логику — до нужной папки в Nextcloud. Центр мониторинга фиксирует каждый шаг этого пути 

Путь одного файла:

1. Пользователь использует файл или сохраняет его в каталог.
2. Нестандартный коннектор обнаруживает появление этого файла, производит классификацию, загружает его на модуль процесса.
3. Стандартными средствами процесса файлы передаются на систему приемника.

Весь путь от сохранения файла до появления в Nextcloud занимает секунды. Инженер продолжает работать в привычной папке — автоматика делает остальное.

Как классифицируются файлы

Классификация файлов для максимальной точности происходит по различным правилам.

Классифицировать получается не всегда. Поэтому в Nextcloud создали соответствующий каталог, чтобы пользователи в дальнейшем проводили визуальную классификацию.

Файлы определялись по расширению:

• Первый слой определения классификации — это расширение, по нему можно сделать примерные выводы, что это за файл.
• Второй слой классификации, более глубокий, определяет файл по исходному пути. Например, если в пути указано, что это папка сметы, то можно сделать вывод, к какой категории относятся файлы.
• В третьем слое участвует имя файла, теги.
• В конкретных случаях производится углубленный анализ, когда приходится заглядывать в файлы с помощью программного кода, чтобы понимать содержимое. 

В банке данных создали дополнительные таблицы, в которые записывали определенные сценарии, какие файлы куда направлялись. Чтобы пользователь мог проводить точный аудит, куда ушел файл. Особенно это полезно, когда система не определила, куда отправить файлы.