Сорокин Андрей Алексеевич
Камчатстат
Автоматизирование потоков статистических данных средствами SQL Server
Integration Service и Transact-SQL в Камчатстате. Возможности использования.
Методы автоматизации циклических процессов обмена статистическими данных между базами данных SQL, а также выгрузки данных из баз, т.е. построения всевозможных видов бюллетеней средствамиMicrosoft SQL Server 2005, имеют большую практическую область применения для Камчатстата. Использование представленной здесь системы удобно не только в контексте работы Камчатского ТОГС’а, но и для любого другого отделения статистики, где, в рамках поставленных задач, предусматривается периодический обмен статистическими данными между различными источниками.
В Дальневосточном Федеральном округе,в который входит Камчатский край, существует ряд баз данных, в рамках которых ведется обмен статистическими данными между регионами. Это такие базы данных, как: БД «ОКРУГ», БД «Статистика регионов Дальнего Востока», БД «Реформа», БД «Краевые (областные) центры». Разработчиком большинства баз является Хабаровскстат, кроме последней базы, которая разработана в Камчатстате.
Обмен данными ведетсяпо принципу расчета и заполнения статданных за отчетный период регионами ДВФО, отправки данных в Хабаровскстат, где они собираются по всему округу, после чего отправляются обратно в регионы. В результате каждый регион ДВФО имеет актуальную информацию по всем соседним по округу регионам.
Рис.1 Схема потоков данных при работе с межрегиональной БД
Вопрос автоматизации напрашивается именно научастке заполнения и расчета статданных регионом ДВФО, поскольку в данные межрегиональные базы данных идут основные социально-экономические показатели региона из сводных данных целого спектра федеральных форм, таких как П1, П2, П3, П4, форм сельского хозяйства, всевозможных форм цен и индексов, ВЭС’ов, и многих других, а также расчетных данных, которых в федеральных формах статобследования нет,но которые можно рассчитать. В случае с БД «ОКРУГ» эту операцию нужно выполнять ежемесячно более чем по пятистам показателям, привлекая специалистов всех подразделений, занимающихся статистическим обследованием.
Автор доклада не является автором идеи освещаемого здесь метода автоматизации расчета и переноса статданных между базами данных. Не будет ничего удивительного, если подобные технологииуже используются в регионах, поскольку среда SQL Server Integration Services (сокращенно SSIS), о которой идет речь, является вполне доступной и не очень сложной средой, входящей в распространенную Росстатом лицензию версии Microsoft SQL Server 2005.
SSIS формально определяется как набор графических, консольных утилит и программных объектов, которые предназначены для извлечения, преобразования иконсолидации данных из разнородных источников в разные "пункты назначения". Можно считать, что SSIS — это что-то вроде мощного насоса, предназначенного для "перекачки" данных из одного места в другое. Кроме того, службы SSIS в процессе "перекачки" могут преобразовывать и проверять данные, что очень актуально в нашем случае, поскольку нормативно-справочная база, единицы измерения, а также самаструктура размещения данных в федеральных базах данных-источниках и в межрегиональных базах данных-приемниках – разные.
Разработка автоматизации переноса и расчета статданных между базами данных в Камчатстате начиналась ещё на версии Microsoft SQL Server 2000. В этой версии SSIS, называлась Data Transformation Services (DTS). Однако изменения в Microsoft SQL Server 2005 в отношении данных службможно назвать скорее революционными, чем эволюционными. Изменилось практически все. Стоит отметить, что SSIS в Microsoft SQL 2005 выделилась в отдельную среду разработки, встав в один ряд с компиляторами других языков в составе системы программирования Microsoft Visual Studio 2005. Среда DTS в Microsoft SQL 2000 существовала неотрывно от сервера баз данных.
Единственным существенным...
Камчатстат
Автоматизирование потоков статистических данных средствами SQL Server
Integration Service и Transact-SQL в Камчатстате. Возможности использования.
Методы автоматизации циклических процессов обмена статистическими данных между базами данных SQL, а также выгрузки данных из баз, т.е. построения всевозможных видов бюллетеней средствамиMicrosoft SQL Server 2005, имеют большую практическую область применения для Камчатстата. Использование представленной здесь системы удобно не только в контексте работы Камчатского ТОГС’а, но и для любого другого отделения статистики, где, в рамках поставленных задач, предусматривается периодический обмен статистическими данными между различными источниками.
В Дальневосточном Федеральном округе,в который входит Камчатский край, существует ряд баз данных, в рамках которых ведется обмен статистическими данными между регионами. Это такие базы данных, как: БД «ОКРУГ», БД «Статистика регионов Дальнего Востока», БД «Реформа», БД «Краевые (областные) центры». Разработчиком большинства баз является Хабаровскстат, кроме последней базы, которая разработана в Камчатстате.
Обмен данными ведетсяпо принципу расчета и заполнения статданных за отчетный период регионами ДВФО, отправки данных в Хабаровскстат, где они собираются по всему округу, после чего отправляются обратно в регионы. В результате каждый регион ДВФО имеет актуальную информацию по всем соседним по округу регионам.
Рис.1 Схема потоков данных при работе с межрегиональной БД
Вопрос автоматизации напрашивается именно научастке заполнения и расчета статданных регионом ДВФО, поскольку в данные межрегиональные базы данных идут основные социально-экономические показатели региона из сводных данных целого спектра федеральных форм, таких как П1, П2, П3, П4, форм сельского хозяйства, всевозможных форм цен и индексов, ВЭС’ов, и многих других, а также расчетных данных, которых в федеральных формах статобследования нет,но которые можно рассчитать. В случае с БД «ОКРУГ» эту операцию нужно выполнять ежемесячно более чем по пятистам показателям, привлекая специалистов всех подразделений, занимающихся статистическим обследованием.
Автор доклада не является автором идеи освещаемого здесь метода автоматизации расчета и переноса статданных между базами данных. Не будет ничего удивительного, если подобные технологииуже используются в регионах, поскольку среда SQL Server Integration Services (сокращенно SSIS), о которой идет речь, является вполне доступной и не очень сложной средой, входящей в распространенную Росстатом лицензию версии Microsoft SQL Server 2005.
SSIS формально определяется как набор графических, консольных утилит и программных объектов, которые предназначены для извлечения, преобразования иконсолидации данных из разнородных источников в разные "пункты назначения". Можно считать, что SSIS — это что-то вроде мощного насоса, предназначенного для "перекачки" данных из одного места в другое. Кроме того, службы SSIS в процессе "перекачки" могут преобразовывать и проверять данные, что очень актуально в нашем случае, поскольку нормативно-справочная база, единицы измерения, а также самаструктура размещения данных в федеральных базах данных-источниках и в межрегиональных базах данных-приемниках – разные.
Разработка автоматизации переноса и расчета статданных между базами данных в Камчатстате начиналась ещё на версии Microsoft SQL Server 2000. В этой версии SSIS, называлась Data Transformation Services (DTS). Однако изменения в Microsoft SQL Server 2005 в отношении данных службможно назвать скорее революционными, чем эволюционными. Изменилось практически все. Стоит отметить, что SSIS в Microsoft SQL 2005 выделилась в отдельную среду разработки, встав в один ряд с компиляторами других языков в составе системы программирования Microsoft Visual Studio 2005. Среда DTS в Microsoft SQL 2000 существовала неотрывно от сервера баз данных.
Единственным существенным...
Поделиться рефератом
Расскажи своим однокурсникам об этом материале и вообще о СкачатьРеферат