ЭКОНОМИКА И БИЗНЕС: теория и практика

МЕТОД ЭКСПЕРТНОЙ ОЦЕНКИ ДЕЯТЕЛЬНОСТИ КОМИТЕТА ПО КУЛЬТУРЕ САНКТ-ПЕТЕРБУРГА

А.Д. Яколенко, магистрант

Санкт-Петербургский государственный университет

(Россия, г. Санкт-Петербург)

Аннотация. Метод экспертных оценок заключается в принятии решения, составлении прогноза или заключении вывода относительно мнения специалиста данной области, его знаний и практическом профессиональном опыте. Одним из основных критериев экспертной оценки выступает ее объективность и честность. Сама же экспертная оценка представляет собой поиск и результат применения метода, который получается на основании использования персонального мнения участвующего в опросе эксперта.

В качестве эксперта привлекаются люди, чьи мнения и суждения помогут решить исследуемую проблему и сделать необходимые выводы. При использовании метода экспертной оценки в данной работе, в качестве его вида, было выбрано анкетирование – опрос экспертов путем анализа их письменных ответов на анкеты.

В результате исследования эксперты отметили, что Комитету по культуре Санкт-Петербурга для увеличения эффективности и результативности необходимы увеличение количества наружной рекламы по поводу проходящих мероприятий в городе, улучшение работы Интернет-сайта путем его еженедельного обновления и создания дополнительных услуг для общения с гражданами, воссоздание информационных изданий прошлых лет таких, как «Азбука начинающего петербуржца», усовершенствование системы организации культурно-массовых мероприятий путем ежемесячного обновления базы недобросовестных организаторов, открытия доступа для проведения мероприятий начинающим компаниям, увеличение доступа на данные мероприятия людей из особых слоев общества путем создания возможности и условий для их размещения, а также принятие на работу молодых кадров с целью увеличения штатного расписания и предоставления выпускникам ВУЗов работы по специальности.

Ключевые слова: метод экспертных оценок, анкетирования, деятельность, разработка направлений, совершенствование деятельности.

Для оценки деятельности Комитета по культуре Санкт-Петербурга был выбран метод экспертной оценки, а именно, метод организации работы со специалистами-экспертами и последующей обработки мнений респондентов.

Стоит отметить, что сущность проведения метода экспертных оценок заключается в принятии решения, составлении прогноза или заключении вывода относительно мнения специалиста данной области, его знаний и практическом профессиональном опыте. Одним из основных критериев экспертной оценки выступает ее объективность и честность. Сама же экспертная оценка представляет собой поиск и результат применения метода, который получается на основании использования персонального мнения участвующего в опросе эксперта.

В свою очередь, экспертом при использовании метода экспертной оценки выступает компетентное для выработки оценки лицо в исследуемой области, которое имеет профессиональный опыт и выступает в качестве источника необходимой информации. Таким образом, в качестве эксперта привлекают таких людей, чьи мнения и суждения помогут решить исследуемую проблему и сделать необходимые выводы.

Известно, что область применения метода экспертной оценки весьма обширна: его применяют для решения проблем прогнозирования, планирования и разработки программ деятельности, нормирования труда, выбора перспективной техники, оценки качества продукции или деятельности. В данной дипломной работе его применение будет непосредственно связано с оценкой качества деятельности и разработкой программ ее совершенствования.

Стоит отметить, что разновидностью метода экспертной оценки является опрос. Например, применяют такие опросы экспертов, как анкетирование, интервьюирование, метод Дельфы, мозговой штурм, дискуссия. Соответственно, выбор самого вида опроса зависит от целей экспертизы, исследуемой проблемы, наличия времени, располагаемых затрат и имеющихся возможностей.

При использовании метода экспертной оценки в данной работе, в качестве его вида было выбрано анкетирование – опрос экспертов путем анализа их письменных ответов на анкеты. Сама анкета представляет собой список вопросов, которые делятся по типу и содержанию. По содержанию вопросы могут делиться на три группы: объективные данные о самом эксперте (его возраст, пол, род деятельности, стаж работы или должность), основные вопросы по исследуемой проблеме и дополнительные для анализа аргументации ответов или, например, для выяснения самооценки компетентности эксперта и другие.

В свою очередь, по типу вопросы делятся на открытые, закрытые и вопросы с веером ответов. Таким образом, открытые вопросы предполагают ответ эксперта в произвольной форме, однако существуют в этом типе вопросов свои минусы.  Как правило, произвольная форма ответов и их большое разнообразие существенно затрудняет саму обработку таких анкет. Закрытые же вопросы – это ответ на поставленные вопрос в виде «да», «нет», «не знаю». Они применяются при выборе двух определенных альтернативных вариантов, когда необходимо определить большинство мнений экспертов по данному вопросу – такие вопросы не вызывают трудностей в обработке. Вопросы с веером ответов же подразумевают выбор экспертом одного или несколько из предполагаемых ответов и, как правило, применяются при сложности в определении проблемы, то есть ее неопределенности. Следовательно, вопросы с веером ответов позволяют более обширно охватить исследуемую проблему и выявить некий спектр мнений экспертов. Однако такие вопросы целесообразно использовать при наличие определенных альтернатив, которые способствуют ориентации экспертов по возможному кругу направлений при решении проблемы. Чаще всего ответы в подобных вопросах представляются в виде балльной или порядковой шкал: эксперты выбирают значение порядковой или балльной оценок. Например, значениями порядковой шкалы могут быть «отлично», «хорошо», «удовлетворительно», «неудовлетворительно» или «значительно», «не значительно», «не влияет» и другие. Следовательно, обработка ответов на вопросы подобного типа занимает промежуточное положение между закрытыми и открытыми вопросами.

К тому же, при составлении анкеты к ней прилагается обращение – пояснительная записка о разъяснении целей и задач проводимой экспертизы, дополнительной информации, инструкции по заполнению анкеты и некоторые организационные сведения.

Примечательно, что проведение анкетирования не требует специальной подготовки и, в отличие от крупномасштабных социально-психологических исследований, может проводиться сколь угодно часто и без особых затрат ресурсов.

Результаты исследования

Прежде всего, первыми вопросами в данной анкете стали вопросы об объективных данных экспертов. Интересующая информация заключалась в определении возрастной категории эксперта, сектора или отдела, в котором работает эксперт и стажа его работы на государственной службе. Исследуемыми отделами и секторами выступали:

– Отдел исполнительских искусств и развития сферы культуры;

– Отдел культурно-исторического наследия;

– Сектор международных культурных связей;

– Отдел мониторинга и реализации программ;

– Отдел бухгалтерского учета и сводной отчетности;

– Организационный отдел;

– Сектор культурно-досуговой деятельности и образования в сфере культуры.

В свою очередь, стаж работы на государственной службе исследуемых экспертов начинался от 1 года.

Прежде всего, стоит отметить, что было опрошено 15 респондентов. Экспертами в данном исследовании выступали женщины, работающие в Комитете по культуре Санкт-Петербурга, а именно, имеющие стаж работы на государственной службе более 1 года.

Данные по анализу стажа работы респондентов представлены на рисунке 1.

По диаграмме видно, что преобладающее количество экспертов имеют стаж работы в государственных структурах до 10 лет.

При опросе респондентов по поводу отдела, сектора, в которых они работают, выяснилось, что большинство экспертов работают в отделе мониторинга и реализации программ, отделе планирования и исполнения бюджета, отделе культурно-исторического наследия, отделе исполнительских искусств и развития сферы культуры и секторе культурно-досуговой деятельности и образования в сфере культуры.

На вопрос об удовлетворенности деятельностью Комитета по культуре был получен одинаковый результат – «удовлетворен частично» при выборе из ответов «удовлетворен», «удовлетворен частично», «не удовлетворен».

Аналогичная ситуация наблюдалась при ответе на вопрос «Существуют ли какие-либо направления деятельности Комитета по культуре, требующие усовершенствования, на Ваш взгляд?». Четырнадцать респондентов ответили одинаково «да, существует», один эксперт считает, что ни одно из направлений деятельности Комитета по культуре не требует усовершенствований.

При выборе ответа на вопрос по поводу направлений, которые требуют усовершенствований, большинство респондентов остановились на ответе «внутренняя деятельность Комитета». Результат анализа оценки наиболее нуждающегося в усовершенствовании направления деятельности Комитета по культуре Санкт-Петербурга представлен на рисунке 2.

Из диаграммы на рисунке 2 видно, что подавляющее большинство опрошенных экспертов считают наиболее нуждающуюся в совершенствовании внутреннюю деятельность Комитета по культуре.

Около 50% респондентов считают, что усилить стоит сферу организации культурно-массовых мероприятий. Треть опрошенных выделила работу с населением, как приоритетную для модернизаций.

Осуществление информационной деятельности и работа с подведомственными организациями предстали для четверти опрошенных приоритетными направлениями деятельности для совершенствования.

По данным результатам можно отметить, что наиболее приоритетным способом оценки эффективности деятельности Комитета эксперты выделили создаваемые по результатам проведенной работы отчеты.

На заключительный вопрос «Ваши предложения по совершенствованию деятельности Комитета по культуре Санкт-Петербурга» было предложено несколько вариантов ответов:

–  «расширение штатного расписания и более четкое определение должностных обязанностей – штатных единиц не хватает для нормального функционирования (без работы вечером и в выходные)»;

–  «доукомплектование отделов Комитета по культуре, нехватка штатных единиц при большом объеме работ»;

–  «увеличение штатных единиц»;

–  «согласованное распределение обязанностей»;

–  «уделять больше внимания идеологии процесса»;

–  «более плотное взаимодействие между отделами»;

–  «увеличение штатного расписания Комитета»;

–  «более тесное сотрудничество с отделами и секторами»;

–  «соблюдение должностных инструкций – правильное распределение обязанностей».

Видно, что все ответы экспертов относятся к совершенствованию управления внутренней деятельностью Комитета по культуре. Таким образом, проанализировав данные открытые вопросы экспертов, можно сгруппировать предложенные варианты респондентов по поводу совершенствования внутренней деятельности Комитета по культуре Санкт-Петербурга. Информация представлена на рисунке 3.

По диаграмме, представленной на рисунке 3, видно, что приоритетным направлением совершенствования внутренней деятельности Комитета по мнению опрошенных экспертов является увеличение его штатного расписания. То есть большинство экспертов считает, что следует внести изменения в основной организационный документ, который устанавливает должностной и численный состав сотрудников, по поводу увеличения штатных единиц.

Следующим вариантов улучшения качества внутренней деятельности Комитета по культуре является согласованное распределение обязанностей, соблюдение должностных инструкций. Следует отметить, что возникновение проблемы в нерациональном и неправильном распределении обязанностей, как правило, связано с нехваткой кадров.

Стоит отметить, что, как правило, при использовании метода экспертной оценки мнения многих экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности экспертов. Для этого следует определить коэффициент конкордации или согласия.

Коэффициент конкордации Кендалла нужен для того, чтобы выявить согласованность мнений экспертов по нескольким факторам.

Таким образом, между участвующими в анкетировании экспертами был проведен еще один опрос. Им было необходимо ранжировать по важности 4 фактора удовлетворенности работой, ведь известно, что удовлетворенность работой оказывает очень сильное влияние на чувства человека по отношению к службе. Степень удовлетворенности работой зависит от множества факторов, как внутренних, так и внешних по отношению к человеку. Однако при большом разнообразии факторов и различной направленности их влияния на человека для опроса было выделено всего 4 фактора, а именно:

– оплата труда (все формы компенсации);

– объем выполняемой работы;

– возможности продвижения по службе;

– руководство (начальство, стиль руководства, участие в управлении).

Ранги важности фактора заключались в диапазоне от 1 до 4. В опросе участвовало 6 экспертов из разных отделов и секторов.  Ниже представлена оценка экспертами факторов удовлетворенности работой в Комитете по культуре Санкт-Петербурга (таблица 2).

Сам способ расчета коэффициента конкордации Кендалла заключается в нахождении данного показателя (W) по формуле (1).

                                                     (1),

где m – число экспертов в группе,

n – число факторов,

S – сумма квадратов разностей рангов (отклонений от среднего).

Таблица 2. Оценка экспертами факторов удовлетворенности работой

По таблице 2 видно, что m = 6, n = 4

Остается найти сумму квадратов разностей рангов (S), ее можно найти по любой из формул (2) и (3) [22]:

                                                 (2)

                                                   (3),

где – ранг i-го элемента в j-ой выборке,

– коэффициент весомости j-го показателя в баллах, данный i-м экспертом,

m – число экспертов в группе,

n – число факторов.

Для вычисления суммы квадратов разности рангов следует добавить пару новых строк в исходную таблицу (сумму по столбцу и квадрат этой суммы). Ниже приведена таблица с дополнительными данными (табл. 3).

Таблица 3. Оценка экспертами факторов удовлетворенности работой с дополнительными данными

После составления данной таблицы и подсчетов следует приступать к расчету суммы квадратов разностей рангов.

По формуле (2) получаем: S = 1052 — 60 2 / 4 = 152

Для проверки верности расчета суммы квадратов разностей рангов воспользуемся третьей формулой.

По формуле (3) получаем:

S = (21 — 15) 2 + (7 — 15) 2 + (11- 15) 2 + (21 — 15) 2 = 152

После проведенных выше подсчетов можно приступать к заключительному этапу – определение коэффициента конкордации по формуле (1): W = (12 * 152) / (36 * (64 — 4)) = 0,844

Из расчетов видно, что показатель коэффициента конкордации равен 0,844. Уточним, что коэффициент конкордации изменяется в диапазоне 0<W<1, где 0 – полная несогласованность между экспертами, 1 – полная согласованность. Если учесть, что выбранные для определения данного коэффициента эксперты были из разных отделов и секторов, то с большой уверенностью можно утверждать, что рассчитанный коэффициент конкордации в размере 0,844 говорит о согласованности экспертов.

Следовательно, можно отметить, что рассмотренное ранее анкетирование экспертов по поводу определения направлений совершенствования деятельности Комитета по культуре содержит их практически полную согласованность.

Таким образом, подытожив весь вышеизложенный материал и проанализировав все подсчеты, был составлен свод направлений деятельности Комитета по культуре Санкт-Петербурга, требующих, по мнению экспертов, совершенствований, и пути их совершенствования, по мнению автора. Направления деятельности и пути их совершенствования представлены в таблице 4.

Таблица 4. Сводные данные по направлениям совершенствования деятельности Комитета по культуре Санкт-Петербурга в социально-культурной сфере, с учетом экспертной оценки и мнения автора

Следующей сферой, на которую, по мнению опрошенных экспертов, следует обратить внимание, выступает сфера организации культурно-массовых мероприятий. Известно, что работа по проведению городских праздников, фестивалей, шествий и т.д. является одной из самых трудоемких и затратных. И, как следствие, при ее осуществлении возникает много проблем: поиск качественного организатора-исполнителя, и рациональное использование финансовых средств, и само выполнение работ по организации мероприятия, привлечение граждан, взаимодействие с участниками и многое другое. В общем, данная сфера первоначально требует более глубокого изучения и анализа, а затем и применения методов по ее совершенствованию.

Заключительным направлением, которое по результатам проведенного экспертного анкетирования также было выделено, как приоритетное к совершенствованию, выступает организация работы с подведомственными Комитету организациями.

В итоге, при анализе деятельности Комитета по культуре Санкт-Петербурга были выявлены направления, требующие анализа и последующего совершенствования. Эффективность рассмотренных направлений совершенствования управлений в социально-культурной сфере можно рассматривать как с точки зрения пользы для общества (социальная эффективность), так и с точки зрения экономики (экономическая эффективность).

Путем проведения анализа внутренней и внешней деятельности Комитета по культуре Санкт-Петербурга, организации проведения и последующей оценки метода экспертной оценки среди работников Комитета по культуре Санкт-Петербурга были выявлены следующие проблемные направления деятельности Комитета по культуре Санкт-Петербурга в социально-культурной сфере и предложены соответствующие меры совершенствования направлений управления (табл. 4).

Таким образом, проанализировав таблицу 4, можно выделить социальную эффективность предложенных мероприятий по совершенствованию управления в социально-культурной сфере. Она заключается в следующих положениях:

– принятие на работу молодых кадров с целью увеличения штатного расписания и предоставления выпускникам ВУЗов работы по специальности;

– увеличение доступа к культурной сфере особым слоям общества путем создания возможности и условий для их размещения;

– создание условия для безбарьерного обращения граждан с предложениями и комментариями по поводу организации культурной жизни города путем назначения особых дней для общения с ними и создания официального Интернет-портала для комментариев населения;

– создание возможности для обмена опытом путем проведения мастер-классов и решения важных вопросов среди работников Комитета по культуре и подведомственных структур путем организации круглых столов.

В свою очередь, экономическую эффективность предложенных мероприятий по совершенствованию управления в социально-культурной сфере необходимо рассчитать. Для этого был применен экспертный метод оценки.

Таким образом, экспертам было предложено оценить эффективность управления деятельностью Комитета по культуре до внедрения новшеств по 10-балльной шкале, где 1 – наименьший положительный эффект управления деятельностью, 10 – наивысший. Оценка проводилась по следующим направлениям:

– осуществление информационной деятельности;

– сотрудничество с подведомственными организациями;

– организация культурно-массовых мероприятий;

– внутренняя деятельность Комитета по культуре;

– работа с населением.

Результаты данного исследования представлены ниже в таблице 5.

Таблица 5. Экспертная оценка эффективности управления деятельностью по исследуемым направлениям Комитета по культуре Санкт-Петербурга (до внедрения новшеств)

При анализе таблице видно, что наименьшую эффективность управления имеет сфера внутренней деятельности Комитета со средним показателем оценки экспертов 1,60 баллов, затем организация культурно-массовых мероприятий (2,80). Чуть выше находятся сферы деятельности по работе с населением (4,13) и сотрудничества с подведомственными организациями (4,93). И заключает данный рейтинг сфера информационной деятельности со средней оценкой экспертов в 5,93 балла.

Выводы. Результатами исследования стали рекомендации экспертов, их мнение о совершенствовании Комитета по культуре Санкт-Петербурга. Подавляющее большинство опрошенных экспертов считают наиболее нуждающуюся в совершенствовании деятельности Комитета – внутреннюю деятельность Комитета по культуре. Экспертами были предложены следующие варианты решения существующей проблемы: расширение штатного расписания и более четкое определение должностных обязанностей – штатных единиц не хватает для нормального функционирования (без работы вечером и в выходные), доукомплектование отделов Комитета по культуре, нехватка штатных единиц при большом объеме работ, увеличение штатных единиц, согласованное распределение обязанностей, уделять больше внимания идеологии процесса, более плотное взаимодействие между отделами, увеличение штатного расписания Комитета, более тесное сотрудничество с отделами и секторами, соблюдение должностных инструкций – правильное распределение обязанностей.

Экспертами также были разработаны следующие рекомендации:

– принятие на работу молодых кадров с целью увеличения штатного расписания и предоставления выпускникам ВУЗов работы по специальности;

– увеличение доступа к культурной сфере особым слоям общества путем создания возможности и условий для их размещения;

– создание условия для безбарьерного обращения граждан с предложениями и комментариями по поводу организации культурной жизни города путем назначения особых дней для общения с ними и создания официального Интернет-портала для комментариев населения;

– создание возможности для обмена опытом путем проведения мастер-классов и решения важных вопросов среди работников Комитета по культуре и подведомственных структур путем организации круглых столов.

THE METHOD OF EXPERT EVALUATION OF THE COMMITTEE FOR CULTURE OF ST. PETERSBURG

A.D. Yakolenko, graduate student

Saint Petersburg state university

(Russia, St. Petersburg)

Abstract. The method of expert assessments is a decision you forecast or conclusion about the opinion of a specialist in this field, his knowledge and practical professional experience. One of the main criteria for the expert assessment is its objectivity and honesty. The very same peer assessment involves a search and a result of the method, which is based on the use of personal opinion involved in the survey expert.

As an expert involved people whose opinions and judgments will help to solve the studied problem and make the necessary conclusions. When using the method of expert evaluation in this work, as it was chosen a questionnaire survey of experts by analyzing their written survey responses.

The study revealed that the selected experts noted that the Committee for culture of St. Petersburg to increase the efficiency and effectiveness necessary to increase the number of outdoor advertising about events in the city, improving the site through its weekly updates and creation of additional services for communication with citizens, the restoration information publications of the past years such as «ABC beginner Petersburgers«, improvement of the system of the organization of cultural events through monthly database updates unscrupulous organizers, open access to events for start-up companies, to increase access to these activities of people from particular segments of society by creating opportunities and conditions for their placement and employment of young specialists to increase staffing and provide graduates work in the specialty.

Keywords: method of expert evaluations, questionnaires, activities, development directions and improvement activities.