Current Issue

평가지표방식은 전문가, 참여자, 이해관계자 등의 의견을 바탕으로 사업의 성과를 측정하기 위한 지표를 설정하여 점수를 매기는 방식이다. 일반경영에서부터 공공사업에 이르기까지 다양한 분야에서 활용되고 있다.

국외사례를 살펴보면, 맥밀란과 차비스에 의해 1986년 발표된 ‘공동체의식지표’(McMillan and Chavis, 1986), 사회적기업, 비영리기업, 중간지원조직의 삶의 질 개선에 대한 성과를 사용자 맞춤형으로 평가하기 위해 BSC(Big Society Capital) 주도로 개발된 ‘성과분석표(Outcomes matrix)’, 자원봉사단체와 시민사회단체 참여자의 역량강화에 대한 자기주도적 평가서비스로 고안된 NCVO(National Council of Voluntary Organization)의 ‘NCVO활동평가(NCVO Charities Evaluation Services)’, OECD의 ‘삶의 질 개선 지표(Better Life Index)’ 등이 대표적이다.¹⁾

공동체의식지표는 주민의 욕구강화, 소속감, 영향, 감정적 연결의 4개 영역, 24개 항목으로 구성된 지표를 바탕으로 공동체의식을 측정한다. 예를 들어 욕구강화 영역의 ‘나는 이 공동체를 통해 중요한 것을 해결한다.’라는 항목에 대해 답변자가 스스로 점수를 매기는 방식으로 측정한다.

성과분석표는 고용⋅교육, 소득증가, 정서적 안정 및 웰빙, 시민권 및 공동체, 자연환경보호, 주거 및 지역기반시설, 보건, 가정 및 교우관계, 문화 및 여가의 9개 영역의 세부지표를 통해 활동 또는 사업의 사회적 영향을 평가할 수 있도록 구성되어 있다. 예를 들어 소득증대 영역의 세부지표로 ‘항구적인 고용을 통해 안정적인 소득이 보장되었는가?’ 등을 설정하여 평가에 활용한다.

NCVO활동평가는 참여자 자신도 활동에 참여하면서 스스로 변화될 수 있다는 ‘변화이론(Theory of change)’에 바탕을 두고 있다. 따라서 각 활동(사업)별로 다양한 지표들이 참여자들에 의해 설정되게 된다. 예를 들어 ‘양질의 서비스제공’이라는 결과에 대한 지표로 ‘얼마나 많은 사람들에게 혜택이 돌아갔는가?’, ‘참여자의 만족도는 얼마인가?’ 등이 설정될 수 있다.

삶의 질 개선 지표는 주거, 소득, 공동체, 교육, 환경, 시민참여, 삶의 만족의 11개 영역, 24개 지표로 구성되어 있다. 주거 영역의 세부지표를 살펴보면 ‘기초설비가 갖춰지지 않은 주택의 비율’, ‘지출액중 주거비 비중’, ‘1인당 방수’이다.

국내의 경우 마을공동체사업이 본격적으로 시작된 지 아직 얼마 되지 않은 상황이어서 성과측정과 관련된 연구도 시작단계라 할 수 있다. 지금까지 서울의 마을공동체사업에 대한 성과측정을 위해 수행된 연구를 살펴보면 ｢서울특별시 마을공동체 지원사업 성과 확인 기초 연구｣(서울시마을공동체종합지원센터, 2015a), ｢새로운 서울 마을공동체 정책수립을 위한 어젠다 연구｣(서울시마을공동체종합지원센터, 2015b), ｢서울시 마을공동체 지원사업 성과연구｣(서울시마을공동체종합지원센터, 2016)가 있다.

첫째 및 셋째 연구는 주민참여를 바탕으로 성과측정지표를 설정한 후 마을공동체사업을 통한 ‘개인의 성장’, ‘모임의 변화’, ‘사회관계망의 변화’를 설문분석, 집단인터뷰 등을 바탕으로 살펴보고 있으며, 둘째 연구는 문헌조사, 연구자문회의, 집담회, 설문조사, 종합토론의 과정으로 꾸려진 브레인스토밍을 거쳐 마을공동체사업의 성과를 모아서 정리하고 있다.

이윤추구가 목적이 아닌 사회적 활동에 대해서도 공공지원 등 투자효용성을 평가해야 한다는 요구는 점차 높아지고 있는 추세이다. 이에 따라 최근에 연구되고 있는 방법이 사회투자수익률(Social Return on Investment)이다. 일반적 경영평가에 활용하는 투자수익률에 ‘사회적 수익’까지 포함한다는 것이 기본개념이다.

사회투자수익률이 논의되기 시작한 것은 2000년대 초반부터이며(Hall, 2012), 아직까지 일반적으로 활용할만한 분석방법이 존재하지는 않지만, ‘이해관계자를 참여시킨다.’ ‘어떤 변화가 있었는지 규명한다.’ ‘평가하고자 하는 것을 가치로 환산한다.’ ‘중요하고 핵심적인 요소를 누락하지 않는다.’ ‘과대평가하지 않는다.’ ‘평가절차 및 결과는 명료해야 한다.’ ‘평가결과가 적절한지 검증해야 한다.’는 원칙에 대한 합의가 있었다(The SROI Network, 2012).

국내의 경우 2000년대 후반부터 사회적기업의 경영평가를 위한 방법으로 연구되기 시작하였으며(김순양, 2008), 최근에는 지역공동체 차원에서 사회적경제의 가치를 측정하기 위한 연구도 진행되고 있으나(사회투자지원재단, 2014), 아직까지 실험적인 분석기법을 제안하는 수준에 머물고 있다.

앞서 살펴본 두 방식은 대체로 개별활동(사업)의 사회적 효과를 측정하는 것이다. 하지만 공공정책의 효과는 그 정책에 따른 여러 활동과 사업의 결과를 통해 달성되는 것이므로, 마을공동체 정책의 효과를 살펴보고자 한다면, 해당 마을공동체에서 이뤄진 여러 활동(사업)의 결과와 그로부터 마을공동체를 구성하는 요소들이 받은 영향을 종합적으로 분석할 필요가 있다.

영향관계모형으로 비교적 오랜 기간 연구되고 있는 것의 하나가 시스템다이내믹스모형이다. 이 모형은 1950년대에 산업요소간 연관관계를 규명하기 위해서 연구되기 시작하였으며, 최근에는 공공정책의 효과를 검증하기 위한 분석기법으로 연구되고 있다(Forrester, accessed December 15, 2016). 이러한 흐름의 일환으로 공동체기반(community-based) 모형이 연구되고 있으며, 에너지절약 및 재활용처럼 지역단위의 정책요소간 미시적 관계가 목표달성에 중요한 정책들의 기대효과 및 성과를 평가하는 것에 목적이 있다(Schwaninger et al., 2008).

국내의 경우 마을공동체 발전과정의 동태적 해석(전대욱 외, 2012), 기본소득의 지역 영향성(최인수, 2014), 지역화폐의 도입효과(전대욱, 2016) 등의 연구가 진행되고 있다.

한편 정책의 사회⋅경제적 효과를 종합적으로 분석하기 위한 또 다른 방법으로 사회계정행렬이 있다. 1962년 스톤 등에 의해 기본개념이 만들어진 이후,²⁾ 국외에서는 사회계정행렬을 활용한 다양한 연구가 이뤄지고 있다. 통계청이 2007년에 주최한 국제회의의 내용을 살펴보면, 국민계정의 사회계정으로 확대 통합, 소득분배구조 분석, 특정산업부문의 사회경제적 효과 규명, 에너지정책 등의 사회경제적 효과 분석, 일반균형모형(CGE)과 연계 등 다양한 주제가 다루어졌다.³⁾

정책의 지역단위 영향평가에 시사점을 줄 만한 사회계정행렬 연구로는 국제기금이 지역사회에 미치는 영향에 대한 분석(Cámara and Marcos, 2009), 교부금이 재생에너지사업에 미치는 영향에 대한 분석(Allan et al., 2011), 해외이주민과 지역경제 사이의 상관관계에 대한 분석(Biasi and Rosignoli, 2017) 등이 있다.

국내의 경우에도 통계청을 중심으로 사회계정행렬을 도입하기 위한 연구가 진행되었으며(김혜련⋅한성호, 2007), 지자체별로 지역경제모형을 구축하기 위해 적용되기도 하였다(서울시정개발연구원, 1999; 충북개발연구원, 2010; 충남발전연구원, 2013; 전북연구원, 2015). 이 외에도 우편시장의 분석(심송보, 2015), 문화산업의 사회경제적 영향분석(한국문화관광정책연구원, 2004), 수자원분야 정책 효과 분석(최한주, 2014) 등 특정 산업부문의 사회경제적 영향을 분석하기 위한 연구에도 활용되고 있다. 또한 소득분배구조의 규명을 위한 연구도 진행되었다(노용환⋅남상호, 2006).

이 연구는 선행연구와 비교할 때 크게 두 가지 측면에서 차별성이 있다고 여겨진다. 첫째, 이 연구는 지금까지 국내에서 평가지표방식으로 이뤄진 공동체사업 관련연구와 달리 마을공동체사업의 효과를 정량적으로 검증하고자 하는 시도이며, 특히 기존 연구에서 다루지 못하였던 경제적 효과도 포괄하여 분석하려는 시도이다.

둘째, 영향관계모형방식에 기반을 둔 기존 연구의 경우 주로 국가전체 또는 광역지자체 단위의 경제효과에 중점을 두어 분석을 시도하고 있으나,⁴⁾ 이 연구에서는 마을공동체 단위의 보다 미시적인 분석을 시도하며, 거시적인 모델에서 다루지 않았거나 살펴보기 어려운 주민참여라는 미시적 효과까지 모형에 반영하여 분석한다.

정리하자면 기존의 평가지표방식이 지니는 한계를 좀 더 개선된 영향관계모형방식 연구를 통해 보완하려는 것이며, 이런 노력을 바탕으로 향후에는 사회투자수익률 산정의 새로운 대안 제시, 공동체기반 시스템다이내믹스 모형 개발 등에도 시사점을 제공할 수 있을 것으로 기대된다.

이 연구에서 활용하는 영향분석모형은 내생계정(N)인 일반주민(a), 등장주민(b), 마을공간(c), 마을협력체(d), 최종영향(e), 내부업체(f), 외부업체(g), 마을지출(=소득; h), 외부지출(=소득; i)과 외생계정인 공공지원(X)으로 구성되는 준사회계정행렬(Quasi-SAM)이다(표 2). 완전한 형태의 사회계정행렬을 구성하지 못한 이유는 자료의 한계로 인해 일반적인 사회계정행렬을 구성하는 종속부문과 외부부문을 모형화하기 어려웠기 때문이다.

내생계정 중 등장주민은 좀 더 적극적으로 마을활동에 참여하는 것이 확인된 주민이다. 마을공간은 마을카페, 마을공방 등 마을공동체사업에 기여하는 장소이며 임차료 등을 지원받는 경우가 있다. 마을협력체는 여러 주민이 참여하여 구성되는 모임이며 서울시의 공공지원이 이뤄지는 주요 대상이다.

분석모형에서 공공지원을 외생계정으로 설정한 이유는 마을공동체사업을 통해서 공공이 얻게 되는 직접적인 효과를 양적으로 파악하는 것이 현실적으로 어렵기 때문이다. 세수 증대 등을 반영할 수는 있으나 이를 온전히 마을공동체사업을 통해 얻는 것이라고 보기에는 한계가 있다. 공공지원은 마을공간(공간지원)과 마을협력체(모임 또는 활동지원)에 제공하는 것으로 설정하였다.

산업연관분석에서 투입구조에 종속되는 것으로 취급되는 소득을 이 연구에서는 내생계정으로 설정하였다. 마을공동체사업을 통해 마을주민에게 인건비나 원고료 같은 인적지출이 직접 이뤄지기도 하며, 공공에서 지원한 보조금을 내부⋅외부업체에 지출함에 따른 소득도 발생하기 때문이다. 다만 외부소득은 외부업체의 경제활동에서만 발생하는 것으로 설정하였다.

내부업체는 내⋅외부업체 모두에서 구매하지만, 외부업체는 내부업체에서 구매하지 않는 것으로 가정하였다. 예를 들어 마을에 있는 식당은 마을에 있는 가게에서 문방구 등을 구매하면서 외부에 있는 도매상에서 식재료를 구매하기도 하지만, 마을 외부에 있는 도매상에서 마을에 있는 식당으로 식사를 하러 올 가능성은 적기 때문이다.

일반적으로 사회계정행렬을 이용하는 이유는 승수효과를 구하기 위함이다. 행렬구조에서 계수를 구하여 승수효과를 분석하기 위해서는 행렬의 열 합계와 행 합계를 일치시켜야 한다. 이 연구에서는 마을주민이 마을살이에 들인 노력과 얻는 효과가 같다고 가정하고, 마을공간과 마을협력체를 통해 주민이 받는 영향의 합인 ‘최종영향(e)’을 가설계정으로 추가하였다. 관계식으로 표현하면 다음과 같다.

위 수식에서 알파벳은 열, 아라비아숫자는 행을 나타내며, a10은 일반주민이 마을공동체사업에 들인 노력(참여시간), a2는 일반주민이 등장주민으로 활동한 노력, a4는 일반주민이 마을협력체에 참여한 노력, e1은 일반주민이 받는 최종영향, c5는 마을공간이 제공하는 최종영향, d5는 마을협력체가 제공하는 최종영향, b10은 등장주민이 마을공동체사업에 들인 노력, b3은 등장주민이 마을공간에 들인 노력, b4는 등장주민이 마을협력체에 들인 노력을 뜻한다.

내부업체와 외부업체는 마을공동체사업의 지출사례를 반영하여 구분하였다. 내부업체는 한국은행에서 발표하는 산업연관표 상 연극, 음악 및 기타 예술(공연장, 문화강좌 공간 운영)에 해당하는 ‘문화공간’(마을카페, 마을공방 등이 해당됨), 소매서비스에 해당하는 ‘소매점’(동네슈퍼, 문구점, 재래시장 등), 일반음식점 및 기타음식점에 해당하는 ‘음식점’(동네식당, 분식점, 제과점 등), 인쇄에 해당하는 ‘복사⋅인쇄소’에 해당한다. 이외에도 다른 업종이 있겠으나 마을공동체사업과 관련하여 마을 내에서 지출된 내역을 찾기 어려웠다(표 3).

외부업체는 한국은행에서 매년(실측표 : 5년 주기, 연장표 : 실측표 발표 이후 4년 간) 발표하는 산업연관표 상 30개 대분류를 마을공동체사업의 지출이 주로 이루어지는 품목을 고려하여 17개 부문으로 재분류하였다(표 4).

지금까지 논의한 영향분석모형을 바탕으로 승수효과를 분석하기 위해서 다음과 같은 과정을 거쳤다. 우선 ①산업연관분석에서 거래표에 해당하는 ‘관계행렬표’를 작성한 후, ②관계행렬표의 내생계정별 열 합계에 대한 각 원소의 비율로 구성되는 ‘영향구조계수행렬’(A; 산업연관분석에서 투입계수행렬에 해당)을 구하고, ③단위행렬에서 영향구조계수행렬을 뺀 후 역행렬을 취하여 ‘영향유발계수행렬’[(I-A)^-1; 산업연관분석에서 생산유발계수행렬에 해당]을 구한 후, ④공공지원으로 구성된 외생계정행렬(X)을 영향유발계수행렬의 오른 쪽에 곱하여 공공지원에 따른 각 내생계정별 영향을 추정하였다. 이는 산업연관분석에서 생산유발효과를 구하는 것과 같으며, 수식으로 정리하면 다음과 같다(김혜련⋅한성호, 2007).

위 수식에서, I는 단위행렬, A는 영향구조계수행렬, X는 외생계정행렬, S는 총 영향행렬이다. 영향구조계수행렬로부터 유도되는 영향유발계수는 공공지원 1단위가 증가할 때 발생하는 각 계정별 영향을 의미한다.

구득한 7개 마을공동체사업의 자료를 바탕으로 모기동마을의 주민들이 기획⋅운영한 주요 활동을 추려보면 총 17개이다. 회당참여자를 살펴보면 1~67인이었으며, 모기동마을축제에 가장 많은 참여가 있었던 것으로 기록되어 있다.

회당 평균참여자는 8.5인/회이며, 모기동마을학교에 참여한 평균인원이 18인/회로 가장 많았다. 진행횟수는 1~255회였으며 총 762회가 진행되었다. 온라인을 통해 수시로 마을주민들과 소통한 것으로 기록된 ‘이야기하는마을극장’이 가장 많은 횟수를 보였다. 진행시간은 0.5~5시간이었으며 평균 2.1시간/회이다. 이러한 노력을 누적한 총 참여를 살펴보면 10,210인⋅시이며, 이 중에서 누구인지 특정할 수 있는 등장주민의 참여는 6,338인⋅시이다(표 5).

소공연이나 문화관련 소모임인 콘텐츠⋅서비스제공활동의 경우 총 68회 진행되었으며, 회당 참여자는 8~220인이고, 평균참여자는 48.6인/회, 평균진행시간은 1.5시간이었다. 최대 참여인원이 220인에 달하는 모기동마을축제의 경우도 총 참여시간은 132인⋅시로 기획⋅운영에 들인 노력에 비해서는 크지 않은 편이다. 즉, 마을공동체의 특성상 누군가가 제공하는 콘텐츠를 단순히 즐기기만 하는 활동은 잘 기획되지 않거나 인기가 없는 것으로 여겨진다. 콘텐츠⋅서비스제공활동에 누적된 노력의 총량은 2,714인⋅시이며, 이 중에서 등장주민의 노력은 515인⋅시이다(표 6).

앞서 논의한 콘텐츠⋅서비스제공 활동처럼 참여자의 적극적인 태도를 이끌어내기 어려운 교육활동도 마을공동체사업에서는 많이 기획되지 않는 것으로 여겨진다.

문화강좌와 같은 교육활동은 총 24회 진행되었으며, 회당 참여자는 20~26인이었고, 평균진행시간은 2시간이었다. 따라서 교육활동에 누적된 노력의 양은 984인⋅시이다(표 7).

앞서 논의한 단순콘텐츠 제공 및 교육활동에 비해, 공방활동이나 체험프로그램과 같이 주민이 적극적으로 참여해야 하는 공동작업(체험)활동의 경우 활발하게 기획되고 주민의 참여도도 높은 것으로 나타났다. 즉, 대부분의 마을활동이 공동작업이나 주민들의 직접적인 체험을 염두에 두고 기획되고 있는 것으로 해석할 수 있다

공동작업 및 체험형콘텐츠에 해당하는 활동은 총 481회 진행되었으며, 회당 참여자는 7~263인이었고, 평균진행시간은 2.2시간이었다. 가장 많은 참여가 있었던 활동은 모기동마을학교였으며(5,050인⋅시), 참여자의 적극적인 활동이 필수적인 협동조합의 특성상 나무와숲협동조합에 대한 참여도 많았다(4,200인⋅시). 공동작업(체험)활동에 누적된 노력의 총량은 22,752인⋅시이다. (표 8).

지금까지 논의한 여러 활동들을 진행하기 위해서는 ‘공간’이 필요하다. 공간은 활동이 필요할 때 갑자기 얻어지기 어렵고, 평소에 지속적으로 운영⋅관리해야 한다. 이러한 공간운영 활동은 해당 공간을 여는 시간, 예를 들어 오전 10시에 열어 오후 8시에 닫는다면 총 10시간에 걸쳐 이뤄진다. 하지만 해당 공간이 마을카페라면 일반적인 고객을 받는 상업적 활동도 포함되므로 모든 시간을 마을공동체 활동에 쏟았다고 간주하기 어려울 수 있다. 따라서 마을공간의 실제 운영상황을 고려하여 마을공방은 주 5일 운영에 매일 1시간, 주택협동조합은 월 1일 운영회의에 회의 당 2시간, 마을카페는 주 6일 운영에 매일 2시간, 매장을 운영하는 협동조합은 주 6일 운영에 매일 1시간을 마을살이와 관련된 활동을 한다고 가정하여 정리하였다.

공간운영에 쏟은 노력의 양을 추정해보면 총 5,304회, 평균참여자 1.6인, 평균진행시간 1.3시간, 누적된 노력의 양 7,296인⋅시이다(표 9).