■요약
1. 평판 블랙박스
저자는 디지털 상에서 구매와 검색, 소셜네트워크서비스(SNS) 등 서비스를 이용하는 모든 행동들이 데이터로 남아 우리의 디지털 상의 정보, 즉 '디지털 자아'가 기업, 기관들에게로 흘러들어가 평가를 받는다고 말한다.
유통기업과 금융기업들은 이 데이터를 수익 창출 방법, 마케팅 전략을 짜는 데 활용하고, 직원을 채용하는 기업들은 가장 인건비가 싸면서도 효율과 능력이 좋은 지원자를 뽑기 위해 데이터로 검열을 한다고 말한다. 여기서 중요한 것은 이런 데이터를 제공받는 데이터 중개상들의 존재는 우리가 절대 알 수가 없는데, 우리도 모르게 그들은 데이터를 제공받고 필요에 따라 열람하고 활용한다.
저자는 이런 디지털 연금술이 새로운 유사 현실을 창조하면서, 통제 불가능한 데이터는 이곳 저곳 퍼져나가 연속적인 불이익을 초래할 수 있다고 말한다. 기업들은 수만명씩 몰려드는 입사 지원자를 소프트웨어 프로그램을 돌려 일괄 처리하고, 빨간색은 형편없는 지원자, 노란색은 중간 수준, 녹색은 합격 가능한 지원자로 표시한다. 일부 기업은 SNS를 검색하며 삶을 드려나 보고 소셜 평점을 매기기도 한다.
또 누구나 데이터에서 신용도 낮음, 의료비 높음, 소득 감소 등의 모욕적인 평판으로 분류될 수 있다. 평판 시스템은 새로운 소수자를 만들어 내고, 부정적이고 근거 없는 가정이 편견으로 굳어지기 마련이다. 알고리즘도 결국 인간이 프로그래밍하는 것이다 보니 개발자의 가치관이 반영된다. 결국 인간의 편견이 반영된 데이터로 평판이 만들어 지는 것이다.
2. 검색 블랙박스
저자는 안내자로서 우리의 행동이나 생각, 구매 결정에 영향을 주는 검색엔진이 공정하지 않다고 말한다.
검색엔진에 대해 실제로 우리들의 인식에 상당히 큰 영향을 준다는 연구 결과도 있는데, 연구 내용에서는 페이스북이 지난 2010년에 '투표 독려' 기능을 시험했을 때, 이용자의 투표율 제고 효과는 0.39%로, 2000년 미국 대선 같은 초박빙의 선거에서는 결과를 뒤집기에 충분한 수치였다고 나오고 있다.
과거 민주화를 지향했던 검색엔진은 최근 상업의 변화가 이전과 전혀 다른, 오히려 반대되는 결과를 보여주고 있다고 저자는 말한다. 혼잡한 온라인 세계를 명료하고 협력적으로 만들었던 바로 그 세력이 다시 모호한 마케팅, 불공정한 경쟁, 변화무쌍한 현실의 왜곡을 부추기고 있다는 것이다.
이 중 많은 사례로 언급되고 있는 구글은 결국 시스템에 해석학을 점목시켜 어떤 결정에서든 최대한의 효과를, 어떤 검색에서든 최대한의 관련성을, 어떤 투자에서든 최대한의 위험 조정 수익을 얻어내는 과정을 이루고 있다고 전한다.
3. 금융 블랙박스
저자는 지난 수십 년간 금융 분야에서 컴퓨터 기반의 의사 결정이 늘어나면서 이 과정에서 더 합리적 의사결정이 있을 것이라는 기대와 달리 금융 서비스는 더욱 내부자들에게 유리한 쪽으로 흘러가고 있다고 말한다.
블랙박스 금융은 조잡한 경우부터 교묘한 경우까지, 범죄에 해당하는 경우부터 단순히 복잡한 경우까지 범위가 다양하다. 확실한 것은 오늘날의 금융에서 대출자, 대출업체, 고객, 규제기관, 대중에게 정보를 감추고 있는 부분이 지나치게 많다는 점이다. 예를 들면 대출 상환이 한 번만 늦어져도, 한 가정에 수만 달러의 추가 비용을 물리는 식의 자의적인 평가가 속출한다고 전한다.
4. 감시자 감시하기
금융 서비스 웹사이트의 서비스 약관 내용은 전체적으로 그들을 위한 내용이다. 저자는 서비스 약관 내용이 '프라이버시 정책'이라기보다 사용자의 권리를 서비스 제공회사에 양도하겠다는 계약에 가깝다고 말한다. 약관 내용을 꼼꼼히 읽어보면, 대부분이 기업을 보호하는 조항일 뿐 소비자를 위한 조항은 거의 없다는 사실을 확인할 수 있다.
책에서는 어떤 기업이 우리에게 관한 전자 문서를 작성한다면, 우리는 그 문서를 점검하고 정정할 기회를 누릴 자격이 있다고 말한다. 소매업체가 임신 여성의 출산 예정일을 예측하고, 디지털 마케터가 우리를 '조울증 증상'이나 '당뇨병 위험' 등으로 분류한다면, 그런 자료 또한 일반적인 진료 기록 못지않게 민감하므로 의료 프라이버시법이 적용되어야 한다는 것이다.
5. 알기 쉬운 사회를 향하여
우리의 블랙박스 사회는 위험을 초래할 만큼 불안정하고 불공정하며 비생산적이다. 이것은 시민들이 담당해야 할 몫이고, 시민들은 위험을 이해할 수 있을 때에만 제 역할을 수행할 수 있다.
블랙박스 모델링을 대대적으로 사용할 경우, 그 모델을 관리하는 내부자에게는 아무리 이익이 되더라도 사회 전반에는 위험할 수밖에 없는 이유가 있다. 무고한 개인이 사전 검토는커녕 그 존재 조차 알지 못하는 부정확한 블랙박스 때문에 안보 위협 요인이나 태만한 직원이나 신용리스크로 낙인찍혀 상처를 입는다면, 그것만으로도 충분히 블랙박스는 나쁜 것이다. 부당하거나 부적절한 편견이 알고리즘의 권한과 결합해 단지 예측할 뿐이라고 주장하는 실패를 실제를 현실화한다면 모델링은 더더욱 문제가 있다.
■책 속 밑줄 긋기
대표적인 인터넷 기업과 금융 기업은 프라이버시, 존엄성, 공정성 같은 중요한 가치에
가공할 만한 위협을 야기했다.
그런 위협은 점점 더 정부 권력과 뒤섞이며
자기 보호적인 블랙박스적 관행이나 아무 상관 없는 혼선 속에서 너무도 자주 모호해져 버렸다.
■별점 ★★★