QR-коды протоколов. Удовольствие за 24 миллиона.

Сейчас протоколы на выборах часто оформляются на компьютере и печатаются с QR-кодом. Я хочу познакомить читателя с этой темой подробнее и рассказать, что не так с QR и что не так с ЦИК.

Простым языком, чтобы не читать всё

Когда начали использовать QR

Первое упоминание о данной идее находится в новости от 18 июля 2016 года о посещении Памфиловой Э.А. Санкт-Петербурга. Как разъяснили мне "Наблюдатели Петербурга" автор данной идеи -  Краснянский Дмитрий Валерьевич, член СПбИК.

На IV Форуме Общественных наблюдателей в 2017 году Григорий Мельконьянц делал доклад на тему QR-кодов, это было первое время после знакомства с новой технологией. Я частично повторю факты из его доклада, но по большей части будут новые.

Первое живое использование QR-кодов было 18 сентября 2016 года в нескольких регионах (решение ЦИК), в частности на 15 участках Санкт-Петербурга.

18 сентября 2016 были первые протоколы с QR, я еле нашёл фото одного из них. Спасибо избиркому Санкт-Петербурга. Распознать QR-код можно мобильным приложением, простым наведением айфона или же веб-сервисом, если код хорошо читается. Как правило мобильные приложения сейчас очень хорошо распознают даже искажённые коды и сфотографированные под углом.

Видно, что id кандидатов длинные, видимо, глобальные по стране, но при этом id кандидатов не те же, что на сайте Избиркома, скажем, у кандидата Стародубцева в протоколе id 4784009176570, а на сайте - 4784009155025.

Постепенно эту идею протестировали и в других регионах, 2 апреля 2017 года опробовали код на многомандатных выборах в Липецкой области, а 9 апреля - в Пермском крае.

Весной 2017 всё ещё использовался код, кодирующий номер УИКа, дату-время и цифры протокола, структура идентична структуре кода первых протоколов. Вот пример, УИК 2459, Московская область.

Сколько это стоило

Судя по контракту 54/2П-2017, первая часть разработки стоила 10 миллионов рублей ровно. Работы официально шли менее 2 месяцев. Разработчик, ООО "Открытый код" из Самары, не уложился в определённый в ТЗ срок 25 дней, сорвал сроки первого этапа на 18 дней, поэтому вернул 324 тыс неустойки. В акте 1241 (госзакупки, ) полсотни пунктов лишь одних недочётов, из их содержания можно предположить общий объём работы.

А выбрали исполнителя из трёх претендентов по особому критерию - у кого больше баллов в формуле 0.3 * баллы за цену (0-100) + 0.7 * баллы за опыт (0-100), то есть основным критерием было количество государственных контрактов подобного типа, и у самарцев их было 37, у конкурентов 0 и 1 соответственно. Очевидно, при таком критерии более опытная компания будет побеждать всегда, даже если конкуренты предложат цены в тысячу раз меньше. На данный момент у компании-победителя госзакупок на сумму свыше миллиарда!

В 2018 была доделка СПО на 13.8 миллионов рублей, в документе 8500 (госзакупки, ) подробно указано, что доделывается. Таким образом, суммарно на внедрение QR-кодов в протоколы потрачено 23.8 миллиона рублей.

А 24 миллиона - это дорого?

Хорошо бы провести независимый аудит, действительно ли это всё стоило 24 миллиона. Я имею опыт разработки более 15 лет и многолетний опыт наблюдения за выборами, поэтому рискну предположить, что понимаю требуемый объём работы, и 2 опытных разработчиков и одного менеджера бы хватило. Это требуют в зарплатный фонд (то есть с учётом налогов) в фирме с очень хорошими зарплатами порядка (250к*2+400к)*2 = 1.8 млн на двухмесячную разработку. Учитывая, что платится НДС 18%, второй этап включает сертификацию, и у фирмы должна быть прибыль, стоимость разработки в 3-4 млн в целом была бы похожа на адекватную и рыночную. Но в условиях, когда у государственных денег есть токсичность, цена повышается.

Если поставить целью экономить бюджетные деньги и заботиться об эффективности, то лучше всего иметь штатных программистов. В штате аппарата ЦИК 292 человека, если из них хотя бы четверо были бы программистами, внедрение QR-кодов не потребовало бы ни одного дополнительного миллиона. Глава ЦИК Элла Александровна имеет 1 помощника и 4 советников в штате. Даже Н.И. Булаеву выделено 2 штатных советника.

Так что, на мой взгляд, 24 миллиона - это дорого.

Для меня осталось загадкой, какими же системами для QR-кодов пользовались на выборах до июля 2017 года, если софт для УИК и вышестоящей над УИК комиссии ещё не был готов согласно срокам госконтракта. А если софт уже был написан и использовался, то за что же тогда выложили 24 миллиона? Сроки не сходятся.

Как изменился QR-код летом 2017 года

Если внимательно посмотреть на протоколы с ЕДГ-2017, видно отличие - под ними нет времени печати протокола. Я просмотрел несколько протоколов из разных регионов со 2 июля по 10 сентября 2017 года. Все протоколы взяты из Хроник на сайте Голоса или у региональных координаторов Голоса.

2 июля код содержал следующую информацию.

Сразу заметим очевидные значения.

Видно, что с весны код изменился, как минимум кандидаты стали иметь гораздо меньшие ID. По всей видимости, перешли на локальные id кандидатов внутри ТИК, это пришлось сделать для сокращения длины информации, чтобы большое число кандидатов (а иногда их бывает и по 30) позволяло уместить всех в этом коде. Что означают одиночные цифры - неясно.

К 20 августа пропало время печати с протокола и слегка изменилось содержимое служебной информации в начале кода (оба протокола с одномандатных выборов).

Даже за 2 недели до ЕДГ номер УИКа и время были в коде, попробуйте навести телефон.

На ЕДГ-2017 у комиссий были рабочие блокноты с примером заполнения протокола, код приведёт с временем печати под ним, хотя структура №3. Интересно, что номер УИКа в QR не совпадает с номером УИКа в шапке.

А 10 сентября, на ЕДГ, уже и из QR пропало и время печати протокола, и номер УИК, и системная информация перед цифрами за кандидатов. По всей видимости, основное хранилище данных соответствия теперь в ТИКах. Даже дата в начале кода - это не дата печати, а лишь дата дня выборов, и протоколы, созданные после полуночи, 11 сентября, это отображают. Не все УИКи делали в ЕДГ протокол с QR-кодом, из доклада Э.А. Памфиловой на конференции 21.09.2017 следует, что работу с QR-кодом уже опробовали в двадцати регионах, однако судя по более позднему отчёту (стр.22) ЦИК по результатам ЕДГ-2017, это было в 32 000 участковых комиссий 81 субъекта Российской Федерации, то есть примерно треть.

Последний нолик - это, похоже, должно быть число поданных жалоб, однако в протоколах УИК 959 и 908 (link) Ленинградской области есть одна жалоба, но в конце тоже нолик. Единичка после 0%0 - вероятно, повторность протокола (в шапке протокола указано "Повторный").

Примечательно, что строки цифр за кандидатов идут в коде не по порядку, как ранее, но и не случайно, а отсортированы по ID кандидата во внутренней таблице ТИКа. Таблица эта не публикуется, поэтому соотнести строки и кандидатов затем может софт в ТИК, наблюдателям же нужно вручную сопоставлять.

QR-код стал гораздо менее прозрачным.

Итак, перед ЕДГ-2017 из QR пропали дата-время печати, номер УИКа и исчезла сортировка по номеру колонки.

Спустя ещё 2 года, в конце 2019 года, QR имеет ту же структуру №4, УИК 1776 (ссылка). В ней практически всё понятно, кроме четырёх ноликов и единички. Наличие 2 жалоб в коде не отражены.

Или на референдуме в Татарстане (ссылка на протокол). Полностью идентичная структура, разве что служебные нолики-единички что-то стали другое обозначать (тип выборов?).

Или на многомандатных выборах в ЕДГ-2019, Санкт-Петербург, УИК 2094, муниципальные выборы ("Фонтанка").

На выборах президента я вижу ещё пару новых типов, один почти не отличается от ЕДГ-2017, лишь добавлен слеш в конце. Второй позже окажется в спецификации для КОИБ (ПРОВЕРИТЬ, МОЖЕТ ЭТО И КОИБ БЫЛ).

Код сформировался полностью в 2017

Подытожим, за первый год внедрения QR-кодов, к ЕДГ-2017, сформировалась его структура и не меняется уже более двух лет. Именно ЦИК решил убрать в 2017 году время печати из формы протокола. К эксперименту 2016 года решением от 12 сентября 2016 г. № 50/514-7 ЦИК утвердил форму, содержащую время печати протокола. А в феврале постановлением от 15 февраля 2017 г. № 74/667-7 уже рекомендовали форму без времени печати, а к ЕДГ-2017 на довыборы депутатов ГосДумы и сами постановлением № 93/814-7 утвердили форму без времени печати протокола, значит от времени печати протокола решили избавиться ещё за 3 месяца до того, как заключили контракт с самарской фирмой. И снова встаёт вопрос, а кто же разрабатывал СПО, работающее с QR-кодами, например, в июле-августе 2017 года? Неужели контракт стали заключать уже после того, как всё было сделано и почти год применялось? Может и критерии конкурса специально под уже работающую над СПО фирму cделали?

Почему код менялся?

Я не знаю. Формально последний акт по первому этапу, в котором и шла разработка, подписан 21 июня 2017 года, а второй этап должен был касаться лишь сертификации написанного кода.

Однако в отчёте, опубликованном в Вестнике ЦИК № 1 (367) 2018, указано, что они во второй этап помимо сертификации запихнули и некую "доработку" по предложениям ЦИК и ФЦИ. В ТЗ этого не было!

В рамках выполнения работ по второму этапу контракта:
осуществлена сертификация доработанного СПО подсистемы ГАС «Выборы»;
доработано СПО для изготовления протоколов УИК об итогах голосования с машиночитаемым кодом и СПО КСА ТИК ГАС «Выборы» в соответствии с предложениями ЦИК России и ФЦИ при ЦИК России;
исправлены ошибки и недочеты СПО для изготовления протоколов УИК об итогах голосования с машиночитаемым кодом в соответствии с замечаниями ЦИК России и ФЦИ при ЦИК России;

Выходит, что коды летом 2017 года стали менее удобными, потому что так захотели в ЦИК, а не потому что так было в ТЗ.

QR-код на протоколах КОИБов

Спецификация QR-кодов КОИБов и их эволюция подробно не рассматривается в данном докладе, однако именно из документов по КОИБам можно понять структуру QR-кодов обычных протоколов. В 2019 проводилась госзакупка КОИБ-2017 и в Системном соглашении для разработчиков была указана спецификация данных QR-кода, поясняющая значения блоков в коде.

А если код не читается?

Хотя правилами и строго запрещено ставить печати на QR-код, а сам код содержит 15% запас прочности на потери данных (это уровень M), возможна ситуация, когда код не читается. Это предусмотрено постановлением ЦИК от 08 февраля 2017 г. № 73-1-7. Если дважды не удаётся распознать код, администратор вводит цифры вручную. А значит, если злоумышленникам захочется исказить цифры, можно сделать код нечитаемым и вводить искажённые преступной волей результаты. Учитывая практику, что в ТИК при вводе протоколов в ГАС Выборы обычно не допускают независимых наблюдателей, QR-код нельзя считать защитой от фальсификации результатов.

Хорошо ведь, что есть QR-код?

То, что цифры хотя бы первой части протокола доступны в автоматическом режиме - это уже плюс, хотя бы десяток цифр вводить вручную не нужно. Приятно, что код практически полностью понятен. Также протоколы с QR фальсификаторам нельзя переписать прямо в ТИКе, нужно для этого возвращаться к компьютеру на УИК или же дожидаться ухода наблюдателей, чтобы сфальсифицировать заранее.

Или всё же плохо?

Неприятных моментов больше, отмечу лишь пару из них.

Защита от переписывания отсутствует

Как показала практика, код не защищает от переписывания протокола, хотя это заявлялось как преимущество данной технологии. Просто переписыванием теперь занимаются на УИКе, а не в ТИКе. Если бы в QR-коде фиксировался порядковый номер печати протокола и время печати, это бы позволяло отличить верный протокол наблюдателя от сфальсифицированного впоследствие протокола.

То, что время печати пропало и с поверхности протокола, и из кода, мешает отслеживать эту важную характеристику и сравнивать её со временем, указанным на протоколе вручную. Я просмотрел видеозапись с участка 2812 Уссурийска 18.03.2018, и после выдачи протокола наблюдателю от КПРФ члены комиссии порвали протокол и стали сочинять новый. Цифру за Путина 85% председатель озвучила после очередного телефонного звонка.

Вот под эту цифру всё и подгоняли потом с помощью жёлтого калькулятора. Если бы на протоколе или хотя бы в QR оставили фиксацию времени печати, это бы было дополнительным подтверждением, что протокол, который у наблюдателя - это именно тот, что члены комиссии сделали изначально на видеозаписи, а не повторный, сделанный парой часов позже.

Изменения мешали автоматизации

Постоянные изменения кода в 2017 году мешали наблюдателям. Например, разработчики наблюдателей пишут в августе перед ЕДГ код, обрабатывающий протоколы в режиме онлайн в день выборов, основываясь на предыдущих примерах, а резкая смена формата приводит к необходимости в стрессовом режиме выяснять новую структуру кода и править мобильное приложение, обновление к которому ещё и не все скачают.

Голос сообщал летом 2017, что 2 июля будет первое испытание мобильного приложения, а 16 - второе, в надежде 10 сентября иметь рабочее приложение для проверки QR-кода и отправки его в СМС-ЦИК.

Поскольку нет прозрачности в деятельности ЦИК, когда структуру кода поменяли, это был сюрприз для наблюдателей. Даже в учебных материалах в ЕДГ-2017 код остался старого типа. Оказалось, что на тестировании КОИБ 9 сентября 2017 в Зябликово, УИК 1788, была старая структура, а 10 сентября там же в Зябликово, УИК 1804 уже был с новой структурой, это привело к полной неработоспособности приложения для расшифровки QR-кода.

Более того, поскольку цифры за кандидатов в коде отсортированы по id в таблице ТИКа, сортировка цифр за кандидатов в одном ТИКе одна, в другом - другая. Поэтому для машинной обработки кодов наблюдателям нужно по-прежнему вручную распознавать протокол из каждого ТИКа. И если у одного наблюдателя в коде была последняя Собчак, то у другого - Титов. Удаление сортировки фактически лишило сообщество наблюдателей удобного инструмента.

Опосредованно это бьёт и по гласности, сообщество наблюдателей должно быть уверено, что накануне выборов избиркомы не внесут какое-нибудь изменение.

Если соотношение ID-кандидат ещё можно составить вручную, то пропадание УИКа усложняет обработку данных наблюдателям, нужно вручную вбивать номер. У ТИКа данной сложности нет, у них в наличии таблица соответствия ID УИКа в QR - его номер.

Отсутствие открытой спецификации неоднократно осуждалось Голосом ещё с 2017 года, но воз и ныне там.

ЦИК нахваливает эффективность QR

На 181 заседании ЦИК, за неделю до истории с фальсификацией выборов в Приморье, Николай Иванович Булаев делал доклад в том числе о влиянии QR-кодов на ввод протоколов, и доводы были совершенно ненаучные. Полного видео заседания на сайте ЦИК почему-то нет, выдаёт ошибку, (хотя 180 и 182 присутствуют).

Булаев в интервью РИА Новостям говорил:

Опыт 10 сентября нынешнего [2017] года показал, что введение протоколов с использованием QR-кода позволяет нам уже к двум часам ночи получить практически стопроцентный результат. И я уверен, что в эту избирательную кампанию, учитывая, что это будет единственный протокол, подсчет голосов будет проведен в рекордные сроки

Что не так с обоснованием скорости ввода

Во-первых, сравниваются разные выборы. 18 сентября 2016 года на выборах в ГосДуму люди голосовали двумя бюллетенями: по партийному списку и по одномандатному округу, также были выборы и местные, например, выборы депутатов ЗакСобрания Амурской области седьмого созыва (смешанная система, и партийные списки, и одномандатные). То есть по сути в этот день нужно было считать 4 разных типа бюллетеней (и это если нет более мелких по уровню выборов).

А в 2018 довыборы в ГосДуму были лишь по одномандатным округам. В той же Амурской области параллельно были выборы губернатора и гораздо меньше более мелких выборов. То есть комиссиям нужно было считать лишь 2 типа бюллетеней, в ГосДуму и на Губернатора.

Значит у участковых комиссий в 2016 было примерно вдвое больше работы. Больше считать по спискам, больше гасить, больше считать бюллетеней, больше заполнять протоколы и так далее.

Во-вторых, явка в 2018 году была меньше, например, в Амурской области она была почти в 1.5 раза меньше, также меньше было и число кандидатов, что упрощает подсчёт.

В итоге у комиссий в 2018 было примерно в 3 раза меньше работы и неудивительно, что они справились заметно быстрее.

Заявлять, что в этом заслуга QR - некорректно.

Безусловно, вводить цифры в ГАС вручную дольше, чем с помощью кода, но это совсем не тот фактор, что оказывает заметное влияние на общую скорость работы комиссий. Ввести 25 цифр вручную - 3 минуты. С одних слов Э.А. Памфиловой, ввод быстрее в 2 раза: " в два раза сократилось время ввода протоколов и существенно сократилось количество повторных вводов", с других (стр.4 доклада от 2018 года) - с кодом быстрее в 7 раз: "сокращая время ввода в среднем в 7 раз", значит, если возьмём лучший вариант, то секунд 30. Выгода в две минуты? Да комиссия в разы дольше заполняет документы о сдаче пакетов с документацией, а основное время простаивает в очереди!

Также было опубликовано сравнение динамики ввода протоколов. Почему-то его тоже считают доказательством эффективности QR. Однако видно, что кривые 2012 (без QR) и 2018 года (с QR) почти идентичны, а кривая выборов в ГосДуму-2016, как уже отмечалось ранее, смещена вправо из-за удвоения числа работы. Я не вижу тут значимого эффекта от введения QR.

Когда затем в Приморье даже в 7 утра 13 протоколов объявили невведёнными, у Николая Ивановича не возникло идеи вспомнить свой доклад недельной давности о том, как QR ускоряет ввод данных. Зато возникла идея попросить не привлекать преступников к уголовной ответственности.

Что не так с обоснованием уменьшения числа ошибок

Заявлялось что использование кода вместо ручного ввода уменьшает человеческий фактор, ошибки ввода и ошибки составления протокола. Об этом в РЦОИТ писали:

Данный шаг, по мнению организаторов выборов, позволит в разы ускорить передачу информации об итогах голосования, а также исключить повторный ввод протоколов в ГАС «Выборы» и другие технические ошибки. [..] К тому же, данная технология исключает допущение ошибок, связанных с усталостью или с человеческим фактором.

Про усталость сисадминов, вводящих цифры в ГАС, на самом деле верное замечание. Но решить проблему можно было и бесплатно - просто отказаться от превращения ТИКов в филиал Росстата. Не собирайте кучу бесполезной информации, которую вы и не публикуете, и скрываете даже от членов ТИК – всё, сисадмины спокойно введут цифры вручную.

Повторю и вышеупомянутые слова Э.А. Памфиловой:

в два раза сократилось время ввода протоколов и существенно сократилось количество повторных вводов

На самом деле это не так. Можно посмотреть на то, сколько протоколов в ГАС Выборы было исправлено для федеральных и региональных выборов. Я сделал это, скачав данные с сайта Избиркома.

Видно, что уже в 2012 году на президентских выборах вышли на устойчивый уровень в 0.5% исправлений, и введение QR в 2017 заметно не повлияло ни на количество ошибок в ЕДГ-2017, ни на президентских, ни на ЕДГ-2018, ни на ЕДГ-2019. Как было полпроцента ошибок уже с 2012, так оно и не изменилось в первые два года после внедрения QR.

Небольшое повышение в 2016 объясняется усталостью комиссий от удвоения работы. Несколько точек 2018 года - это несколько небольших, региональных выборов, каждый случай уникален, например, пик 16 сентября 2018 - это знаменитое воровство выборов в Приморье, а 16 декабря со всего 1 исправлением - безальтернативный "третий тур". В ЕДГ-2019 снова почти полпроцента.

Как всё же оценить эффект кода на ошибки

Если честно, то никак. Меняется слишком много параметров, включая компьютеризацию участков, числа кандидатов, числа выборов одновременно, самих членов комиссии, их опытности. Но если допустить, что что-то повлияло в целом на ситуацию по стране, оценить эффект можно следующим образом.

Допустим, частота ошибок при вводе протокола - это некая постоянная для протокола величина p << 1. Число вводимых протоколов N. Тогда количество ошибочных протоколов X будет подчиняться биномиальному распределению. Матожидание M равно pN, а мера разброса случайной величины, дисперсия D=p(1-p)N или для малого p ещё проще - D=pN=M. Стандартное отклонение, корень из дисперсии, стало быть, σ = sqrt(M).

В 2012 году доля исправленных протоколов была равна 0.482% или p=0.00482. В 2018 число УИКов примерно 97тысяч, то есть матожидание 468, σ = 22. Наблюдаемое число исправлений в 2018 году было 406, то есть оно оказалось меньше матожидания чуть меньше, чем на 2.9 σ. Вывод следующий - небольшое улучшение ситуации с числом ошибок действительно видно, но оно пока на грани случайной ошибки.

Что делать-то?

ЦИК следует вспомнить о гласности, о заявленном принципе, "Принципы работы ЦИК России – максимальная открытость", и сделать следующее:

1. Объяснить, почему госконтракт на разработку софта был подписан лишь через полгода после начала использования QR-кодов
2. Проработать возвращение в QR-код номера УИКа и даты-времени печати, возможно, добавить номер попытки печати.
3. Опубликовать детальное описание спецификации данных в коде. Публиковать таблицы соответствия ID-Кандидат перед выборами.
4. Начать отвечать на публичные вопросы вроде вопросов по Приморью, где по версии ЦИК даже QR-коды не помогли ввести жалкие 13 протоколов за много часов.

Статья 30 ФЗ-67 сама себя не будет соблюдать, уважаемые члены ЦИК, а в особенности Николай Иванович и Элла Александровна, будьте более открытыми к наблюдательскому сообществу.