Пока намеревался объяснить перманентную аллергию на цветистые отчеты об исследованиях, их еще десяток подвалило - теперь не угадаешь, кто все на свой счет примет.
Конечно, у этих парней есть и свои грязные методы: нелинейная разметка шкалы, искажение пропорций при перспективе, выдача корреляции за причинно-следственную связь, программирующие вопросы и пр. – исчерпывающий список манипуляций нагуглить нетрудно.
Но давайте, однако, допустим, что всем этим грешит кто угодно другой, а перед нами отчет, заслуживающий высокое доверие. Пусть и не от независимой ассоциации (которых у нас толком нет, а заморские варятся в иной реальности), зато от такого вендора, который точно пока не мухлюет: куча друзей там работает, и все бьют себя пяткой в грудь.
Вообще умилительно, конечно, выглядит ИБ-исследование от продавца таковых продуктов или услуг. Уже самим фактом. Это как установщик автосигнализаций, вещающий о частоте угонов, или пугающая статистика кариесов от производителя жвачки. Но в стране высокой морали - почему бы и нет.
Итак, отчего даже самым неполживым и рукопожатным отчетом можно пользоваться только для демонстрации руководству, что уж у вас-то доступ в Интернет для производственной надобности – вон опять какой нехилый pdf-ник надыбал, буду теперь неделю читать.
Перво-наперво, никто не отменял своеобразие выборок. Ситуация вполне описывается анекдотом «по опросу, проведенному в Интернете, 100% россиян пользуются Интернетом». Так, если данные об инцидентах собраны из открытой прессы, в них будут компании, которые вынуждены их публиковать (имеют листинг на бирже, например). Болезни таких игроков не обязательно характеризуют и ваши. Кроме того, там не все утечки, а только определенных типов данных. Или если автор отчета опрашивал компании, с которыми у него есть контакты – извините, но в базе контактов DLP-вендора, к примеру, сплошь такие, кого скука и лишние деньги привели к покупке DLP или интересу к ним. И статистика по аудитам защищенности тоже будет не из всех мест, а из таких, на которые аудитору пальцем показали – то какая-нибудь слабая «дочка», которую надо давно было выпороть за игнор корпоративных требований, а то напротив – самый свежезащищенный сегмент, чтобы явить руководству свидетельство, какие мы молодцы. И т.п.
Другая проблема также банальна: респондент сообщает не то, что есть, а то, что он о себе думает, или хочет, что бы другие о нем думали. Поэтому длина пениса, полученная методом опросов, у нас измеряется в аршинах, а посещения ГМИИ в десятках - урологи и билетерши недоумевают. Обычно для опрашиваемого ответ не является анонимным: он отвечает на присланный опросник с адреса, на который тот пришел, так что ресурсов у него всегда вагон, СЗИ каких еще только нет, а вот фейлами бог обделил. Но даже и через веб-форму, объективен он не будет. Про телефон совсем не говорим.
Еще одна причина ошибок – тяготение к дискретности: аналитикам завсегда хочется разложить по столбикам все богатство сценариев, и чтобы не больше девяти. Получается классическое «умные налево, красивые направо». Куда отнести сфотографированные телефоном материалы к Правлению авиакомпании с топовой в обоих смыслах тайной – это утечка документов, визуальной информации или через носители? А пофиг, в общем-то.
Четвертая бага – подмена тезиса. Опытный маркетолог этим пользуется умышленно, ловко и цинично: декларируется 60%ный эффект уже в первую неделю применения, и покупатель представляет 60%ное увеличение объема волос, а на самом деле 60% членов фокус-группы подтвердили некий эффект уже в первую неделю (впрочем, довольно слабый и сопровождавшийся крапивницей), о чем честно сказано внизу мелким шрифтом. Прием наверняка имеет название, да я кроме сборника пословиц и поговорок ничего не читал.
Но наш автор не такой и проделывает это без всякой задней мысли – просто он сначала собрал данные, а потом сообразил, как их красивше представить. Скажем, 30% его респондентов на первое место поставили риски епочты, остальные – какие-то другие. Он ничтоже сумняшеся рисует пирог и подписывает: по мнению наших респондентов 30% опасностей таит епочта, еще столько-то голубиная, пневмо и пр.
Ну, дружок, у тех, кто поставил на первое место епочту, на ее счету могло быть и 14% проблем (просто на счету иных источников еще меньше: 12, 11 и еще семь по 9), а у поставивших на первое место что-то другое она вообще породила только 1% - вот откуда тут итог 30? Могло и наоборот: у первых епочта дала 86%, а у вторых 40 (но это меньше, чем факс с его 42) – и тоже ни разу не 30% должно было набежать, да?
И последнее, о чем хочется напомнить: среднего может запросто не существовать в природе. Знаете же, что у среднего американца одно яйцо и одна сиська? Если вы работаете в фирме среднего калибра, это не значит, что на усредненной диаграммке изображены как раз вы. Как нет в природе ни одного реального человека с 0.9 кредитных карт, 0.4 компьютера и 0.2 автомобиля, так может и не быть той организации с 980 атак в сутки и ущербом в диапазоне $50000 – $100000, которая так красочно отрисована в 3D.
Конечно, у этих парней есть и свои грязные методы: нелинейная разметка шкалы, искажение пропорций при перспективе, выдача корреляции за причинно-следственную связь, программирующие вопросы и пр. – исчерпывающий список манипуляций нагуглить нетрудно.
Но давайте, однако, допустим, что всем этим грешит кто угодно другой, а перед нами отчет, заслуживающий высокое доверие. Пусть и не от независимой ассоциации (которых у нас толком нет, а заморские варятся в иной реальности), зато от такого вендора, который точно пока не мухлюет: куча друзей там работает, и все бьют себя пяткой в грудь.
Вообще умилительно, конечно, выглядит ИБ-исследование от продавца таковых продуктов или услуг. Уже самим фактом. Это как установщик автосигнализаций, вещающий о частоте угонов, или пугающая статистика кариесов от производителя жвачки. Но в стране высокой морали - почему бы и нет.
Итак, отчего даже самым неполживым и рукопожатным отчетом можно пользоваться только для демонстрации руководству, что уж у вас-то доступ в Интернет для производственной надобности – вон опять какой нехилый pdf-ник надыбал, буду теперь неделю читать.
Перво-наперво, никто не отменял своеобразие выборок. Ситуация вполне описывается анекдотом «по опросу, проведенному в Интернете, 100% россиян пользуются Интернетом». Так, если данные об инцидентах собраны из открытой прессы, в них будут компании, которые вынуждены их публиковать (имеют листинг на бирже, например). Болезни таких игроков не обязательно характеризуют и ваши. Кроме того, там не все утечки, а только определенных типов данных. Или если автор отчета опрашивал компании, с которыми у него есть контакты – извините, но в базе контактов DLP-вендора, к примеру, сплошь такие, кого скука и лишние деньги привели к покупке DLP или интересу к ним. И статистика по аудитам защищенности тоже будет не из всех мест, а из таких, на которые аудитору пальцем показали – то какая-нибудь слабая «дочка», которую надо давно было выпороть за игнор корпоративных требований, а то напротив – самый свежезащищенный сегмент, чтобы явить руководству свидетельство, какие мы молодцы. И т.п.
Другая проблема также банальна: респондент сообщает не то, что есть, а то, что он о себе думает, или хочет, что бы другие о нем думали. Поэтому длина пениса, полученная методом опросов, у нас измеряется в аршинах, а посещения ГМИИ в десятках - урологи и билетерши недоумевают. Обычно для опрашиваемого ответ не является анонимным: он отвечает на присланный опросник с адреса, на который тот пришел, так что ресурсов у него всегда вагон, СЗИ каких еще только нет, а вот фейлами бог обделил. Но даже и через веб-форму, объективен он не будет. Про телефон совсем не говорим.
Еще одна причина ошибок – тяготение к дискретности: аналитикам завсегда хочется разложить по столбикам все богатство сценариев, и чтобы не больше девяти. Получается классическое «умные налево, красивые направо». Куда отнести сфотографированные телефоном материалы к Правлению авиакомпании с топовой в обоих смыслах тайной – это утечка документов, визуальной информации или через носители? А пофиг, в общем-то.
Четвертая бага – подмена тезиса. Опытный маркетолог этим пользуется умышленно, ловко и цинично: декларируется 60%ный эффект уже в первую неделю применения, и покупатель представляет 60%ное увеличение объема волос, а на самом деле 60% членов фокус-группы подтвердили некий эффект уже в первую неделю (впрочем, довольно слабый и сопровождавшийся крапивницей), о чем честно сказано внизу мелким шрифтом. Прием наверняка имеет название, да я кроме сборника пословиц и поговорок ничего не читал.
Но наш автор не такой и проделывает это без всякой задней мысли – просто он сначала собрал данные, а потом сообразил, как их красивше представить. Скажем, 30% его респондентов на первое место поставили риски епочты, остальные – какие-то другие. Он ничтоже сумняшеся рисует пирог и подписывает: по мнению наших респондентов 30% опасностей таит епочта, еще столько-то голубиная, пневмо и пр.
Ну, дружок, у тех, кто поставил на первое место епочту, на ее счету могло быть и 14% проблем (просто на счету иных источников еще меньше: 12, 11 и еще семь по 9), а у поставивших на первое место что-то другое она вообще породила только 1% - вот откуда тут итог 30? Могло и наоборот: у первых епочта дала 86%, а у вторых 40 (но это меньше, чем факс с его 42) – и тоже ни разу не 30% должно было набежать, да?
И последнее, о чем хочется напомнить: среднего может запросто не существовать в природе. Знаете же, что у среднего американца одно яйцо и одна сиська? Если вы работаете в фирме среднего калибра, это не значит, что на усредненной диаграммке изображены как раз вы. Как нет в природе ни одного реального человека с 0.9 кредитных карт, 0.4 компьютера и 0.2 автомобиля, так может и не быть той организации с 980 атак в сутки и ущербом в диапазоне $50000 – $100000, которая так красочно отрисована в 3D.
1 комментарий:
Иногда нужно тупо показать руководству цифры - вот столько то рублей ущерба в месяц от утечек в сходном предприятии. Правда такого отчета, даже суперпредвзятого и сомнительного, я ни у одного вендора до сих пор не видел :) Хотя такие цифры, безусловно, есть. Их просто сложно посчитать, даже очень приблизительно.
А цифра, что у 60% через неделю обнаруживаются утечки - никому ни о чем не говорит. Знаю я большинство утечек - сотрудник переслал себе файлик дома поработать. И инфа в файлике абсолютно неликвидная и подходит под тайну лишь весьма формально, и сотрудник лояльный и ценный, и ничего с ним не сделаешь - но галочку поставить можно, что "утечка", ага..
Отправить комментарий