Showing posts with label Articles. Show all posts
Showing posts with label Articles. Show all posts

Tuesday, May 4, 2021

Using AWS Config, Lambda and Splunk to build detective controls for AWS.

The key AWS document that helps clients to succeed in Cloud Adoption -  AWS Cloud Adoption Framework, in the Security Perspective section defines Detective Controls as following:

  • Detective Control provides guidance to help identify potential security incidents within your AWS environment.
AWS Well Architect Framework adds  to that:

  •  You can use detective controls to identify a potential security threat or incident. They are an essential part of governance frameworks and can be used to support a quality process, a legal or compliance obligation, and for threat identification and response efforts. 
  • In AWS, you can implement detective controls by processing logs, events, and monitoring that allows for auditing, automated analysis, and alarming


Below I will describe implementations of the AWS Detective controls using native AWS and 3d party services :
  • AWS Config and Config Rules (Managed and Custom)
  • Lambda 
  • CloudWatch Events a.k.a EventBridge 
  • Firehose
  • Splunk Cloud

Our Goal is: Build a set of the automated detective controls for the multi-account distributed AWS environment, along with automatic remediation, compliance dashboards, a single pane of glass for security events, and notifications. 

Let's start with collecting our requirements:
  • All components of the solution must be represented as a code 
  • Serverless Application Model
  • Maximum usage of the native AWS services 
  • 3d party components should be pluggable
  • fully distributed architecture with no critical central components.
  • Event-driven architecture
  • Near-real time event processing and ingestion
  • Resource whitelisting (via ARN or/and resource tag) support

Major components:
  • AWS Config Service
  • Managed (by AWS) config rules 
  • Custom (Lambdas, created by customer) config rules
  • EventBridge event rule
  • Processing Lambda
  • Firehose (delivery2Splunk)
  • S3 Buckets
  • IAM Roles
  • DynamoDB tables
  • Splunk with HEC configured
  • AWS Security Hub Service 


Event flow and processing: 
  1. AWS Config rule evaluation starts due to: 
    • AWS resource in the scope of the config rule being created/modified/deleted
    • new config rule has been deployed
    • schedule-driven rule evaluation started
    • on-demand evaluation of the rules has been triggered via Web UI, API or CLI
  2. Rule evaluation completed and resource compliance status is changed to COMPLIANT | NON_COMPLIANT | NOT_APPLICABLE 
  3. Event  ComplianceChangeNotification generated: it generates when the compliance type of a resource that AWS Config evaluates has changed
  4. EventBridge event rule will invoke processing Lambda.
  5. Processing Lambda will:
    • extract all required fields from the EventBridge event.
    • create a data structure that suitable for the Splunk ingestion via Splink HEC
    • add custom Splunk fields that could be defined at index time with AWS account metadata: AWS Account ID, Account Name,  AWS organization, environment, customer, etc
    • Enrich this data structure with information from the central config rule metadata DynamoDB table: Rule severity, Description, associated compliance framework name and section, etc. 
    • To fetch information from the DynamodB, processing Lambda will assume a role in the "Security/Log Archive" account that will grant only "Read" access to the required DynamoDB tables.
    • Call AWS config service to retrieve additional information about AWS resource, which compliance status has been changed, such as recourse name, ARN, all available Tags, etc
    • Enrich existing event data structure with information obtained from the config.
    • Fetch resource whitelisting status (whitelisted or not, the reason for whitelisting, whitelisted by whom and when) from the central DynamoDB table of the whitelisted resource using resource particular resource Tag and /or resource ARN.
    • Enrich existing event data structure with whitelisting information.
    • Send the event, enriched on previous steps, to the Kinesis Data Firehose configured with Splunk HEC as destination and central S3 bucket as backup storage.
    • Build a new data structure that corresponds to the AWS Security Finding Format (ASFF)
    • Adjust event severity based on the whitelisting status
    • Fetch additional security context from different AWS services that might affect security event severity and incorporate it into the ASFF data structure.
    • Send ASFF event to the Security Hub
  6. Kinesis Data Firehose delivers the event to the Splunk HTTP Event Collector (HEC) endpoint for the indexing.
  7. SecurityHub in the administrator(master) account will serve as a single pane of glass for the Global Security team along with Splunk.
  8. Security Hub in the member account could be useful for the customer(the account owner) to monitor and address security findings in his account.  


Highlights
of the solution:
  • event-driven via EventBridge
  • uses compliance status change as a trigger to process event
  • distributed (AWS account and region) processing Lambda
  • processing leverages AWS Config Service to extract additional information about the resource itself (ARN, all Tags, resource name, etc)
  • verifies the whitelisting status of the resource  (by ARN or dedicated Tag) using ReadOnly access to secure centralized DB
  • obtains additional details about the config rule, that triggered resource compliance status change, from the centralized DynamoDB table: AWS config rule enable/disable status,  severity, event routing information(2Splunk, 2SecurityHub, 2PagerDuty), rule details, etc.
  • enriches data event with information obtained from the whitelisting and config rules metadata tables
  • automatically adjust event severity based on the whitelisting status
  • send the enriched event to Splunk via Firehose
  • send the enriched event to the Security Hub using AWS Security Finding Format (ASFF)
  • architecture could be extended to accommodate auto-remediation flow
  • could serve as an integration point for any 3d party logging/alerting or ticketing tool.  

Saturday, May 4, 2019

Awesome list of Native AWS logging capabilities

While looking on centralized logging  capabilities of AWS and going trough bunch of documentation, I noticed lack of the one "big table" where I can find all AWS native logging capabilities per each service and up-to-date service coverage for AWS cloudwatch logs service.
Building I big table is not really version control friendly, so please welcome:

Awesome list of Native AWS logging capabilities:
https://github.com/IhorKravchuk/it-security/blob/master/AWS_logging.md

While I was building this list, some service have already changed their capabilities causing some information in the list being out-of-sync.
 I'll try my best to regularly review existing services and keep adding new one, but if you find mistake or would like to contribute feel free to contact me or create a PR.

Sunday, November 1, 2009

Проблемы обеспечения ИТ безопасности.


Данная статья несколько отличается от обычного круга материалов посвященных информационной безопасности.
Здесь не будет рассказа о новых продуктах уважаемых вендоров, красочных описаний внедрений новых систем и хвалебных отзывах о них. Эта статья не о новых угрозах и способах борьбы с ними. Эта статья о том , обычно остается за кадром и чем мало кто рассказывает. Она начинается там где остальные рассказчики заканчивают. Если бы мы говорили о сказке то можно было бы сказать, что я расскажу вам о том что происходит в сказке после фразы «и жили они долго и счастливо».
Итак, рассказ будет посвящен жизни систем и решений обеспечения ИТ безопасности после их внедрения и тем выводам и рекомендациям на которые эта жизнь наводит.
А жизнь это как раз обеспечение той ИТ безопасности ,о которой так много говорят, этими самыми системами , которых так много продают.

Колесо стандарта.
Начнем с самого начала - со стандарта ISO 27001, который нам диктует, как надо управлять информационной безопасностью.
В данном стандарте существует модель PDCA, описывающая этот процесс.

В самой логике модели заложено, то что это «колесо» должно вертеться, совершая оборот за оборотом, приводя к переоценке рисков после каждого внедрения компенсирующих мероприятий (а проще говоря технических средств и мероприятий для обеспечения безопасности ).
К сожалению, в реальной жизни, «колесо» получается несколько квадратным – совершит один два оборота и замирает. Компания считает себя полностью защищенной, почивает на лаврах собственной значимости и уверенности во внедренных решениях.
Хотя, именно постоянная эксплуатация систем обеспечения ИТ безопасности и постоянный мониторинг, позволяют точно проводить оценку рисков и правильно внедрять компенсирующие мероприятия, т.е. эффективно обеспечивать информационную безопасность компании..
В целом, эффективное обеспечение безопасности подразумевает наличие каких-то параметров эффективности. В данной статье мерой эффективности будут скорость и величина снижения рисков, а также финансы, затраченные на безопасность.
И если с рисками все понятно, то расходы на безопасность стоит рассмотреть подробнее
Расходы на безопасность.
Итак, расходы на обеспечение ИТ безопасности компании складываться из двух основных компонентов: первоначальных инвестиций в покупку системы и последующих затрат на поддержку и сопровождение. По первичным затратам более менее ясно. Компания идет на них с пониманием и с оценкой их необходимости, но вот расходы на дальнейшую поддержку трудно предсказать, а тем временем их стоимость порой может превышать стоимость самого внедрения.
Во сколько же обходится обеспечение ИТ безопасности средней компании?
60 - 80 тыс USD ежегодно.
В эту сумму входит примерно: 10 сенсоров системы обнаружения/предотвращения вторжений IPS/IDS, пара-тройка сканеров безопасности на 500 IP и одна система SIM. Не так уж много и далеко не все что находится в хозяйстве рачительного безопасника.
Стоит ли безопасность этих денег? Конечно – Да. Это бесспорно, безоговорочно и обжалованию не подлежит!
Но никто не мешает нам оптимизировать эти расходы исходя из практического опыта обеспечения безопасности. Кроме того, мы попробуем решить вопрос по оптимизации и другой статьи затрат – затрат на внедрения новых систем.
Итак, стандарт рассмотрели, меры оценки эффективности выбрали, целями оптимизации задались
Разнообразие систем обеспечения безопасности и моновендороность
Давайте рассмотрим, о каких системах обеспечения безопасности идет речь, дабы понять масштаб вопроса.
На данный момент системы обеспечения информационной безопасности обычно относят к одной или нескольким следующим категориям:
  • Защита периметра (Firewalls).
  • Системы обнаружения/предотвращения вторжений (IDS/IPS) как на уровне сети (LAN , WIFI), так и серверов (HIPS).
  • Прокси и реверс — прокси.
  • Системы контент — фильтрации.
  • Система управления обновлениями рабочих станций и серверов.
  • Антивирусная защита рабочих станций и серверов.
  • Web- антивирус и почтовые антивирусы.
  • Обеспечение безопасного удаленного доступа (IPsec and SSL vpn’s).
  • Защита web приложений (WAF).
  • Аутентификация, авторизация и учет (AAA).
  • Резервное копирование и восстановление.
  • PKI инфраструктура.
  • Системы шифрования и обеспечения целостности.
  • Система сбора и анализа событий безопасности (SIM).
  • Сканеры уязвимостей (как внутри корпоративной сети, так и ее периметра).
  • Системы IDM (Identity Management).
  • Системы SSO (Single Sign On).
  • Системы RMS (Rights Management System).
  • Системы защиты от утечек информации (DLP).
  • Системы управления всем этим хозяйством включая системы корреляции.
Список приличный, не так ли? Как вы понимаете, об этом задумались не только мы, но и вендоры, что привело к первому важному вопросу нашей статьи: Моно или мульти вендорность?
Итак, рассмотрим все плюсы и минусы моновендорности.
Итак, первый оборот колеса безопасности- внедрение новых систем. Давайте взглянем на это с точки зрения указанных выше мер эффективности обеспечения безопасности. Для начала определим тройку, на мой взгляд, основных подходов к построению систем обеспечения ИТ безопасности.
  1. Внедрение сложных многокомпонентных систем с самого начала (построение безопасности с 0 при достаточном финансировании)
  2. Эволюционный подход: замена существующих систем ИТ безопасности мощным интегрированным решением Enterprise level
  3. Эволюционный подход с сохранением устаревших систем после внедрения новой и последующей их совместной эксплуатацией
Внедрение сложных многокомпонентных систем с самого начала
Достаточно популярный подход, который опирается на устоявшиеся мнения:
  • Зачем разводить зоопарк разных систем
  • Лучше купить сразу правильное Enterprise решение
  • Несерьезно для такой солидной компании как наша заниматься внедрением простеньких систем, у нас же есть хороший бюджет на безопасность (Этот аргумент уже не столь часто звучит в новых экономических реалиях)
Исходя из данных мнений плюсы такого подхода, а также его простота очевидны.
А вот, те потенциальные проблемы, которые за этим скрываются:
  • Невозможность правильной формулировки требований ввиду отсутствия опыта эксплуатации систем в существующей инфраструктуре компании и ее бизнес процессах.
  • Возложение ответственности на вендора , интегратора или консультанта за выбор системы и ее конфигурацию (которые де факто по букве контракта ее не несут)
  • Завышенные представления о системе
  • Потеря времени при внедрении систем безопасности и во время опытной эксплуатации, которые не учтены в предложениях по интеграции
  • Отсутствие учета будущих угроз при формировании требований к будущей системе обеспечения ИТ безопасности.
Ну а теперь вместо слов, применим нашу меру эффективности – снижение рисков:
Как видно из графика перед началом реализации некоего проекта была проведена оценка рисков и принято решение минимизировать риск, оцененный значением 30. А далее идут стандартные вехи многих проектов: принятие решения, подписание контракта по результатам тендера, начало внедрения, опытная и, наконец, продуктивная эксплуатация.
Как видно из графика, риски начинают значительно компенсироваться только после окончания опытной эксплуатации. А ведь только тендерная процедура, не говоря уже о внедрении и опытной эксплуатации, занимает более месяца, а то и двух. И все это время риски не только не минимизируются, но и растут с изменением характера угроз, появления новых, на минимизацию которых решение изначально не рассчитывалось.
Эволюционные подходы.
Теперь рассмотрим два других подхода, по сути являющиеся вариациями эволюционной модели с небольшими отличиями в финальной фазе реализации.
Что, собственно, дает эволюционный подход и что это такое применительно к системам обеспечения безопасности ? В первую очередь, это накопление опыта эксплуатации систем в конкретной компании и в конкретных бизнес процессах .
Это идеальный путь выработки требований к сложным системам.
Основные плюсы эволюционного подхода развития систем безопасности в компании :
  • Снижение рисков безопасности с первой минуты (ввиду использования простых решений , не требующих сложной интеграции)
  • Переоценка требований к системе и ее возможностей.
  • Выявление ошибочных решений при небольших вложениях
  • Накопление опыта эксплуатации данной системы безопасности
  • Обучение персонала
В обоих подходах общие достоинства и недостатки за исключением одного показателя – общей надежности систем обеспечения безопасности компании
Ну и наш график эффективности:

Легенда графика говорит об open-source решениях, но это скорее пример, так как в качестве простого решения обеспечения безопасности может, и часто выступает, просто недорогое решение.
Основное отличие данного графика от предыдущего, именно в предварительной и частичной минимизации рисков простой системой с последующей ее заменой Enterprise решением. Более того, после запуска основного (Enterprise) решения в продуктивную эксплуатацию для минимизации изменившихся, за время внедрения, рисков можно и нужно начинать внедрение новой системы снижающей возросшие риски.
Обучение персонала.
Ест один маленький момент, который я намеренно не раскрывал во всех трех подходах, но который очень важен для их финансовой эффективности. Это вопрос - обучение персонала.
Сложившаяся на данный момент практика обучения персонала после выполнения подрядчиком всех работ по установке и интеграции решения, на мой взгляд, требует переворота вверх тормашками. А именно, обучения персонала до начала всех работ и возможно даже до начала тендерной процедуры.
Это снимет следующие потенциальные проблемы
  • Проблема того, что персонал, которому предстоит работать с будущей системой, узнает о ее маленьких нюансах после установки
  • Неполная занятость и понимание персонала во время интеграционных работ (полностью полагаются на поставщика ) + рост дополнительных расходов на консультантов (а их время ой как дорого)
  • невозможность точной формулировки требований к системе и завышенные (или заниженные) представления о ней (а это частая ошибка еще на этапе тендера)
  • плохо учтены особенности эксплуатации системы
Итак ,система установлена и работает. Все обучены, деньги на интеграции сэкономлены , риски снижены – эффективность просто потрясающая … казалось бы все. А вот как часто мы задумываемся о надежности?
Надежность систем обеспечения безопасности
Одной из задач информационной безопасности как раз и является контроль надежности информационных систем компании – ответит мне подкованный читатель, - тут и BCP (Business Continuity Plan) и учения по восстановлению после сбоя.
Да это все так, но вот какова надежность самих систем обеспечения безопасности?
Некоторые постулаты ясны изначально:
  • Вероятность выхода из строя систем безопасности зависит от их сложности
  • Системы безопасности обязаны быть надежнее классических ИТ систем и ,соответственно , кроме стандартных мер обеспечения надежности нужно применять нестандартные.
Понимание других проблем приходит из опыта эксплуатации:
  • Проблемы, связанные с закрытостью и нетривиальностью систем безопасности.
  • Недостаточная проработка решения с точки зрения эксплуатации (особенно характерно для аплайнсов, для которых часто используется дешевая аппаратная платформа с отсутствием возможности быстрой ее замены в случае выхода из строя).
  • Проблемы, связанные с недостаточной безопасностью самих систем безопасности.
  • Системы резервного копирования не предусмотрены, либо их возможности сильно ограничены.
  • Отсутствие самодиагностики для некоторых важных компонентов систем обеспечения ИТ безопасности.
    Поскольку статья-то практическая, я не могу обойтись без примеров:
    • Системы IDS - не все из них способны понять что SPAN- сессия разобрана
    • Некоторые SIM не поднимают тревогу, что система не шлет события
    • Системы сканирования могут отказывать после очередного обновления и требовать для установки XP c 1 SP
    • Встроенные в системы управления средства резервного копирования не заслуживают никакой критики (нет резервирования системных таблиц БД)
    • Громоздкость сканеров уязвимостей и их сложность. Отсутствие встроенных функций калибровки сканеров уязвимости путем сканирование системы с заранее известными брешами в безопасности.
Как мы можем практически улучшить показатели надежности систем обеспечения безопасности?
Использованием простых однокомпонентных и устаревших систем, как дополнительное средство обеспечения надежности. Как видно из графика, в случае выхода из строя основной системы обеспечения безопасности, риски безопасности по-прежнему будут скомпенсированы устаревшей системой. Более того, если основная система будет восстановлена максимально быстро, устаревшая система скомпенсирует риски безопасности в полном объеме и падения общего уровня защищенности информации компании не произойдет.
Ну что ж, мы правильно внедрили высоконадежные решения безопасности. Учли все факторы и т.д., и т.п.
И наконец-то у нас долгожданное спокойствие?
Не тут то было. Наша компания, как положено для средней - крупной корпорации продолжает развиваться и … возникает необходимость внедрить новую ИТ систему.
Внедрение новых ИТ систем и безопасность.
А это влечет за собой как интеграцию новой системы в корпоративную среду с переоценкой рисков безопасности, так и выполнения данных работ внешним поставщиками с доступом к вашей инфраструктуре и, наконец, удаленная поддержка данной системы поставщиком
В быстро растущей компании этот процесс происходит непрерывно и нам надо преодолевать возникающие сложности. И какие же практические решения возникших сложностей?
  • Необходимо разработать детальные требования ИТ безопасности для новых систем и вносить его как приложения к контракту на поставку решения и интеграцию
  • Обязательно проводить аудит безопасности решения перед передачей его в коммерческую эксплуатацию
  • Неприменимость рассмотрения поставляемой систему во время аудита как BlackBox - это ведет к неминуемому снижению уровня информационной безопасности компании в целом.
Будем честны до конца, вот какие потенциальные проблемы у вас возникнут при применении вышеуказанных рекомендаций:

  • Нежелание поставщиков предоставлять информацию о внутренностях системы (а чаще и не знания ими этого)
  • Ориентация поставщика на функциональный результат без учета требований безопасности
  • Приготовьтесь к срыву сроков проекта

Итак, система внедрена, проверена и тут возникает необходимость ее удаленной поддержки.
Существующая практика – осуществление поддержки продуктивных систем компании поставщиками.
Достаточно серьезной проблемой безопасности в данном случае являться как само предоставление удаленного доступа к продуктивному оборудованию, так и контроль действий поставщика в момент проведения работ.
Классическое на данный момент решение VPN on demand с одновременной активацией аккаунта поддержки на обслуживаемой системе не позволяет на 100% контролировать действия поддержки и проводить разбирательства в случае аварии на продуктивной системе.
Рекомендуемое и уже используемое решение – это терминальный сервер с расширенными функциями мониторинга и логирования протоколов удаленного управления (RDP, SSH, X-Window). На данный момент существуют какEnterprise решения, так и возможность реализовать подобное решение на недорогих компонентах для применения его в достаточно крупных компаниях.
Ключевой фактор успеха в таком нелегком деле как обеспечение информационной безопасности это конечно люди.
Профессионализм сотрудников
Ключевой фактор успеха в таком нелегком деле как обеспечение информационной безопасности это конечно люди.
Как же обеспечить высокий уровень квалификации персонала, слаженность их действий и постоянный уровень готовности?
На мой взгляд, ответом на этот вопрос, будет требование того, чтобы группа, отвечающая за информационную безопасность, осуществляла эксплуатацию как можно большего количества систем обеспечения безопасности. Это позволит сотрудникам группы досконально знать все уровни защищаемых информационных систем, поддерживать технические навыки и знания в актуальном состоянии и, самое главное, давать выполнимые рекомендации.
Итог
Казалось бы, рекомендации, рассмотренные в данной статье, идут в разрез со всем тем, что предлагают вендоры на рынке и направлением движения рынка. Ведь последние слово индустрии это - Security as a Service, предоставляемыми лидерами отрасли. При помощи данного сервиса крупные вендоры готовы за вас развивать инфраструктуру, анализировать уязвимости, эксплуатировать ваши системы безопасности и даже расследовать инциденты. Да все это так. Но когда стоимость высококлассных специалистов родной страны опускается до стоимости технической поддержки из Индии, когда годовая стоимость поддержки простых систем безопасности у вендора стоит больше чем само решение, я думаю самое время пересмотреть сложившиеся тенденции.