Политика СТАРГРАДД в части обеспечения непредвзятости ИИ-Варвара

Настоящая Политика закрепляет основные принципы работы ИИ-ассистента «Варвара», основные внутренние процессы, влияющие на формирование ответов, условия проведения аудита системы формирования ответов, а также порядок привлечения к оказанию услуги по проведению аудита соответствующей аудиторской организации.

1. Общие положения

1.1. Настоящая Политика (далее — «Политика») ИП Стариков Н.В. (далее — «Исполнитель») закрепляет основные принципы работы ИИ-ассистента «Варвара» (далее — «ИИ-ассистент»), основные внутренние процессы, влияющие на формирование ответов, условия проведения аудита системы формирования ответов, а также порядок привлечения к оказанию услуги по проведению аудита соответствующей аудиторской организации.

2. Принципы работы ИИ-ассистента «Варвара»

2.1. Цель ИИ-ассистента – непредвзято предоставить пользователю полную и релевантную информацию в таком виде, в котором она поможет ему удобно и за минимальное время решить свою задачу.

2.2. Ответы ИИ-ассистента полностью формируются машинно-обученными алгоритмами, что делает невозможным ручное изменение порядка представления результатов и гарантирует непредвзятое ранжирование и представление данных, при условии отсутствия в алгоритмах правил, влияющих на непредвзятое ранжирование.

2.3. Чтобы дать наиболее релевантный ответ, ИИ-ассистент автоматически анализирует запрос, контекст диалога, историю взаимодействия пользователей, и многие другие факторы. Качество работы машинно-обучаемых алгоритмов контролируется по автоматически рассчитываемым метрикам.

2.4. Для машинного обучения алгоритмов используются автоматически собираемые данные о взаимодействии пользователей с ответами ИИ-ассистента и оценки специалистов – асессоров, которые вручную размечают варианты ответов. Оценки асессоров также используются для проверки качества сформированных алгоритмом ответов с точки зрения релевантности запросам. Беспристрастность асессоров гарантируется системой контролей, охватывающей их наем, обучение, инструкцию и инструменты работы. Инструкция асессоров разъясняет, как оценивается релевантность ответа запросу, и сформулирована таким образом, чтобы оценки были объективными. Для исключения влияния отдельных пристрастных оценок, оценки всегда производятся с перекрытием. Кроме того, оценки никогда не используются в ранжировании напрямую, а только для машинного обучения алгоритмов.

2.5. Все изменения системы формирования ответов проходят через внедрение алгоритмов, исключая ручное вмешательство. Все изменения наблюдаемы, за каждое установлена персональная ответственность, они автоматически проверяются метриками, построенными на основе оценок асессоров и данных о взаимодействии пользователей с ответами.

2.6. С помощью ИИ-ассистента можно получить информацию, собранную из огромного количества доступных для индексации источников. Полнота индексирования информации является важнейшим приоритетом. Для каждого типа источников индексирование информации идет единообразно. Проиндексированный контент может быть удален из результатов только, если страницы представляют из себя спам, могут нанести вред пользователю или нарушают применимое законодательство.

2.7. ИИ-ассистент стремится экономить время пользователей, предоставляя информацию в том виде, в котором ей будет удобнее всего воспользоваться. С помощью анализа данных о взаимодействии пользователей с ответами проверяется полезность отдельных ответов и диалога в целом. Формат и полнота представления информации определяются вероятностью решения задачи пользователя и типом представляемой информации и не зависят от конкретного источника информации.

3. Основные внутренние процессы Исполнителя, влияющие на формирование ответов ИИ-ассистента

(1) Управление изменениями информационных систем;

(2) Предоставление доступа к информационным системам;

(3) Идентификация и аутентификация пользователей информационных систем;

(4) Оценка с помощью асессоров, включая корректность установки признаков витальности ссылок по определенным категориям запросов;

(5) Обход и индексирование web-страниц;

(6) Управление обучением и внедрением алгоритмов формирования ответов;

(7) Выбор представления информации, в том числе данных партнеров;

(8) Применение мер защиты пользователей (баны, спам и антифрод);

(9) Мониторинг показателей качества работы ИИ-ассистента, в том числе принципов измерения профицита;

(10) Мониторинг соблюдения Политики партнерской интеграции и Условий партнерской интеграции;

(11) Учет и разбор жалоб пользователей на нерелевантные ответы и ранжирование и жалоб, связанных с осуществлением партнерской интеграции;

(12) Мониторинг использования данных Партнеров, полученных в рамках Партнерской интеграции, на предмет использования Исполнителем данных, передаваемых Партнерами только в целях Партнерской интеграции (обогащения ответов) либо в иных согласованных сторонами целях, предусмотренных условиями использования соответствующих сервисов.

4. Аудит системы формирования ответов

4.1. Для оценки эффективности внутренних процессов Исполнителя, направленных на обеспечение выдачи релевантных ответов, непредвзятого ранжирования и представления данных для любых сервисов, а также соблюдение принципов Партнерской интеграции при рассмотрении жалоб, связанных с ее осуществлением, проводится регулярный внешний аудит.

4.2. Принципы аудита

4.2.1. Проводится первоначальный аудит (по истечении шести месяцев с даты публикации первой редакции Политики) и далее ежегодный аудит эффективности контролей, указанных в п. 3 настоящей Политики.

4.2.2. В случае коллективного обращения нескольких Партнеров (2 партнера и более) не ранее, чем через 4 месяца после последнего аудита, может быть проведен внеплановый аудит эффективности контролей при наличии мотивированного обоснования для его проведения в части существенного отклонения деятельности Исполнителя от требований Политики партнерской интеграции и Условий партнерской интеграции. В случае, если указанные Партнерами обстоятельства не будут подтверждены таким аудитом, все, связанные с проведением внепланового аудита расходы подлежат возмещению Партнерами, инициировавшими проведение аудита. При этом Партнеры, по инициативе которых будет проведен внеплановый аудит, обязуются предварительно перечислить на расчетный счет Исполнителя сумму, равную стоимости услуг по такому аудиту. Указанная сумма подлежит возврату Исполнителем Партнерам только в случае, если указанные Партнерами обстоятельства будут подтверждены таким аудитом.

Партнер вправе предложить для проведения внепланового аудита кандидатуру иного аудитора, соответствующего требованиям, указанным в п. 4.6.1 настоящей Политики при отсутствии конфликта интересов соответствующего аудитора.

4.2.3. Исполнитель предоставляет аудитору всю запрошенную информацию, необходимую для проведения аудита в соответствии с настоящей Политикой.

4.3. Задачи первоначального аудита

(1) Изучение процессов и алгоритмов формирования ответов, включая: проведение интервью, анализ документации и функциональности, организацию демонстрационных сессий;

(2) Идентификация и оценка рисков процесса, связанных с искажением результатов в сторону искажения единообразных правил ранжирования (исключения из результатов или снижения позиции);

(3) Идентификация и оценка наличия/эффективности ключевых контролей, обеспечивающих единый подход на всех этапах: от сбора данных с сайтов и индексирования до ранжирования и формирования ответов;

(4) Идентификация и оценка эффективности общих ИТ-контролей в связанных информационных системах, включая: управление изменениями и разработкой, управление доступом, резервное копирование, управление событиями информационной безопасности;

(5) Идентификация и оценка рисков процесса, связанных с соблюдением принципов партнерской интеграции при рассмотрении жалоб, касающихся партнерской интеграции;

(6) Тестирование эффективности контролей процессов, связанных с соблюдением требований Политики партнерской интеграции и Условий доступа к партнерской интеграции, в том числе (но не ограничиваясь указанным) на предмет использования Исполнителем данных, передаваемых Партнерами только в целях Партнерской интеграции (обогащения ответов) либо в иных согласованных сторонами целях, предусмотренных условиями использования соответствующих сервисов.

4.4. Задачи ежегодного аудита

(1) Тестирование эффективности ранее идентифицированных контролей;

(2) Идентификация и оценка возможных новых, не охваченных действующими контролями, рисков процесса, связанных с искажением результатов;

(3) Заключение о соблюдении принципов Партнерской интеграции при рассмотрении отдельных обоснованных жалоб, касающихся партнерской интеграции, которые были переданы аудитору для оценки в рамках ежегодного аудита.

При этом Партнер вправе направить через форму обратной связи по адресу: partner-features@stargrd.ru требование включить его обоснованную жалобу по итогам ее рассмотрения в перечень обязательных для проверки аудитором. Исполнитель сообщает Партнеру уникальный номер его жалобы, информация о котором будет отражена в кратком и подробном ежегодном отчете аудитора.

(4) Тестирование эффективности контролей, направленных на соблюдения процессов, связанных с соблюдением требований Политики партнерской интеграции и Условий доступа к партнерской интеграции, в том числе (но не ограничиваясь указанным) на предмет использования Исполнителем данных, передаваемых Партнерами, только в целях Партнерской интеграции (обогащения ответов) либо в иных согласованных сторонами целях, предусмотренных условиями использования соответствующих сервисов.

4.5. Подход к публикации результатов аудита

(1) Исполнитель формирует две версии отчетов о результатах первоначального и ежегодных аудитов: подробный отчет и краткий отчет.

(2) Подробный отчет является максимально подробным изложением доступных Исполнителю результатов работы аудитора, таких как описание матрицы контролей и методов и результатов их тестирования, при этом подробный отчет не содержит описание конкретных алгоритмов, формул, метрик ранжирования и их содержание.

(3) Краткий отчет является сокращенной версией подробного отчета, содержащей все основные выводы аудитора, однако не включает сведения, составляющие коммерческую тайну Исполнителя, персональные данные сотрудников Исполнителя и другую конфиденциальную информацию.

(4) Подробные отчеты Исполнитель передает в уполномоченные органы.

(5) Краткие отчеты Исполнитель публикует на своем сайте.

4.6. Выбор и оплата услуг аудитора

4.6.1. Исполнитель выбирает аудитора из числа следующих аудиторских и консалтинговых компаний: Deloitte, KPMG, E&Y, PwC, AT Kearny, Detecon, Accenture, McKinsey, Boston Consulting Group, Bain & Company. Исполнитель оплачивает услуги аудитора, за исключением случаев, указанных в п. 4.2.2.

5. Заключительные положения

5.1. Контроль за соблюдением требований Политики осуществляют ответственные сотрудники Исполнителя в рамках своих полномочий. Ответственные сотрудники отвечают за актуальность положений Политики и при необходимости инициируют внесение изменений в Политику.

5.2. Нарушение настоящей Политики может являться основанием для применения мер дисциплинарной ответственности в соответствии с локальными нормативными актами и трудовыми договорами соответствующих работников.