Чат-боты получают конфиденциальную информацию о пользователях
Недавнее исследование проведенное учеными из ETH Zurich, озадачило индустрию технологий и IT. По результатам исследования стало ясно, что чат-боты, такие, как ChatGPT, способны получать значительные объемы конфиденциальной информации о пользователях, даже в процессе повседневных разговоров.
Исследователи подчеркнули, что алгоритмы, на которых базируются современные чат-боты, обучаются на широком спектре веб-контента, что позволяет им точно выводить даже наиболее скрытую информацию о пользователях, включая их расу, местоположение, род занятий и другие личные детали. Профессор информатики Мартин Вечев, возглавлявший исследование, выразил озабоченность, заявив, что решить эту проблему весьма трудно.
Исследователи предупредили об опасности злоупотребления этой способностью чат-ботов мошенниками. Согласно исследованию, опубликованному на портале WIRED, мошенники могут использовать полученную информацию для выманивания конфиденциальных данных у невинных пользователей. Также было предположено, что компании могут использовать эту информацию для создания детальных профилей пользователей для целей рекламы.
Компании, включая OpenAI, Google, Meta и Anthropic, чьи языковые модели использовались в исследовании, были предупреждены об этой проблеме. Нико Феликс, представитель OpenAI, заявил о том, что компания прилагает усилия по защите личной информации пользователей. В то же время Anthropic ссылается на свою политику конфиденциальности, заявляя, что они не собирают и не продают личные данные.
Исследователи провели тестирование на текстах из Reddit, чтобы демонстрировать способность различных языковых моделей выводить личную информацию. Сайт LLM-Privacy.org позволяет пользователям проверить свою способность сравнивать свои прогнозы с прогнозами различных языковых моделей, включая GPT-4 от OpenAI, Llama 2 от Meta и PaLM от Google.
Эксперты в области машинного обучения подчеркивают, что это явление не ново и было обнаружено в других моделях. Тейлор Берг-Киркпатрик из Калифорнийского университета в Сан-Диего отмечает, что широкая доступность таких моделей создает угрозу приватности, поскольку прогнозирование личных атрибутов становится легко доступным для широкого круга лиц.
Это исследование вызывает серьезные вопросы о безопасности данных и конфиденциальности пользователей в контексте быстрого развития и использования чат-ботов в различных сферах, включая коммерцию и общение. Отрасль технологий должна сосредоточиться на поиске решений для обеспечения безопасности личных данных и защиты приватности пользователей.