Компиляция атакующего ИИ

Основные рекомендации

Существуют некоторые конкретные ключевые слова, которые запускают определенные действия из GPTS. Вот некоторые из них, чтобы максимально эффективно использовать их:

«Извлечь»: используется для извлечения некоторой информации, имеющейся в знаниях.
«На основе ваших знаний»: используется для извлечения некоторой информации, имеющейся в знаниях.
«Генерировать»: используется для запуска интерпретатора кода. Тщательно подобранный список полезных ресурсов, посвященных наступательному ИИ.

## 📁 Содержание 📁
- [🚫 Злоупотребление 🚫](#-злоупотребление-)
  - [🧠 Состязательное машинное обучение 🧠](#-adversarial-machine-learning-)
    - [⚡ Атаки ⚡](#-атаки-)
      - [🔒 Извлечение 🔒](#-извлечение-)
        - [⚠️ Ограничения ⚠️](#️-ограничения-️)
        - [🛡️ Защитные действия 🛡️](#️-защитные-действия-️)
        - [🔗 Полезные ссылки 🔗](#-полезные-ссылки-)
      - [⬅️ Инверсия (или вывод) ⬅️](#️-инверсия-или-вывод-️)
        - [🛡️ Защитные действия 🛡️](#️-защитные-действия-️-1)
        - [🔗 Полезные ссылки 🔗](#-полезные-ссылки--1)
      - [💉 Отравление 💉](#-отравление-)
        - [🔓 Бэкдоры 🔓](#-бэкдоры-)
        - [🛡️ Защитные действия 🛡️](#️-защитные-действия-️-2)
        - [🔗 Полезные ссылки 🔗](#-полезные-ссылки--2)
      - [🏃‍♂️ Уклонение 🏃‍♂️](#️-уклонение-️)
        - [🛡️ Защитные действия 🛡️](#️-защитные-действия-️-3)
        - [🔗 Полезные ссылки 🔗](#-полезные-ссылки--3)
    - [🛠️ Инструменты 🛠️](#️-инструменты-️)
        - [ИСКУССТВО](#искусство)
        - [Cleverhans](#cleverhans)
- [🔧 Использовать 🔧](#-использовать-)
  - [🕵️‍♂️ Пентестинг 🕵️‍♂️](#️️-пентестинг-️️)
  - [🦠 Вредоносное ПО 🦠](#-вредоносное ПО-)
  - [🗺️ OSINT 🗺️](#️osint-️)
  - [📧 Фишинг 📧](#фишинг-)
  - [👨‍🎤 Генеративный ИИ 👨‍🎤](#-generative-ai-)
    - [🔊 Аудио 🔊](#-audio-)
      - [🛠️ Инструменты 🛠️](#️-инструменты-️-1)
      - [💡 Приложения 💡](#-приложения-)
      - [🔎 Обнаружение 🔎](#-обнаружение-)
    - [📷 Изображение 📷](#-изображение-)
      - [🛠️ Инструменты 🛠️](#️-инструменты-️-2)
      - [💡 Приложения 💡](#-приложения--1)
      - [🔎 Обнаружение 🔎](#-обнаружение--1)
    - [🎥 Видео 🎥](#-видео-)
      - [🛠️ Инструменты 🛠️](#️-инструменты-️-3)
      - [💡 Приложения 💡](#-приложения--2)
      - [🔎 Обнаружение 🔎](#-обнаружение--2)
    - [📄 Текст 📄](#-текст-)
      - [🛠️ Инструменты 🛠️](#️-инструменты-️-4)
      - [🔎 Обнаружение 🔎](#-обнаружение--3)
      - [💡 Приложения 💡](#-приложения--3)
  - [📚 Разное 📚](#-разное-)
- [📊 Опросы 📊](#-опросы-)
- [🗣 Участники 🗣](#-участники-)
- [©️ Лицензия ©️](#️-лицензия-️)

🚫 Злоупотребление 🚫

Использование уязвимостей моделей ИИ.

🧠 Состязательное машинное обучение 🧠

Состязательное машинное обучение отвечает за оценку их слабых сторон и предоставление контрмер.

⚡ Атаки ⚡

Он организован в четыре типа атак: извлечение, инверсия, отравление и уклонение.

🔒 Извлечение 🔒

Он пытается украсть параметры и гиперпараметры модели, делая запросы, которые максимизируют извлечение информации.

В зависимости от знания модели противника могут быть выполнены атаки по принципу «белого ящика» и «черного ящика».

В простейшем случае «белого ящика» (когда злоумышленник имеет полное знание модели, например, сигмоидальной функции) можно создать систему линейных уравнений, которую можно легко решить.

В общем случае, когда недостаточно знаний о модели, используется замещающая модель. Эта модель обучается с помощью запросов, сделанных к исходной модели, чтобы имитировать ту же функциональность, что и исходная.

⚠️ Ограничения ⚠️

Обучение замещающей модели во многих случаях эквивалентно обучению модели с нуля.
Очень интенсивные вычисления.
У злоумышленника есть ограничения на количество запросов до его обнаружения.

🛡️ Защитные действия 🛡️

Округление выходных значений.
Использование дифференциальной конфиденциальности.
Использование ансамблей.
Использование специфических защит

🔗 Полезные ссылки 🔗

Кража моделей машинного обучения с помощью API прогнозирования
Кража гиперпараметров в машинном обучении
Поддельные сети: кража функциональности моделей черного ящика
Предупреждение об извлечении модели в парадигме MLaaS
Копия CNN: Кража знаний путем убеждения признания с помощью случайных немаркированных данных
Отравление прогнозов: к защите от атак с кражей моделей DNN
Кража нейронных сетей с помощью временных побочных каналов
Атаки с кражей моделей против нейронных сетей с индуктивными графами
Высокая точность и извлечение нейронных сетей
Отравление обучающих наборов данных в масштабе Интернета — это практично
Криптоаналитическое извлечение моделей нейронных сетей с полиномиальным временем
Атаки отравления, специфичные для подсказок, на генеративные модели преобразования текста в изображение
Awesome Data Poisoning And Backdoor Attacks: тщательно подобранный список статей и ресурсов, связанных с отравлением данных, атаками через бэкдоры и защитой от них.
BackdoorBox: набор инструментов Python с открытым исходным кодом для бэкдор-атак и защиты.
Кража части модели производственного языка

⬅️ Инверсия (или вывод) ⬅️

Они предназначены для изменения направления информационного потока модели машинного обучения.

Они позволяют злоумышленнику получить сведения о модели, которые явно не предназначались для распространения.

Они позволяют узнать обучающие данные или информацию как статистические свойства модели.

Возможны три типа:

Атака на основе вывода о принадлежности (MIA): злоумышленник пытается определить, использовался ли образец в рамках обучения.
Атака на основе вывода свойств (PIA): цель злоумышленника — извлечь статистические свойства, которые не были явно закодированы как признаки на этапе обучения.
Реконструкция: Злоумышленник пытается реконструировать один или несколько образцов из обучающего набора и/или их соответствующие метки. Также называется инверсией.

🛡️ Защитные действия 🛡️

Использование передовой криптографии. Контрмеры включают дифференциальную конфиденциальность, гомоморфную криптографию и безопасные многосторонние вычисления.
Использование методов регуляризации, таких как Dropout из-за связи между переобучением и конфиденциальностью.
Сжатие модели было предложено в качестве защиты от атак реконструкции.

🔗 Полезные ссылки 🔗

💉 Отравление 💉

Их цель — испортить обучающий набор, заставив модель машинного обучения снизить свою точность.

Эту атаку трудно обнаружить при ее реализации на обучающих данных, поскольку она может распространяться между различными моделями, использующими одни и те же обучающие данные.

Противник стремится уничтожить доступность модели, изменяя границу принятия решений и, как следствие, производя неверные прогнозы или создавая бэкдор в модели. В последнем случае модель ведет себя правильно (возвращая желаемые прогнозы) в большинстве случаев, за исключением определенных входных данных, специально созданных противником, которые производят нежелательные результаты. Противник может манипулировать результатами прогнозов и запускать будущие атаки.

🔓 Бэкдоры 🔓

BadNets — это простейший тип бэкдора в модели машинного обучения. Более того, BadNets могут сохраняться в модели, даже если они снова переобучаются для другой задачи, чем исходная модель (перенос обучения).

Важно отметить, что публичные предварительно обученные модели могут содержать бэкдоры.

🛡️ Защитные действия 🛡️

Обнаружение зараженных данных, а также использование средств их очистки.
Надежные методы обучения.
Специфические средства защиты.

🔗 Полезные ссылки 🔗

Атаки отравления против опорных векторных машин
Целевые атаки через бэкдоры на системы глубокого обучения с использованием отравления данных
Троянская атака на нейронные сети
Тонкая обрезка: защита от атак с использованием бэкдоров на глубокие нейронные сети
Ядовитые лягушки! Целевые атаки с использованием чистых отравляющих веществ на нейронные сети
Спектральные сигнатуры в атаках через бэкдор
Скрытые атаки с использованием бэкдора на глубокие нейронные сети
Regula Sub-rosa: Скрытые атаки с использованием бэкдора на глубокие нейронные сети
Атаки через скрытые триггеры
Переносимые атаки отравления чистой меткой на глубокие нейронные сети
TABOR: Высокоточный подход к проверке и восстановлению троянских бэкдоров в системах ИИ
К отравлению алгоритмов глубокого обучения с помощью оптимизации обратного градиента
Когда машинное обучение терпит неудачу? Обобщенная переносимость для атак уклонения и отравления
Сертифицированные средства защиты от атак отравления данных
Атака с динамическим бэкдором, учитывающая ввод данных
Как создать бэкдор для федеративного обучения
Внедрение необнаруживаемых бэкдоров в модели машинного обучения
Обмануть ИИ!: Хакеры могут использовать бэкдоры, чтобы отравить обучающие данные и заставить модель ИИ неправильно классифицировать изображения. Узнайте, как исследователи IBM могут определить, когда данные были отравлены, а затем угадайте, какие бэкдоры были скрыты в этих наборах данных. Сможете ли вы угадать бэкдор?

🏃‍♂️ Уклонение 🏃‍♂️

Злоумышленник добавляет небольшое возмущение (в виде шума) на вход модели машинного обучения, чтобы заставить ее классифицировать неправильно (пример злоумышленника).

Они похожи на атаки отравления, но их главное отличие состоит в том, что атаки уклонения пытаются использовать слабости модели на этапе вывода.

Цель противника — сделать так, чтобы примеры противника были незаметны для человека.

В зависимости от желаемого противником результата могут быть выполнены два типа атаки:

Целенаправленный: цель злоумышленника — получить прогноз по своему выбору.
Нецелевой: злоумышленник намерен добиться неправильной классификации.

Наиболее распространенными атаками являются атаки белого ящика:

🛡️ Защитные действия 🛡️

Состязательное обучение, которое заключается в создании состязательных примеров во время обучения, чтобы позволить модели изучить особенности состязательных примеров, что делает модель более устойчивой к этому типу атак.
Преобразования входных данных.
Градиентное маскирование/регуляризация. Не очень эффективно.
Слабая защита.
Защита от быстрых инъекций: Все практические и предлагаемые защиты от быстрых инъекций.
Lakera PINT Benchmark: Тест Prompt Injection Test (PINT) обеспечивает нейтральный способ оценки производительности системы обнаружения быстрых инъекций, такой как Lakera Guard, не полагаясь на известные общедоступные наборы данных, которые эти инструменты могут использовать для оптимизации производительности оценки.
Devil's Inference: Метод состязательной оценки модели Phi-3 Instruct путем наблюдения за распределением внимания по ее головам при воздействии определенных входных данных. Этот подход побуждает модель принять «дьявольский образ мышления», что позволяет ей генерировать выходные данные агрессивного характера.

🔗 Полезные ссылки 🔗

🛠️ Инструменты 🛠️

Имя	Тип	Поддерживаемые алгоритмы	Поддерживаемые типы атак	Атака/Защита	Поддерживаемые фреймворки
Cleverhans	Изображение	Глубокое обучение	Уклонение	Атака	Tensorflow, Keras, JAX
Foolbox	Изображение	Глубокое обучение	Уклонение	Атака	Tensorflow, PyTorch, JAX
ART	Любой тип (изображение, табличные данные, аудио,...)	Глубокое обучение, SVM, LR и т. д.	Любой (извлечение, вывод, отравление, уклонение)	Оба	Tensorflow, Keras, Pytorch, Scikit Learn
TextAttack	Текст	Глубокое обучение	Уклонение	Атака	Keras, HuggingFace
Advertorch	Изображение	Глубокое обучение	Уклонение	Оба	---
AdvBox	Изображение	Глубокое обучение	Уклонение	Оба	PyTorch, Tensorflow, MxNet
DeepRobust	Изображение, график	Глубокое обучение	Уклонение	Оба	PyTorch
Контрподход	Любой	Любой	Уклонение	Атака	---
Примеры состязательного аудио	Аудио	DeepSpeech	Уклонение	Атака	---

ИСКУССТВО

Adversarial Robustness Toolbox, сокращенно ART, представляет собой библиотеку состязательного машинного обучения с открытым исходным кодом для тестирования надежности моделей машинного обучения.

Он разработан на Python и реализует атаки и защиту, основанные на извлечении, инверсии, отравлении и уклонении.

ART поддерживает самые популярные фреймворки: Tensorflow, Keras, PyTorch, MxNet, ScikitLearn и многие другие.

Он не ограничивается использованием моделей, использующих изображения в качестве входных данных, но также поддерживает другие типы данных, такие как аудио, видео, табличные данные и т. д.

Семинар по изучению состязательного машинного обучения с помощью ART 🇪🇸

Клеверханс

Cleverhans — это библиотека для проведения атак с обходом блокировок и тестирования надежности модели глубокого обучения на моделях изображений.

Он разработан на Python и интегрируется с фреймворками Tensorflow, Torch и JAX.

Он реализует многочисленные атаки, такие как L-BFGS, FGSM, JSMA, C&W и другие.

🔧 Используйте 🔧

Использование ИИ для выполнения вредоносной задачи и усиления классических атак.

🕵️‍♂️ Пентестинг 🕵️‍♂️

GyoiThon: Инструмент для тестирования на проникновение нового поколения, инструмент для сбора разведданных для веб-сервера.
Deep Exploit: Полностью автоматический инструмент для тестирования на проникновение с использованием глубокого обучения с подкреплением.
AutoPentest-DRL: Автоматизированное тестирование на проникновение с использованием глубокого обучения с подкреплением.
DeepGenerator: Полностью автоматическая генерация кодов инъекций для оценки веб-приложений с использованием генетического алгоритма и генеративно-состязательных сетей.
Eyeballer: Eyeballer предназначен для масштабных сетевых тестов на проникновение, где вам нужно найти «интересные» цели среди огромного набора веб-хостов.
Nebula: помощник этического хакинга на базе искусственного интеллекта.
Команды агентов LLM могут эксплуатировать уязвимости нулевого дня

🦠 Вредоносное ПО 🦠

DeepLocker: Сокрытие целевых атак с помощью взлома замков на основе ИИ, IBM Labs на BH.
Обзор искусственного интеллекта, используемого во вредоносном ПО: тщательно отобранный список ресурсов по вредоносному ПО на основе ИИ.
DeepObfusCode: Обфускация исходного кода с помощью сетей «последовательность-последовательность».
AutoCAT: Обучение с подкреплением для автоматизированного исследования атак с синхронизацией кэширования.
БОТНЕТ НА ОСНОВЕ ИИ: Теоретико-игровой подход к защите от атак ботнетов на основе ИИ.
SECML_Malware: библиотека Python для создания состязательных атак против детекторов вредоносного ПО Windows.
Transcendent-release: Использование конформной оценки для обнаружения смещения концепций, влияющего на обнаружение вредоносных программ.

🗺️ OSINT 🗺️

SNAP_R: Автоматически создавать фишинговые посты в социальных сетях.
SpyScrap: SpyScrap объединяет методы распознавания лиц для фильтрации результатов и использует обработку естественного языка для получения важных сущностей с веб-сайта, на котором появляется пользователь.

📧 Фишинг 📧

DeepDGA: Реализация DeepDGA: генерация и обнаружение доменов, настроенных на состязательность.

🕵 Разведка угроз 🕵

От песков до особняков: обеспечение автоматического создания кибератак полного жизненного цикла с помощью LLM

👨‍🎤 Генеративный ИИ 👨‍🎤

🔊 Аудио 🔊

🛠️ Инструменты 🛠️

deep-voice-conversion: Глубокие нейронные сети для преобразования голоса (передачи стиля голоса) в Tensorflow.
tacotron: реализация TensorFlow синтеза речи Tacotron от Google с предварительно обученной моделью (неофициально).
Real-Time-Voice-Cloning: Клонируйте голос за 5 секунд, чтобы сгенерировать произвольную речь в реальном времени.
mimic2: движок преобразования текста в речь на основе архитектуры Tacotron, изначально реализованный Кейтом Ито.
Neural-Voice-Cloning-with-Few-Samples: Реализация нейронного клонирования голоса с несколькими образцами. Исследовательская работа от Baidu.
Vall-E: неофициальная реализация PyTorch аудио LM VALL-E.
voice-changer: Изменение голоса в реальном времени.
Retrieval-based-Voice-Conversion-WebUI: Простая в использовании структура преобразования голоса на основе VITS.
Audiocraft: Audiocraft — это библиотека для обработки и генерации звука с глубоким обучением. Она включает в себя современный аудиокомпрессор/токенизатор EnCodec, а также MusicGen — простой и управляемый LM-генератор музыки с текстовым и мелодическим обусловливанием.
VALL-EX: реализация с открытым исходным кодом модели TTS с нулевым срабатыванием VALL-E X от Microsoft.
OpenVoice: Мгновенное клонирование голоса с помощью MyShell.
MeloTTS: Высококачественная многоязычная библиотека преобразования текста в речь от MyShell.ai. Поддерживает английский, испанский, французский, китайский, японский и корейский языки.
VoiceCraft: Редактирование речи с нуля и преобразование текста в речь в реальных условиях.
Parler-TTS: Библиотека вывода и обучения для высококачественных моделей TTS.
ChatTTS: Генеративная речевая модель для ежедневного диалога.

💡 Приложения 💡

Lip2Wav: Генерация высококачественной речи только с помощью движений губ.
AudioLDM: Генерация текста в аудио с использованием моделей скрытой диффузии
deepvoice3_pytorch: реализация PyTorch моделей синтеза текста в речь на основе сверточных нейронных сетей.
🎸 Riffusion: Стабильная диффузия для генерации музыки в реальном времени.
whisper.cpp: Порт модели Whisper от OpenAI на C/C++.
TTS: 🐸💬 - набор инструментов глубокого обучения для преобразования текста в речь, проверенный в ходе исследований и производства.
YourTTS: На пути к многоканальному TTS с нулевым качеством и преобразованию голоса с нулевым качеством для всех.
TorToiSe: Многоголосая система TTS, обученная с упором на качество.
DiffSinger: Синтез вокального голоса с помощью механизма поверхностной диффузии (SVS и TTS).
Вокодер WaveNet: Реализация вокодера WaveNet, который может генерировать высококачественные необработанные образцы речи, обусловленные лингвистическими или акустическими особенностями.
Deepvoice3_pytorch: реализация PyTorch моделей синтеза текста в речь на основе сверточных нейронных сетей.
eSpeak NG Text-to-Speech: eSpeak NG — это синтезатор речи с открытым исходным кодом, который поддерживает более ста языков и акцентов.
RealChar: Создавайте, настраивайте и общайтесь с вашим персонажем/компаньоном ИИ в реальном времени (все в одной кодовой базе!). Общайтесь с ИИ везде (на мобильном устройстве, в сети и на терминале) с помощью LLM OpenAI GPT3.5/4, Anthropic Claude2, Chroma Vector DB, Whisper Speech2Text, ElevenLabs Text2Speech.
Нейронное клонирование голоса с помощью нескольких образцов
NAUTILUS: Универсальная система клонирования голоса
Учимся бегло говорить на иностранном языке: многоязычный синтез речи и кросс-языковое клонирование голоса
Когда добро становится злом: распознавание нажатий клавиш с помощью умных часов
KeyListener: распознавание нажатий клавиш на QWERTY-клавиатуре сенсорного экрана с помощью акустических сигналов
Этого голоса не существует: о синтезе голоса, аудиоподделках и их обнаружении
AudioSep: Разделяйте все, что вы описываете.
stable-audio-tools: Генеративные модели для условной генерации звука.
GPT-SoVITS-WebUI: голосовые данные длительностью 1 мин также можно использовать для обучения хорошей модели TTS! (клонирование голоса с несколькими кадрами).
Hybrid-Net: Разделение источников звука в реальном времени, генерация текстов песен, аккордов, ритма.

🔎 Обнаружение 🔎

📷 Изображение 📷

🛠️ Инструменты 🛠️

StyleGAN: StyleGAN — официальная реализация TensorFlow.
StyleGAN2: StyleGAN2 — официальная реализация TensorFlow.
stylegan2-ada-pytorch: StyleGAN2-ADA — официальная реализация PyTorch.
StyleGAN-nada: адаптация генераторов изображений под управлением CLIP.
StyleGAN3: Официальная реализация StyleGAN3 на PyTorch.
Imaginaire: Imaginaire — это библиотека Pytorch, которая содержит оптимизированную реализацию нескольких методов синтеза изображений и видео, разработанных в NVIDIA.
ffhq-dataset: Набор данных Flickr-Faces-HQ (FFHQ).
DALLE2-pytorch: Реализация DALL-E 2, обновленной нейронной сети синтеза текста в изображение от OpenAI, в Pytorch.
ImaginAIry: Воображаемые ИИ изображения. Генерация стабильных диффузионных изображений на языке Python.
Lama Cleaner: Инструмент для закрашивания изображений на основе модели SOTA AI. Удалите все нежелательные объекты, дефекты, людей с ваших изображений или сотрите и замените (на основе стабильной диффузии) любую вещь на ваших изображениях.
Invertible-Image-Rescaling: Это реализация PyTorch для paper: Invertible Image Rescaling.
DifFace: Слепое восстановление лица с помощью сокращения рассеянных ошибок (PyTorch).
CodeFormer: На пути к надежному слепому восстановлению лица с помощью преобразователя поиска в кодовой книге.
Пользовательское распространение: многоконцептуальная настройка распространения текста в изображение.
Диффузеры: 🤗 Диффузоры: Современные модели диффузии для генерации изображений и звука в PyTorch.
Стабильная диффузия: Синтез изображений высокого разрешения с моделями скрытой диффузии.
InvokeAI: InvokeAI — ведущий креативный движок для моделей Stable Diffusion, позволяющий профессионалам, художникам и энтузиастам создавать и создавать визуальные медиа с использованием новейших технологий на основе ИИ. Решение предлагает ведущий в отрасли WebUI, поддерживает использование терминала через CLI и служит основой для множества коммерческих продуктов.
Стабильный веб-интерфейс диффузии: Стабильный веб-интерфейс диффузии.
Stable Diffusion Infinity: Перерисовка с помощью Stable Diffusion на бесконечном холсте.
Быстрая стабильная диффузия: быстрая-стабильная-диффузия + DreamBooth.
GET3D: Генеративная модель высококачественных 3D-текстурированных форм, полученных из изображений.
Awesome AI Art Image Synthesis: список потрясающих инструментов, идей, инструментов для проектирования подсказок, совместных проектов, моделей и помощников для дизайнеров подсказок, играющих с aiArt и синтезом изображений. Охватывает Dalle2, MidJourney, StableDiffusion и инструменты с открытым исходным кодом.
Стабильная диффузия: Модель скрытой диффузии текста в изображение.
Weather Diffusion: Код для «Восстановления зрения в неблагоприятных погодных условиях с помощью моделей шумоподавления на основе патчей».
DF-GAN: Простая и эффективная основа для синтеза текста в изображение.
Dall-E Playground: Площадка для генерации изображений из любой текстовой подсказки с использованием Stable Diffusion (ранее: с использованием DALL-E Mini).
MM-CelebA-HQ-Dataset: Крупномасштабный набор данных изображений лиц, который позволяет генерировать текст в изображение, манипулировать изображениями с помощью текста, генерировать эскизы в изображения, GAN для генерации и редактирования лиц, подписи к изображениям и VQA.
Deep Daze: Простой инструмент командной строки для генерации текста в изображение с использованием CLIP и Siren (неявная нейронная сеть представления) от OpenAI.
StyleMapGAN: Использование пространственных измерений скрытых данных в GAN для редактирования изображений в реальном времени.
Kandinsky-2: Многоязычная модель скрытой диффузии text2image.
DragGAN: Интерактивная точечная манипуляция на генеративном многообразии изображений.
Segment Anything: Репозиторий предоставляет код для запуска вывода с помощью модели SegmentAnything (SAM), ссылки для загрузки контрольных точек обученной модели и примеры блокнотов, которые показывают, как использовать модель.
Segment Anything 2: Репозиторий предоставляет код для запуска вывода с помощью Meta Segment Anything Model 2 (SAM 2), ссылки для загрузки контрольных точек обученной модели и примеры блокнотов, которые показывают, как использовать модель.
MobileSAM: Это официальный код для проекта MobileSAM, который делает SAM легким для мобильных приложений и не только!
FastSAM: быстрая сегментация чего угодно
Infinigen: Бесконечные фотореалистичные миры с использованием процедурной генерации.
ДАЛЛ·Е 3
StreamDiffusion: решение конвейерного уровня для интерактивной генерации в реальном времени.
AnyDoor: Настройка изображения на уровне объекта с нуля.
DiT: Масштабируемые модели диффузии с трансформаторами.
BrushNet: готовая к использованию модель закрашивания изображений с декомпозированной двухветвевой диффузией.
OOTDiffusion: Скрытая диффузия на основе слияния для контролируемой виртуальной примерки.
VAR: Официальная реализация "Визуального авторегрессионного моделирования: масштабируемая генерация изображений с помощью прогнозирования следующего масштаба".
Imagine Flash: Ускорение моделей диффузии эму с помощью обратной дистилляции

💡 Приложения 💡

ArtLine: Проект на основе глубокого обучения для создания портретов в стиле штрихового искусства.
Depix: Восстанавливает пароли из пикселизированных снимков экрана.
Возвращаем старые фотографии к жизни: Восстановление старых фотографий (официальная реализация PyTorch).
Rewriting: Интерактивный инструмент для прямого редактирования правил GAN для синтеза сцен с добавленными, удаленными или измененными объектами. Измените StyleGANv2, чтобы сделать экстравагантные брови или лошадей в шляпах.
Fawkes: Инструмент для сохранения конфиденциальности в системах распознавания лиц.
Pulse: Самостоятельная передискретизация фотографий с помощью скрытого пространства. Исследование генеративных моделей.
HiDT: Официальный репозиторий для статьи «Дневной перевод высокого разрешения без доменных меток».
3D Photo Inpainting: 3D-фотография с использованием контекстно-зависимой многослойной глубинной зарисовки.
SteganoGAN: SteganoGAN — это инструмент для создания стеганографических изображений с использованием состязательного обучения.
Stylegan-T: Раскрытие возможностей GAN для быстрого крупномасштабного синтеза текста в изображение.
MegaPortraits: мегапиксельные нейронные аватары головы, сделанные один раз.
eg3d: Эффективные 3D-генеративные состязательные сети с учетом геометрии.
TediGAN: Реализация Pytorch для TediGAN: генерация и обработка разнообразных изображений лиц с помощью текста.
DALLE-pytorch: Реализация/репликация DALL-E, преобразователя текста в изображение от OpenAI, в Pytorch.
StyleNeRF: Это реализация с открытым исходным кодом статьи ICLR2022 «StyleNeRF: 3D-генератор на основе стилей для синтеза изображений высокого разрешения».
DeepSVG: Официальный код для статьи "DeepSVG: Иерархическая генеративная сеть для векторной графической анимации". Включает библиотеку PyTorch для глубокого обучения с данными SVG.
NUWA: унифицированный конвейер 3D Transformer для визуального синтеза.
Image-Super-Resolution-via-Iterative-Refinement: Неофициальная реализация Image Super-Resolution via Iterative Refinement от Pytorch.
Lama: 🦙 LaMa Image Inpainting, большая маска Inpainting с высоким разрешением и свертками Фурье.
Person_reID_baseline_pytorch: Pytorch ReID: маленькая, удобная и мощная реализация Pytorch для базовой линии повторной идентификации объектов.
instruct-pix2pix: реализация InstructPix2Pix на PyTorch, модели редактирования изображений на основе инструкций.
GFPGAN: GFPGAN нацелен на разработку практических алгоритмов для восстановления реальных лиц.
DeepVecFont: Синтез высококачественных векторных шрифтов с помощью дуального обучения.
Stargan v2 Tensorflow: Официальная реализация Tensorflow.
StyleGAN2 Distillation: Парный перевод изображения в изображение, обученный на синтетических данных, сгенерированных StyleGAN2, превосходит существующие подходы к обработке изображений.
Извлечение обучающих данных из моделей диффузии
Mann-E - Mann-E (перс.: مانی) - это модель генератора произведений искусства, основанная на весах Stable Diffusion 1.5 и данных, собранных из художественных материалов, доступных на Pinterest
Сквозные обученные сети кодирования-декодирования CNN для стеганографии изображений
Grounded-Segment-Anything: объединение Grounding DINO с Segment Anything, Stable Diffusion, Tag2Text, BLIP, Whisper и ChatBot — автоматическое обнаружение, сегментация и генерация чего угодно с помощью изображений, текста и аудиовходов.
AnimateDiff: Анимируйте свои персонализированные модели диффузии текста в изображение без специальной настройки.
BasicSR: набор инструментов для восстановления изображений и видео с открытым исходным кодом для сверхвысокого разрешения, шумоподавления, устранения размытия и т. д. В настоящее время он включает EDSR, RCAN, SRResNet, SRGAN, ESRGAN, EDVR, BasicVSR, SwinIR, ECBSR и т. д. Также поддерживает StyleGAN2, DFDNet. [](https://github.com/XPixelGroup/ BasicSR)
Real-ESRGAN: Real-ESRGAN нацелен на разработку практических алгоритмов для общего восстановления изображений/видео.
ESRGAN: Улучшенный SRGAN. Чемпионский PIRM Challenge по перцептивному суперразрешению.
MixNMatch: Многофакторное распутывание и кодирование для условной генерации изображений.
Clarity-upscaler: Переосмысленное масштабирование изображений для всех.
Одношаговая диффузия с дистилляцией, соответствующей распределению
Invisible Stitch: Создание плавных 3D-сцен с глубинной прорисовкой.
SSR: Реконструкция 3D-сцены в одном ракурсе с высококачественной формой и текстурой.

🔎 Обнаружение 🔎

stylegan3-detector: обнаружение синтетических изображений StyleGAN3.
stylegan2-projecting-images: Проецирование изображений в скрытое пространство с помощью StyleGAN2.
FALdetector: обнаружение отфотошопленных лиц с помощью сценариев Photoshop.

🎥 Видео 🎥

🛠️ Инструменты 🛠️

DeepFaceLab: DeepFaceLab — ведущее программное обеспечение для создания дипфейков.
faceswap: Программное обеспечение Deepfakes для всех.
точка: Набор инструментов для наступления на Deepfake.
SimSwap: Фреймворк для произвольной замены лиц на изображениях и видео с одной обученной моделью!
faceswap-GAN: шумоподавляющий автоэнкодер + механизмы состязательных потерь и внимания для подмены лиц.
Celeb DeepFakeForensics: масштабный сложный набор данных для криминалистики DeepFake.
VGen: целостная экосистема генерации видео для создания видео на основе моделей диффузии.
MuseV: генерация бесконечного по длине и высокой точности виртуального человеческого видео с визуальным обусловленным параллельным шумоподавлением.
GLEE: Общая модель фундамента объектов для изображений и видео в масштабе.
T-Rex: На пути к универсальному обнаружению объектов с помощью синергии текстовых и визуальных подсказок.
DynamiCrafter: Анимация изображений с открытым доменом с помощью априорных данных диффузии видео.
Mora: Больше похоже на Sora для универсальной генерации видео.

💡 Приложения 💡

face2face-demo: демо pix2pix, которое обучается на основе ориентиров лица и преобразует их в лицо.
Faceswap-Deepfake-Pytorch: замена лиц с помощью Pytorch или DeepFake с помощью Pytorch.
Point-E: Диффузия облака точек для синтеза 3D-моделей.
EGVSR: Эффективное и универсальное суперразрешение видео.
STIT: Сшейте это вовремя: редактирование реальных видео с помощью GAN.
BackgroundMattingV2: фоновое матирование высокого разрешения в реальном времени.
MODNet: Решение для матирования портретов без Trimap в реальном времени.
Background-Matting: Фоновое матирование: мир — ваш зеленый экран.
Модель первого порядка: Этот репозиторий содержит исходный код для статьи «Модель движения первого порядка для анимации изображений».
Articulated Animation: Этот репозиторий содержит исходный код для статьи CVPR'2021 «Представления движения для артикуляционной анимации».
Удаление людей в реальном времени: Удаление людей со сложного фона в реальном времени с помощью TensorFlow.js в веб-браузере.
AdaIN-style: Произвольная передача стиля в реальном времени с адаптивной нормализацией экземпляров.
Интерполяция кадров: Интерполяция кадров для больших движений.
Awesome-Image-Colorization: 📚 Коллекция статей по раскрашиванию изображений и видео на основе глубокого обучения.
SadTalker: Изучение реалистичных коэффициентов движения в 3D для стилизованной аудиоуправляемой анимации говорящего лица.
roop: Deepfake в один клик (замена лица).
StableVideo: редактирование диффузионного видео с учетом согласованности текста.
MagicEdit: Высококачественный временно-когерентный видеомонтаж.
Rerender_A_Video: Перевод видео в видео с нулевым кадром и текстовым сопровождением.
DreamEditor: Текстовое редактирование 3D-сцен с использованием нейронных полей.
DreamEditor: Синтез 4D-вида в реальном времени с разрешением 4K.
AnimateAnyone: Последовательный и управляемый синтез изображения в видео для анимации персонажей.
Moore-AnimateAnyone: Этот репозиторий воспроизводит AnimateAnyone.
audio2photoreal: От аудио к фотореальному воплощению: синтез людей в разговорах.
MagicVideo-V2: Многоэтапная генерация высокоэстетичного видео
LWM: Универсальная многоконтекстная мультимодальная авторегрессионная модель. Она обучается на большом наборе данных разнообразных длинных видео и книг с использованием RingAttention и может выполнять понимание и генерацию языка, изображений и видео.
AniPortrait: Синтез фотореалистичной портретной анимации с использованием звука.
Champ: Управляемая и последовательная анимация изображения человека с 3D-параметрическим управлением.
Streamv2v: Потоковая трансляция видео в видео с помощью банков функций.
Deep-Live-Cam: замена лица в реальном времени и создание поддельного видео одним щелчком мыши с использованием всего одного изображения.
Sapiens: Основа для моделей человеческого зрения.

🔎 Обнаружение 🔎

FaceForensics++: набор данных FaceForensics.
DeepFake-Detection: На пути к обнаружению deepfake, которое действительно работает.
fakeVideoForensics: Обнаружение поддельных видео.
Deepfake-Detection: реализация Deepfake Detection на Pytorch на основе Faceforensics++.
SeqDeepFake: Код PyTorch для SeqDeepFake: обнаружение и восстановление последовательных манипуляций DeepFake.
PCL-I2G: Неофициальная реализация: изучение самосогласованности для обнаружения дипфейков.
DFDC DeepFake Challenge: Решение, завоевавшее приз, для конкурса DFDC.
POI-Forensics: Аудиовизуальное обнаружение фейковых сообщений о лицах, представляющих интерес.
Стандартизация обнаружения дипфейков: почему эксперты говорят, что это важно
Хотите распознать дипфейк? Ищите звезды в их глазах

📄 Текст 📄

🛠️ Инструменты 🛠️

GLM-130B: Открытая двуязычная предварительно обученная модель.
LongtermChatExternalSources: чат-бот GPT-3 с долговременной памятью и внешними источниками.
sketch: помощник по написанию кода на основе ИИ, который понимает содержимое данных.
LangChain: ⚡ Создание приложений с LLM посредством компоновки ⚡.
ChatGPT Wrapper: API для взаимодействия с ChatGPT с помощью Python и из Shell.
openai-python: Библиотека OpenAI Python обеспечивает удобный доступ к API OpenAI из приложений, написанных на языке Python.
Beto: испанская версия модели BERT.
GPT-Code-Clippy: GPT-Code-Clippy (GPT-CC) — это версия GitHub Copilot с открытым исходным кодом, языковая модель, основанная на GPT-3, называемая GPT-Codex.
GPT Neo: Реализация параллельных моделей в стиле GPT-2 и GPT-3 с использованием библиотеки mesh-tensorflow.
ctrl: Модель языка условного преобразователя для управляемой генерации.
Llama: Код вывода для моделей LLaMA.
Llama2
Лама-страж 3
UL2 20B: унифицированный изучающий язык с открытым исходным кодом
burgpt: расширение Burp Suite, которое интегрирует GPT OpenAI для выполнения дополнительного пассивного сканирования с целью обнаружения высокоспециализированных уязвимостей и позволяет выполнять анализ трафика любого типа.
Ollama: Начните работать с Llama 2 и другими крупными языковыми моделями локально.
SneakyPrompt: Взлом генеративных моделей преобразования текста в изображение.
- Copilot-For-Security: генеративное решение безопасности на базе ИИ, которое помогает повысить эффективность и возможности защитников для улучшения результатов безопасности со скоростью и масштабом машины, оставаясь при этом соответствующим принципам ответственного ИИ.
LM Studio: найдите, загрузите и запустите локальные LLM
Обход GPT: преобразование текста ИИ в контент, подобный человеческому
MGM: Фреймворк поддерживает ряд плотных и MoE больших языковых моделей (LLM) от 2B до 34B с одновременным пониманием, обоснованием и генерацией изображений.
Secret Llama: Полностью приватный чат-бот LLM, который работает исключительно с браузером без необходимости в сервере. Поддерживает Mistral и LLama 3.
Llama3: Официальный сайт Meta Llama 3 на GitHub.

🔎 Обнаружение 🔎

Обнаружение поддельного текста: Гигантская тестовая комната для языковых моделей.
Grover: Код для защиты от нейронных фейковых новостей.
Rebuff.ai: Детектор подсказок инъекций.
Новый ИИ-классификатор для обозначения текста, написанного ИИ
Откройте для себя 4 волшебных метода обнаружения текста, сгенерированного ИИ (включая ChatGPT)
GPTZero
ИИ-детектор контента (бета)
Водяной знак для больших языковых моделей
Можно ли надежно обнаружить текст, сгенерированный ИИ?
Детекторы GPT предвзяты по отношению к авторам, для которых английский язык не является родным
ChatGPT или не ChatGPT: вот в чем вопрос!
Могут ли лингвисты отличить ChatGPT/AI от человеческого письма?: исследование исследовательской этики и академических публикаций
ChatGPT — это чушь

💡 Приложения 💡

handwrite: Handwrite генерирует пользовательский шрифт на основе вашего образца почерка.
GPT Sandbox: Цель этого проекта — дать пользователям возможность создавать интересные веб-демонстрации с использованием недавно выпущенного API OpenAI GPT-3 с помощью всего нескольких строк Python.
PassGAN: Метод глубокого обучения для подбора паролей.
GPT Index: GPT Index — это проект, состоящий из набора структур данных, разработанных для упрощения использования больших внешних баз знаний с LLM.
nanoGPT: Самый простой и быстрый репозиторий для обучения/тонкой настройки GPT среднего размера.
whatsapp-gpt
Расширение ChatGPT Chrome: Расширение ChatGPT Chrome. Интегрирует ChatGPT в каждое текстовое поле в Интернете.
Unilm: Крупномасштабное самостоятельное предварительное обучение по задачам, языкам и модальностям.
minGPT: Минимальная повторная реализация PyTorch обучения OpenAI GPT (Generative Pretrained Transformer).
CodeGeeX: Открытая многоязычная модель генерации кода.
Кулинарная книга OpenAI: Примеры и руководства по использованию API OpenAI.
🧠 Awesome ChatGPT Prompts: этот репозиторий включает в себя кураторство ChatGPT prompts для лучшего использования ChatGPT.
Alice: Предоставление ChatGPT доступа к реальному терминалу.
Проверка кода безопасности с помощью ChatGPT
Пишут ли пользователи более небезопасный код с помощью помощников ИИ?
Обход спам-фильтров Gmail с помощью ChatGPT
Рекуррентный взломщик паролей GAN для повышения безопасности паролей IoT
PentestGPT: Инструмент для тестирования на проникновение с поддержкой GPT.
GPT Researcher: автономный агент на основе GPT, который проводит комплексные онлайн-исследования по любой заданной теме.
GPT Engineer: Укажите, что именно вы хотите построить, ИИ запросит разъяснения, а затем выполнит сборку.
localpilot: Используйте GitHub Copilot локально на вашем Macbook одним щелчком мыши!
[WormGPT])(https://thehackernews.com/2023/07/wormgpt-new-ai-tool-allows.html): Новый инструмент искусственного интеллекта позволяет киберпреступникам проводить сложные кибератаки
PoisonGPT: Как мы спрятали лоботомированного LLM на Hugging Face, чтобы распространять фейковые новости
PassGPT: Моделирование паролей и (управляемая) генерация с использованием больших языковых моделей
DeepPass — Поиск паролей с помощью глубокого обучения
GPTFuzz: Red Teaming Large Language Models с автоматически сгенерированными подсказками для джейлбрейка.
Open Interpreter: Интерпретатор кода OpenAI в вашем терминале, работающий локально.
Eureka: Проектирование вознаграждения на уровне человека посредством кодирования больших языковых моделей.
MetaCLIP: Разоблачение данных CLIP.
LLM OSINT: Метод проверки концепции использования LLM для сбора информации из Интернета и последующего выполнения задачи с этой информацией.
HackingBuddyGPT: LLM x PenTesting.
ChatGPT-Jailbreaks: Официальный джейлбрейк для ChatGPT (GPT-3.5). Отправьте длинное сообщение в начале разговора с ChatGPT, чтобы получить оскорбительные, неэтичные, агрессивные, человеческие ответы на английском и итальянском языках.
Magika: Определение типов содержимого файлов с помощью глубокого обучения.
Jan: Альтернатива ChatGPT с открытым исходным кодом, которая работает на вашем компьютере в автономном режиме.
LibreChat: улучшенный клон ChatGPT: функции OpenAI, Assistants API, Azure, Groq, GPT-4 Vision, Mistral, Bing, Anthropic, OpenRouter, Vertex AI, Gemini, переключение моделей AI, поиск сообщений, langchain, DALL-E-3, плагины ChatGPT, функции OpenAI, безопасная многопользовательская система, предустановки, полностью открытый исходный код для самостоятельного размещения.
Lumina-T2X: унифицированная структура для генерации текста любой модальности.