Публикации по теме 'information-theory'


Теория информации — Краткое введение
Понимание того, что стоит за данными и ИИ Теория информации — краткое введение В основе данных и искусственного интеллекта Когда я провожу семинары по ИИ или выступаю с докладами на симпозиумах, я всегда стараюсь уделить несколько минут теории. Теория информации, теорема Байеса, лингвистика, предвзятость, хаос, сложность, инновации, разрушение и множество других. Я делаю это, потому что обнаружил серьезный пробел в том, что многие называют своим титулом на должности в сфере..

InfoGAN - Генеративные состязательные сети, часть III
Ознакомьтесь с моими видео YouTube в сети GAN . Эта статья изначально появилась на blog.zakjost.com В Части I был представлен оригинальный документ GAN. Часть II представляет собой обзор DCGAN, который значительно улучшил производительность и стабильность GAN. В этой заключительной части будет исследован вклад InfoGAN , который применяет концепции из теории информации для преобразования некоторых шумовых терминов в скрытые коды, которые имеют систематическое предсказуемое..

Информационная теория нейронных сетей
Открытие черного ящика…. В некотором роде «Информация: отрицательное обратное значение вероятности». - Клод Шеннон Целью этого блога является не понимание математических концепций, лежащих в основе нейронной сети, а визуализация нейронных сетей с точки зрения манипулирования информацией. Кодер-декодер Прежде чем мы начнем: Кодер-декодер - это не две объединенные вместе CNN / RNN! По сути, это не обязательно должна быть нейронная сеть! Первоначально понятие теории..

Вопросы по теме 'information-theory'

Связь энтропии со скоростью сжатия без потерь
Из теоремы кодирования исходного кода Шеннона мы знаем, что энтропия сжатой строки ограничена энтропия исходной строки так: H(X) <= L < H(X) + 1/N где H (X) - энтропия исходной строки, N - длина исходной строки, а L - ожидаемая...
5532 просмотров
schedule 23.04.2024

Расширенный код Хаффмана
У меня есть домашнее задание: найти кодовые слова для символов в любом заданном алфавите. В нем говорится, что я должен использовать двоичный код Хаффмана для групп из трех символов. Что именно это значит? Могу ли я использовать обычный Хаффман на...
1465 просмотров
schedule 27.07.2023

Энтропия Скорость источника информации с памятью
У меня есть письменный текст на английском языке, и я вычислил его энтропию. Однако я понял, что алгоритмы сжатия, основанные на методах LZ, сжимаются намного ниже предела, заданного энтропией. Это связано с тем, что источник информации,...
655 просмотров
schedule 22.04.2022

энтропия для серого изображения в opencv
Мне нужен код, чтобы найти энтропию изображения. for(int i=0;i<grey_image.rows;i++) { for(int j=1;j<grey_image.cols;j++) { //cout<<i<<" "<<j<<"...
15727 просмотров
schedule 12.06.2024

Эффективный алгоритм «Три корабля, одно сообщение»
Предпосылка состоит в том, что человек 1 хочет отправить секретное сообщение M (без обмена ключами) через океан человеку 2. Он решает отправить частичные сообщения через 3 корабля, например, если версии любых двух кораблей будут доставлены, человек 2...
57 просмотров

Алгоритм оценки «воспринимаемой случайности» различных функций
У меня есть несколько функций, которые принимают на вход строчную букву английского алфавита и возвращают True или False. Таких возможных функций 2^26. Ниже приведены некоторые функции и их 26-битные представления: 0000000000000000000000000001...
93 просмотров

Ограничение плотности дискретных точек (LDDP) в питоне
Энтропия Шеннона из теории информации измеряет неопределенность или беспорядок в эмпирическом распределении дискретной случайной величины, тогда как дифференциальная энтропия измеряет ее для непрерывной случайной величины. Однако классическое...
212 просмотров
schedule 09.08.2023

Сложно понять декомпрессию с помощью алгоритма LZW.
Я сжал следующее сообщение: ababcbababaaaaaaa, используя алгоритм сжатия LZW. С a=1;b=2;c=3 я получаю следующее сообщение: 1 2 4 3 5 8 1 10 11 1, что соответствует результату, который мой профессор получил в наших конспектах упражнений. Однако,...
108 просмотров