Advertisement
Guest User

Untitled

a guest
Jan 22nd, 2017
96
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 1.90 KB | None | 0 0
  1. 1. Энтропия. Вывод формулы энтропии из аксиом К. Шеннона.
  2. 2. Совместная, условная энтропия. Цепное правило.
  3. 3. Относительная энтропия (дивергенция Кульбака-Лейблера). Взаимная информация. Связь энтропии и взаимной информации.
  4. 4. Неравенство Йенсена.
  5. 5. Неотрицательность дивергенции Кульбака-Лейблера.
  6. 6. Неравенство Крафта для префиксного кода.
  7. 7. Неравенство Крафта для уникально декодируемого кода.
  8. 8. Верхняя и нижняя границы ожидаемой длины кодового слова для оптимального префиксного кода.
  9. 9. Код Хаффмана
  10. 10. Код Хемминга
  11. 11. Емкость канала (на примере канала “noisy typewriter”)
  12. 12. Теорема Шеннона о пропускной способности канала (без доказательства).
  13. 13. Линейная регрессия. Регуляризация: гребневая регрессия и LASSO.
  14. 14. Линейный дискриминантный анализ.
  15. 15. Логистическая регрессия.
  16. 16. Метод опорных векторов
  17. 17. Кластеризация: метод К-средних.
  18. 18. Иерархическая кластеризация
  19. 19. Кластеризация, основанная на теории информации: Information Bottleneck
  20. 20. Латентное семантическое индексирование (Latent semantic indexing, LSI)
  21. 21. Вероятностное латентное семантическое индексирование (pLSI)
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement