Advertisement
Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- 1. Энтропия. Вывод формулы энтропии из аксиом К. Шеннона.
- 2. Совместная, условная энтропия. Цепное правило.
- 3. Относительная энтропия (дивергенция Кульбака-Лейблера). Взаимная информация. Связь энтропии и взаимной информации.
- 4. Неравенство Йенсена.
- 5. Неотрицательность дивергенции Кульбака-Лейблера.
- 6. Неравенство Крафта для префиксного кода.
- 7. Неравенство Крафта для уникально декодируемого кода.
- 8. Верхняя и нижняя границы ожидаемой длины кодового слова для оптимального префиксного кода.
- 9. Код Хаффмана
- 10. Код Хемминга
- 11. Емкость канала (на примере канала “noisy typewriter”)
- 12. Теорема Шеннона о пропускной способности канала (без доказательства).
- 13. Линейная регрессия. Регуляризация: гребневая регрессия и LASSO.
- 14. Линейный дискриминантный анализ.
- 15. Логистическая регрессия.
- 16. Метод опорных векторов
- 17. Кластеризация: метод К-средних.
- 18. Иерархическая кластеризация
- 19. Кластеризация, основанная на теории информации: Information Bottleneck
- 20. Латентное семантическое индексирование (Latent semantic indexing, LSI)
- 21. Вероятностное латентное семантическое индексирование (pLSI)
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement