altervisi0n

Untitled

Dec 20th, 2025
86
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 10.35 KB | None | 0 0
  1. import numpy as np
  2. import matplotlib.pyplot as plt
  3. import seaborn as sns
  4. import tensorflow as tf
  5. from tensorflow.keras.datasets import cifar10
  6. from tensorflow.keras.models import Sequential
  7. from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization
  8. from tensorflow.keras.utils import to_categorical
  9. from sklearn.metrics import confusion_matrix
  10.  
  11. # --- 1. Загрузка и подготовка данных ---
  12.  
  13. print("--- 1. Загрузка и подготовка данных ---")
  14.  
  15. # Загружаем полный датасет CIFAR-10
  16. (x_train, y_train), (x_test, y_test) = cifar10.load_data()
  17.  
  18. NUM_TRAIN_SAMPLES = 10000
  19. NUM_TEST_SAMPLES = 2000
  20.  
  21. x_train = x_train[:NUM_TRAIN_SAMPLES]
  22. y_train = y_train[:NUM_TRAIN_SAMPLES]
  23. x_test = x_test[:NUM_TEST_SAMPLES]
  24. y_test = y_test[:NUM_TEST_SAMPLES]
  25.  
  26. print(f"!!! ВНИМАНИЕ: Данные уменьшены. Используется {NUM_TRAIN_SAMPLES} обучающих и {NUM_TEST_SAMPLES} тестовых изображений. !!!")
  27.  
  28. # Названия классов для визуализации
  29. class_names = ['самолет', 'автомобиль', 'птица', 'кошка', 'олень', 'собака', 'лягушка', 'лошадь', 'корабль', 'грузовик']
  30.  
  31. # Нормализация изображений: приводим значения пикселей к диапазону [0, 1]
  32. x_train = x_train.astype('float32') / 255.0
  33. x_test = x_test.astype('float32') / 255.0
  34.  
  35. # Преобразование меток классов в формат one-hot encoding
  36. y_train = to_categorical(y_train, 10)
  37. y_test_orig = y_test # Сохраняем оригинальные метки для confusion matrix
  38. y_test = to_categorical(y_test, 10)
  39.  
  40. print("Размер обучающей выборки (изображения):", x_train.shape)
  41. print("Размер тестовой выборки (изображения):", x_test.shape)
  42. print("-" * 30)
  43.  
  44.  
  45. # --- 2. Определение базовой архитектуры CNN ---
  46.  
  47. print("--- 2. Определение базовой архитектуры CNN ---")
  48.  
  49. base_model = Sequential([
  50. Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)),
  51. #Conv2D(32) → извлекает простые признаки (линии, углы).
  52. MaxPooling2D((2, 2)),
  53. #MaxPooling2D → уменьшает размерность, сохраняя важное.
  54. Conv2D(64, (3, 3), activation='relu', padding='same'),
  55. #
  56. MaxPooling2D((2, 2)),
  57. #MaxPooling2D → уменьшает размерность, сохраняя важное.
  58. Conv2D(128, (3, 3), activation='relu', padding='same'),
  59. #
  60. MaxPooling2D((2, 2)),
  61. #MaxPooling2D → уменьшает размерность, сохраняя важное.
  62. Flatten(),
  63. #Flatten → преобразует 3D-тензор в 1D-вектор.
  64. Dense(128, activation='relu'),
  65. #Dense(128) → полносвязный слой для "принятия решения".
  66. Dropout(0.5),
  67. #Dropout(0.5) → регуляризация (предотвращает переобучение).
  68. Dense(10, activation='softmax')
  69. #Dense(10, softmax) → вероятности по 10 классам
  70.  
  71. ])
  72.  
  73. base_model.summary()
  74. print("-" * 30)
  75.  
  76.  
  77. # --- 3. Обучение базовой модели ---
  78.  
  79. print("--- 3. Обучение базовой модели ---")
  80.  
  81. base_model.compile(optimizer='adam',
  82. loss='categorical_crossentropy',
  83. metrics=['accuracy'])
  84.  
  85. # Обучаем модель (можно уменьшить кол-во эпох для скорости)
  86. history = base_model.fit(x_train, y_train,
  87. epochs=15,
  88. batch_size=64,
  89. validation_data=(x_test, y_test)) # Валидация на уменьшенной тестовой выборке
  90.  
  91. # Графики точности и потерь
  92. plt.figure(figsize=(12, 4))
  93. plt.subplot(1, 2, 1)
  94. plt.plot(history.history['accuracy'], label='Точность на обучении')
  95. plt.plot(history.history['val_accuracy'], label='Точность на валидации')
  96. plt.title('Точность модели')
  97. plt.xlabel('Эпоха')
  98. plt.ylabel('Точность')
  99. plt.legend()
  100.  
  101. plt.subplot(1, 2, 2)
  102. plt.plot(history.history['loss'], label='Потери на обучении')
  103. plt.plot(history.history['val_loss'], label='Потери на валидации')
  104. plt.title('Потери модели')
  105. plt.xlabel('Эпоха')
  106. plt.ylabel('Потери')
  107. plt.legend()
  108. plt.show()
  109. print("-" * 30)
  110.  
  111. # --- 4. Оценка базовой модели (обновленная визуализация) ---
  112.  
  113. print("--- 4. Оценка базовой модели ---")
  114.  
  115. test_loss, test_acc = base_model.evaluate(x_test, y_test, verbose=2)
  116. print(f"\nТочность на тестовых данных: {test_acc:.4f}")
  117.  
  118. # Предсказания
  119. y_pred = base_model.predict(x_test)
  120. y_pred_classes = np.argmax(y_pred, axis=1)
  121.  
  122. # Матрица путаницы (confusion matrix)
  123. cm = confusion_matrix(y_test_orig, y_pred_classes)
  124. plt.figure(figsize=(10, 8))
  125. sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=class_names, yticklabels=class_names)
  126. plt.xlabel('Предсказанные классы')
  127. plt.ylabel('Истинные классы')
  128. plt.title('Матрица путаницы')
  129. plt.show()
  130. print("-" * 30)
  131.  
  132. # --- УЛУЧШЕННАЯ ВИЗУАЛИЗАЦИЯ ПРИМЕРОВ ИЗОБРАЖЕНИЙ ---
  133.  
  134. print("--- Визуализация примеров с улучшенной подписью ---")
  135.  
  136. # Количество изображений для отображения (можно увеличить до 15, если нужно)
  137. num_examples = min(15, len(x_test))
  138.  
  139. # Создаем сетку подplots с большим размером фигуры и увеличенными осями
  140. fig, axes = plt.subplots(nrows=5, ncols=3, figsize=(12, 15)) # Увеличили размер fig
  141. axes = axes.flatten() # Сделали плоский массив осей для удобства
  142.  
  143. for i in range(num_examples):
  144. ax = axes[i]
  145. ax.imshow(x_test[i])
  146. true_label = class_names[y_test_orig[i][0]]
  147. pred_label = class_names[y_pred_classes[i]]
  148.  
  149. # Формируем заголовок: коротко и ясно
  150. title_text = f"Реальный: {true_label}\nПредсказанный: {pred_label}"
  151.  
  152. # Цвет заголовка: зеленый если совпадает, красный если нет
  153. title_color = "green" if true_label == pred_label else "red"
  154.  
  155. # Устанавливаем заголовок с увеличенным шрифтом и цветом
  156. ax.set_title(title_text, fontsize=10, color=title_color, fontweight='bold') # Увеличили fontsize
  157.  
  158. # Убираем оси для чистоты
  159. ax.axis('off')
  160.  
  161. # Если количество примеров меньше 15, скрываем пустые подграфики
  162. for j in range(num_examples, len(axes)):
  163. axes[j].axis('off')
  164.  
  165. # Добавляем общий заголовок для всей фигуры
  166. fig.suptitle('Примеры предсказаний модели на тестовых данных', fontsize=16, fontweight='bold')
  167.  
  168. # Улучшаем макет, чтобы избежать наложения
  169. plt.tight_layout(rect=[0, 0, 1, 0.96]) # Оставляем место для общего заголовка
  170.  
  171. plt.show()
  172. print("-" * 30)
  173. # --- 6. Улучшение модели (на тех же уменьшенных данных) ---
  174.  
  175. print("--- 6. Улучшение модели ---")
  176. # Архитектура улучшенной модели остается той же
  177. improved_model = Sequential([
  178. Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)),
  179. BatchNormalization(),
  180. Conv2D(32, (3, 3), activation='relu', padding='same'),
  181. BatchNormalization(),
  182. MaxPooling2D((2, 2)),
  183. Dropout(0.25),
  184.  
  185. Conv2D(64, (3, 3), activation='relu', padding='same'),
  186. BatchNormalization(),
  187. Conv2D(64, (3, 3), activation='relu', padding='same'),
  188. BatchNormalization(),
  189. MaxPooling2D((2, 2)),
  190. Dropout(0.3),
  191.  
  192. Conv2D(128, (3, 3), activation='relu', padding='same'),
  193. BatchNormalization(),
  194. Conv2D(128, (3, 3), activation='relu', padding='same'),
  195. BatchNormalization(),
  196. MaxPooling2D((2, 2)),
  197. Dropout(0.4),
  198.  
  199. Flatten(),
  200. Dense(256, activation='relu'),
  201. BatchNormalization(),
  202. Dropout(0.5),
  203. Dense(10, activation='softmax')
  204. ])
  205.  
  206. improved_model.compile(optimizer='adam',
  207. loss='categorical_crossentropy',
  208. metrics=['accuracy'])
  209.  
  210. print("\n--- Обучение улучшенной модели ---")
  211. history_improved = improved_model.fit(x_train, y_train,
  212. epochs=20,
  213. batch_size=64,
  214. validation_data=(x_test, y_test))
  215.  
  216. print("\n--- Оценка улучшенной модели ---")
  217. test_loss_imp, test_acc_imp = improved_model.evaluate(x_test, y_test, verbose=2)
  218. print(f"\nТочность базовой модели на тесте: {test_acc:.4f}")
  219. print(f"Точность улучшенной модели на тесте: {test_acc_imp:.4f}")
  220. print("-" * 30)
  221.  
  222. print("--- 7 и 8. Выводы и анализ ---")
  223. print("""
  224. Анализ, выводы и адаптация для других датасетов остаются такими же, как в предыдущем ответе.
  225. Однако важно понимать, что числовые результаты (точность), полученные на уменьшенном наборе данных,
  226. будут значительно ниже и не являются репрезентативными.
  227. Этот скрипт полезен для быстрой проверки кода, но для получения финальных,
  228. качественных результатов необходимо закомментировать блок уменьшения данных и запустить код на полной выборке.
  229. """)
Advertisement
Add Comment
Please, Sign In to add comment