Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- import numpy as np
- import matplotlib.pyplot as plt
- import seaborn as sns
- import tensorflow as tf
- from tensorflow.keras.datasets import cifar10
- from tensorflow.keras.models import Sequential
- from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization
- from tensorflow.keras.utils import to_categorical
- from sklearn.metrics import confusion_matrix
- # --- 1. Загрузка и подготовка данных ---
- print("--- 1. Загрузка и подготовка данных ---")
- # Загружаем полный датасет CIFAR-10
- (x_train, y_train), (x_test, y_test) = cifar10.load_data()
- NUM_TRAIN_SAMPLES = 10000
- NUM_TEST_SAMPLES = 2000
- x_train = x_train[:NUM_TRAIN_SAMPLES]
- y_train = y_train[:NUM_TRAIN_SAMPLES]
- x_test = x_test[:NUM_TEST_SAMPLES]
- y_test = y_test[:NUM_TEST_SAMPLES]
- print(f"!!! ВНИМАНИЕ: Данные уменьшены. Используется {NUM_TRAIN_SAMPLES} обучающих и {NUM_TEST_SAMPLES} тестовых изображений. !!!")
- # Названия классов для визуализации
- class_names = ['самолет', 'автомобиль', 'птица', 'кошка', 'олень', 'собака', 'лягушка', 'лошадь', 'корабль', 'грузовик']
- # Нормализация изображений: приводим значения пикселей к диапазону [0, 1]
- x_train = x_train.astype('float32') / 255.0
- x_test = x_test.astype('float32') / 255.0
- # Преобразование меток классов в формат one-hot encoding
- y_train = to_categorical(y_train, 10)
- y_test_orig = y_test # Сохраняем оригинальные метки для confusion matrix
- y_test = to_categorical(y_test, 10)
- print("Размер обучающей выборки (изображения):", x_train.shape)
- print("Размер тестовой выборки (изображения):", x_test.shape)
- print("-" * 30)
- # --- 2. Определение базовой архитектуры CNN ---
- print("--- 2. Определение базовой архитектуры CNN ---")
- base_model = Sequential([
- Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)),
- #Conv2D(32) → извлекает простые признаки (линии, углы).
- MaxPooling2D((2, 2)),
- #MaxPooling2D → уменьшает размерность, сохраняя важное.
- Conv2D(64, (3, 3), activation='relu', padding='same'),
- #
- MaxPooling2D((2, 2)),
- #MaxPooling2D → уменьшает размерность, сохраняя важное.
- Conv2D(128, (3, 3), activation='relu', padding='same'),
- #
- MaxPooling2D((2, 2)),
- #MaxPooling2D → уменьшает размерность, сохраняя важное.
- Flatten(),
- #Flatten → преобразует 3D-тензор в 1D-вектор.
- Dense(128, activation='relu'),
- #Dense(128) → полносвязный слой для "принятия решения".
- Dropout(0.5),
- #Dropout(0.5) → регуляризация (предотвращает переобучение).
- Dense(10, activation='softmax')
- #Dense(10, softmax) → вероятности по 10 классам
- ])
- base_model.summary()
- print("-" * 30)
- # --- 3. Обучение базовой модели ---
- print("--- 3. Обучение базовой модели ---")
- base_model.compile(optimizer='adam',
- loss='categorical_crossentropy',
- metrics=['accuracy'])
- # Обучаем модель (можно уменьшить кол-во эпох для скорости)
- history = base_model.fit(x_train, y_train,
- epochs=15,
- batch_size=64,
- validation_data=(x_test, y_test)) # Валидация на уменьшенной тестовой выборке
- # Графики точности и потерь
- plt.figure(figsize=(12, 4))
- plt.subplot(1, 2, 1)
- plt.plot(history.history['accuracy'], label='Точность на обучении')
- plt.plot(history.history['val_accuracy'], label='Точность на валидации')
- plt.title('Точность модели')
- plt.xlabel('Эпоха')
- plt.ylabel('Точность')
- plt.legend()
- plt.subplot(1, 2, 2)
- plt.plot(history.history['loss'], label='Потери на обучении')
- plt.plot(history.history['val_loss'], label='Потери на валидации')
- plt.title('Потери модели')
- plt.xlabel('Эпоха')
- plt.ylabel('Потери')
- plt.legend()
- plt.show()
- print("-" * 30)
- # --- 4. Оценка базовой модели (обновленная визуализация) ---
- print("--- 4. Оценка базовой модели ---")
- test_loss, test_acc = base_model.evaluate(x_test, y_test, verbose=2)
- print(f"\nТочность на тестовых данных: {test_acc:.4f}")
- # Предсказания
- y_pred = base_model.predict(x_test)
- y_pred_classes = np.argmax(y_pred, axis=1)
- # Матрица путаницы (confusion matrix)
- cm = confusion_matrix(y_test_orig, y_pred_classes)
- plt.figure(figsize=(10, 8))
- sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=class_names, yticklabels=class_names)
- plt.xlabel('Предсказанные классы')
- plt.ylabel('Истинные классы')
- plt.title('Матрица путаницы')
- plt.show()
- print("-" * 30)
- # --- УЛУЧШЕННАЯ ВИЗУАЛИЗАЦИЯ ПРИМЕРОВ ИЗОБРАЖЕНИЙ ---
- print("--- Визуализация примеров с улучшенной подписью ---")
- # Количество изображений для отображения (можно увеличить до 15, если нужно)
- num_examples = min(15, len(x_test))
- # Создаем сетку подplots с большим размером фигуры и увеличенными осями
- fig, axes = plt.subplots(nrows=5, ncols=3, figsize=(12, 15)) # Увеличили размер fig
- axes = axes.flatten() # Сделали плоский массив осей для удобства
- for i in range(num_examples):
- ax = axes[i]
- ax.imshow(x_test[i])
- true_label = class_names[y_test_orig[i][0]]
- pred_label = class_names[y_pred_classes[i]]
- # Формируем заголовок: коротко и ясно
- title_text = f"Реальный: {true_label}\nПредсказанный: {pred_label}"
- # Цвет заголовка: зеленый если совпадает, красный если нет
- title_color = "green" if true_label == pred_label else "red"
- # Устанавливаем заголовок с увеличенным шрифтом и цветом
- ax.set_title(title_text, fontsize=10, color=title_color, fontweight='bold') # Увеличили fontsize
- # Убираем оси для чистоты
- ax.axis('off')
- # Если количество примеров меньше 15, скрываем пустые подграфики
- for j in range(num_examples, len(axes)):
- axes[j].axis('off')
- # Добавляем общий заголовок для всей фигуры
- fig.suptitle('Примеры предсказаний модели на тестовых данных', fontsize=16, fontweight='bold')
- # Улучшаем макет, чтобы избежать наложения
- plt.tight_layout(rect=[0, 0, 1, 0.96]) # Оставляем место для общего заголовка
- plt.show()
- print("-" * 30)
- # --- 6. Улучшение модели (на тех же уменьшенных данных) ---
- print("--- 6. Улучшение модели ---")
- # Архитектура улучшенной модели остается той же
- improved_model = Sequential([
- Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)),
- BatchNormalization(),
- Conv2D(32, (3, 3), activation='relu', padding='same'),
- BatchNormalization(),
- MaxPooling2D((2, 2)),
- Dropout(0.25),
- Conv2D(64, (3, 3), activation='relu', padding='same'),
- BatchNormalization(),
- Conv2D(64, (3, 3), activation='relu', padding='same'),
- BatchNormalization(),
- MaxPooling2D((2, 2)),
- Dropout(0.3),
- Conv2D(128, (3, 3), activation='relu', padding='same'),
- BatchNormalization(),
- Conv2D(128, (3, 3), activation='relu', padding='same'),
- BatchNormalization(),
- MaxPooling2D((2, 2)),
- Dropout(0.4),
- Flatten(),
- Dense(256, activation='relu'),
- BatchNormalization(),
- Dropout(0.5),
- Dense(10, activation='softmax')
- ])
- improved_model.compile(optimizer='adam',
- loss='categorical_crossentropy',
- metrics=['accuracy'])
- print("\n--- Обучение улучшенной модели ---")
- history_improved = improved_model.fit(x_train, y_train,
- epochs=20,
- batch_size=64,
- validation_data=(x_test, y_test))
- print("\n--- Оценка улучшенной модели ---")
- test_loss_imp, test_acc_imp = improved_model.evaluate(x_test, y_test, verbose=2)
- print(f"\nТочность базовой модели на тесте: {test_acc:.4f}")
- print(f"Точность улучшенной модели на тесте: {test_acc_imp:.4f}")
- print("-" * 30)
- print("--- 7 и 8. Выводы и анализ ---")
- print("""
- Анализ, выводы и адаптация для других датасетов остаются такими же, как в предыдущем ответе.
- Однако важно понимать, что числовые результаты (точность), полученные на уменьшенном наборе данных,
- будут значительно ниже и не являются репрезентативными.
- Этот скрипт полезен для быстрой проверки кода, но для получения финальных,
- качественных результатов необходимо закомментировать блок уменьшения данных и запустить код на полной выборке.
- """)
Advertisement
Add Comment
Please, Sign In to add comment