$(document).ready(function() {
    $('#phone').inputmask("+7(999)999-99-99", {
      showMaskOnHover: false,
      showMaskOnFocus: true
    });

    $('#feedback').validate({
      rules: {
        name: {
          required: true
        },
        phone: {
          phoneRUS: true,
          required: true
        },
        email: {
          required: true,
          email: true
        }
      },
      messages: {
        name: {
          required: "Вы не заполнили поле"
        },
        phone: {
          required: "Вы не заполнили поле"
        },
        email: {
          required: "Вы не заполнили поле"
        }
      }
    });

    $('#feedback').submit(function() {
      var form = $(this);
      var error = false;

      if (!error) {
        var data = form.serialize();
        $.ajax({
          type: 'POST',
          url: '/contacts/mailer.php',
          dataType: 'json',
          data: data,
          success: function(data) {
            //console.log(data);
            if (!data['error']) {
              $('.valid-text').text('Сообщение отправлено, мы с вами обязательно свяжемся').fadeIn('fast');
              //echo('Ваша заявка отправлена');
            }
          },
          error: function(xhr, ajaxOptions, thrownError) {
            console.log(xhr.status);
            console.log(thrownError);
          }
        });
      }
      return false;
    });
});

<? php

  include_once 'vendor/swiftmailer/swiftmailer/lib/swift_required.php';

  $name = htmlspecialchars(strip_tags($_POST["name"]));
  $phone = htmlspecialchars(strip_tags($_POST["phone"]));
  $email = htmlspecialchars(strip_tags($_POST["email"]));
  $text = htmlspecialchars(strip_tags($_POST["message"]));
  $file = $_FILES['file'];

  $errors = array();

  if (empty($name)) {
    $errors["name"] = "Не заполнено поле";
  }

  if (empty($phone)) {
    $errors["phone"] = "Не заполнено поле";
  }

  if (empty($email)) {
    $errors["email"] = "Не заполнено поле";
  }

  if (!empty($errors)) {
    $errors = json_encode(array('success' => true, 'errors' => $errors));
  }

  $subject = 'Сообщение с сайта legiteam.ru';
  $from = array('no-reply@****.ru');
  $to = array(
    '*******@gmail.com' => 'Evgeniy',
    $email  // ОПАСНОСТЬ?
  );

  $html = "<h3>$subject</h3><p>Ваша заявка успешно доставлена и будет обработана в ближайшее время.</p>
<p>Текст заявки: $text</p>
<p>Имя: $name</p>
<p>Телефон: $phone</p>
<p>E-mail: $email</p>";

  $transport = Swift_MailTransport::newInstance();

  $mailer = Swift_Mailer::newInstance($transport);


  $message = Swift_Message::newInstance();
  $message - > setSubject($subject);
  $message - > setFrom($from);
  $message - > setBody($html, 'text/html');
  $message - > setTo($to);

  if (is_uploaded_file($_FILES['file']['tmp_name'])) {
    $message - > attach(Swift_Attachment::fromPath($_FILES['file']['tmp_name']) - > setFilename($_FILES['file']['name']));
  }

  $numSent = $mailer - > send($message);

  //if ($mailer->send($message))
  //{
  //  echo "Сообщение отправлено";
  //}
 // else
  //{
   // echo "Не удалось отправить сообщение";
  //}

success: function(data) {
    //console.log(data); вот у вас это даже есть. и что оно тут отдавало? Наверное "Сообщение отправлено"? Соответственно и проверять надо не то как вы проверяли.
    if ($.trim(data) == 'ok') {
        $('.valid-text').text('Сообщение отправлено, мы с вами обязательно свяжемся').fadeIn('fast');
    } else {
        $('.valid-text').text('Сообщение не отправлено!').fadeIn('fast');
    }
},
error: function(xhr, ajaxOptions, thrownError) {
    console.log(xhr.status);
    console.log(thrownError);
}

if ($mailer->send($message))
{
    echo "ok";
}
else
{
    echo "error";
}