Advertisement
AlexDanilin

Урок 4: Очередь запросов (авторское)

Jul 20th, 2023
77
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
C++ 16.58 KB | None | 0 0
  1. //Урок 4: Очередь запросов (авторское)
  2. #include <algorithm>
  3. #include <cmath>
  4. #include <deque>
  5. #include <iostream>
  6. #include <map>
  7. #include <set>
  8. #include <stdexcept>
  9. #include <string>
  10. #include <utility>
  11. #include <vector>
  12. using namespace std;
  13.  
  14. const int MAX_RESULT_DOCUMENT_COUNT = 5;
  15. string ReadLine() {
  16.     string s;
  17.     getline(cin, s);
  18.     return s;
  19. }
  20. int ReadLineWithNumber() {
  21.     int result;
  22.     cin >> result;
  23.     ReadLine();
  24.     return result;
  25. }
  26. vector<string> SplitIntoWords(const string& text) {
  27.     vector<string> words;
  28.     string word;
  29.     for (const char c : text) {
  30.         if (c == ' ') {
  31.             if (!word.empty()) {
  32.                 words.push_back(word);
  33.                 word.clear();
  34.             }
  35.         } else {
  36.             word += c;
  37.         }
  38.     }
  39.     if (!word.empty()) {
  40.         words.push_back(word);
  41.     }
  42.     return words;
  43. }
  44. struct Document {
  45.     Document() = default;
  46.     Document(int id, double relevance, int rating)
  47.         : id(id)
  48.         , relevance(relevance)
  49.         , rating(rating) {
  50.     }
  51.     int id = 0;
  52.     double relevance = 0.0;
  53.     int rating = 0;
  54. };
  55. ostream& operator<<(ostream& out, const Document& document) {
  56.     out << "{ "s
  57.         << "document_id = "s << document.id << ", "s
  58.         << "relevance = "s << document.relevance << ", "s
  59.         << "rating = "s << document.rating << " }"s;
  60.     return out;
  61. }
  62. template <typename StringContainer>
  63. set<string> MakeUniqueNonEmptyStrings(const StringContainer& strings) {
  64.     set<string> non_empty_strings;
  65.     for (const string& str : strings) {
  66.         if (!str.empty()) {
  67.             non_empty_strings.insert(str);
  68.         }
  69.     }
  70.     return non_empty_strings;
  71. }
  72. enum class DocumentStatus {
  73.     ACTUAL,
  74.     IRRELEVANT,
  75.     BANNED,
  76.     REMOVED,
  77. };
  78. class SearchServer {
  79. public:
  80.     template <typename StringContainer>
  81.     explicit SearchServer(const StringContainer& stop_words)
  82.         : stop_words_(MakeUniqueNonEmptyStrings(stop_words))  // Extract non-empty stop words
  83.     {
  84.         if (!all_of(stop_words_.begin(), stop_words_.end(), IsValidWord)) {
  85.             throw invalid_argument("Some of stop words are invalid"s);
  86.         }
  87.     }
  88.     explicit SearchServer(const string& stop_words_text)
  89.         : SearchServer(SplitIntoWords(stop_words_text))  // Invoke delegating constructor
  90.                                                          // from string container
  91.     {
  92.     }
  93.  
  94.     void AddDocument(int document_id, const string& document, DocumentStatus status,
  95.                      const vector<int>& ratings) {
  96.         if ((document_id < 0) || (documents_.count(document_id) > 0)) {
  97.             throw invalid_argument("Invalid document_id"s);
  98.         }
  99.         const auto words = SplitIntoWordsNoStop(document);
  100.         const double inv_word_count = 1.0 / words.size();
  101.         for (const string& word : words) {
  102.             word_to_document_freqs_[word][document_id] += inv_word_count;
  103.         }
  104.         documents_.emplace(document_id, DocumentData{ComputeAverageRating(ratings), status});
  105.         document_ids_.push_back(document_id);
  106.     }
  107.  
  108.     template <typename DocumentPredicate>
  109.     vector<Document> FindTopDocuments(const string& raw_query,
  110.                                       DocumentPredicate document_predicate) const {
  111.         const auto query = ParseQuery(raw_query);
  112.  
  113.         auto matched_documents = FindAllDocuments(query, document_predicate);
  114.  
  115.         sort(matched_documents.begin(), matched_documents.end(),
  116.              [](const Document& lhs, const Document& rhs) {
  117.                  return lhs.relevance > rhs.relevance
  118.                      || (abs(lhs.relevance - rhs.relevance) < 1e-6 && lhs.rating > rhs.rating);
  119.              });
  120.         if (matched_documents.size() > MAX_RESULT_DOCUMENT_COUNT) {
  121.             matched_documents.resize(MAX_RESULT_DOCUMENT_COUNT);
  122.         }
  123.         return matched_documents;
  124.     }
  125.  
  126.     vector<Document> FindTopDocuments(const string& raw_query, DocumentStatus status) const {
  127.         return FindTopDocuments(
  128.             raw_query, [status](int document_id, DocumentStatus document_status, int rating) {
  129.                 return document_status == status;
  130.             });
  131.     }
  132.  
  133.     vector<Document> FindTopDocuments(const string& raw_query) const {
  134.         return FindTopDocuments(raw_query, DocumentStatus::ACTUAL);
  135.     }
  136.     int GetDocumentCount() const {
  137.         return documents_.size();
  138.     }
  139.     int GetDocumentId(int index) const {
  140.         return document_ids_.at(index);
  141.     }
  142.  
  143.     tuple<vector<string>, DocumentStatus> MatchDocument(const string& raw_query,
  144.                                                         int document_id) const {
  145.         const auto query = ParseQuery(raw_query);
  146.  
  147.         vector<string> matched_words;
  148.         for (const string& word : query.plus_words) {
  149.             if (word_to_document_freqs_.count(word) == 0) {
  150.                 continue;
  151.             }
  152.             if (word_to_document_freqs_.at(word).count(document_id)) {
  153.                 matched_words.push_back(word);
  154.             }
  155.         }
  156.         for (const string& word : query.minus_words) {
  157.             if (word_to_document_freqs_.count(word) == 0) {
  158.                 continue;
  159.             }
  160.             if (word_to_document_freqs_.at(word).count(document_id)) {
  161.                 matched_words.clear();
  162.                 break;
  163.             }
  164.         }
  165.         return {matched_words, documents_.at(document_id).status};
  166.     }
  167. private:
  168.     struct DocumentData {
  169.         int rating;
  170.         DocumentStatus status;
  171.     };
  172.     const set<string> stop_words_;
  173.     map<string, map<int, double>> word_to_document_freqs_;
  174.     map<int, DocumentData> documents_;
  175.     vector<int> document_ids_;
  176.     bool IsStopWord(const string& word) const {
  177.         return stop_words_.count(word) > 0;
  178.     }
  179.     static bool IsValidWord(const string& word) {
  180.         // A valid word must not contain special characters
  181.         return none_of(word.begin(), word.end(), [](char c) {
  182.             return c >= '\0' && c < ' ';
  183.         });
  184.     }
  185.     vector<string> SplitIntoWordsNoStop(const string& text) const {
  186.         vector<string> words;
  187.         for (const string& word : SplitIntoWords(text)) {
  188.             if (!IsValidWord(word)) {
  189.                 throw invalid_argument("Word "s + word + " is invalid"s);
  190.             }
  191.             if (!IsStopWord(word)) {
  192.                 words.push_back(word);
  193.             }
  194.         }
  195.         return words;
  196.     }
  197.     static int ComputeAverageRating(const vector<int>& ratings) {
  198.         int rating_sum = 0;
  199.         for (const int rating : ratings) {
  200.             rating_sum += rating;
  201.         }
  202.         return rating_sum / static_cast<int>(ratings.size());
  203.     }
  204.     struct QueryWord {
  205.         string data;
  206.         bool is_minus;
  207.         bool is_stop;
  208.     };
  209.     QueryWord ParseQueryWord(const string& text) const {
  210.         if (text.empty()) {
  211.             throw invalid_argument("Query word is empty"s);
  212.         }
  213.         string word = text;
  214.         bool is_minus = false;
  215.         if (word[0] == '-') {
  216.             is_minus = true;
  217.             word = word.substr(1);
  218.         }
  219.         if (word.empty() || word[0] == '-' || !IsValidWord(word)) {
  220.             throw invalid_argument("Query word "s + text + " is invalid");
  221.         }
  222.         return {word, is_minus, IsStopWord(word)};
  223.     }
  224.     struct Query {
  225.         set<string> plus_words;
  226.         set<string> minus_words;
  227.     };
  228.     Query ParseQuery(const string& text) const {
  229.         Query result;
  230.         for (const string& word : SplitIntoWords(text)) {
  231.             const auto query_word = ParseQueryWord(word);
  232.             if (!query_word.is_stop) {
  233.                 if (query_word.is_minus) {
  234.                     result.minus_words.insert(query_word.data);
  235.                 } else {
  236.                     result.plus_words.insert(query_word.data);
  237.                 }
  238.             }
  239.         }
  240.         return result;
  241.     }
  242.     // Existence required
  243.     double ComputeWordInverseDocumentFreq(const string& word) const {
  244.         return log(GetDocumentCount() * 1.0 / word_to_document_freqs_.at(word).size());
  245.     }
  246.  
  247.     template <typename DocumentPredicate>
  248.     vector<Document> FindAllDocuments(const Query& query,
  249.                                       DocumentPredicate document_predicate) const {
  250.         map<int, double> document_to_relevance;
  251.         for (const string& word : query.plus_words) {
  252.             if (word_to_document_freqs_.count(word) == 0) {
  253.                 continue;
  254.             }
  255.             const double inverse_document_freq = ComputeWordInverseDocumentFreq(word);
  256.             for (const auto [document_id, term_freq] : word_to_document_freqs_.at(word)) {
  257.                 const auto& document_data = documents_.at(document_id);
  258.                 if (document_predicate(document_id, document_data.status, document_data.rating)) {
  259.                     document_to_relevance[document_id] += term_freq * inverse_document_freq;
  260.                 }
  261.             }
  262.         }
  263.         for (const string& word : query.minus_words) {
  264.             if (word_to_document_freqs_.count(word) == 0) {
  265.                 continue;
  266.             }
  267.             for (const auto [document_id, _] : word_to_document_freqs_.at(word)) {
  268.                 document_to_relevance.erase(document_id);
  269.             }
  270.         }
  271.  
  272.         vector<Document> matched_documents;
  273.         for (const auto [document_id, relevance] : document_to_relevance) {
  274.             matched_documents.push_back(
  275.                 {document_id, relevance, documents_.at(document_id).rating});
  276.         }
  277.         return matched_documents;
  278.     }
  279. };
  280. void PrintDocument(const Document& document) {
  281.     cout << "{ "s
  282.          << "document_id = "s << document.id << ", "s
  283.          << "relevance = "s << document.relevance << ", "s
  284.          << "rating = "s << document.rating << " }"s << endl;
  285. }
  286. void PrintMatchDocumentResult(int document_id, const vector<string>& words, DocumentStatus status) {
  287.     cout << "{ "s
  288.          << "document_id = "s << document_id << ", "s
  289.          << "status = "s << static_cast<int>(status) << ", "s
  290.          << "words ="s;
  291.     for (const string& word : words) {
  292.         cout << ' ' << word;
  293.     }
  294.     cout << "}"s << endl;
  295. }
  296.  
  297. void AddDocument(SearchServer& search_server, int document_id, const string& document,
  298.                  DocumentStatus status, const vector<int>& ratings) {
  299.     try {
  300.         search_server.AddDocument(document_id, document, status, ratings);
  301.     } catch (const exception& e) {
  302.         cout << "Error in adding document "s << document_id << ": "s << e.what() << endl;
  303.     }
  304. }
  305.  
  306. void FindTopDocuments(const SearchServer& search_server, const string& raw_query) {
  307.     cout << "Results for request: "s << raw_query << endl;
  308.     try {
  309.         for (const Document& document : search_server.FindTopDocuments(raw_query)) {
  310.             PrintDocument(document);
  311.         }
  312.     } catch (const exception& e) {
  313.         cout << "Error is seaching: "s << e.what() << endl;
  314.     }
  315. }
  316.  
  317. void MatchDocuments(const SearchServer& search_server, const string& query) {
  318.     try {
  319.         cout << "Matching for request: "s << query << endl;
  320.         const int document_count = search_server.GetDocumentCount();
  321.         for (int index = 0; index < document_count; ++index) {
  322.             const int document_id = search_server.GetDocumentId(index);
  323.             const auto [words, status] = search_server.MatchDocument(query, document_id);
  324.             PrintMatchDocumentResult(document_id, words, status);
  325.         }
  326.     } catch (const exception& e) {
  327.         cout << "Error in matchig request "s << query << ": "s << e.what() << endl;
  328.     }
  329. }
  330.  
  331. template <typename Iterator>
  332. class IteratorRange {
  333. public:
  334.     IteratorRange(Iterator begin, Iterator end)
  335.         : first_(begin)
  336.         , last_(end)
  337.         , size_(distance(first_, last_)) {
  338.     }
  339.     Iterator begin() const {
  340.         return first_;
  341.     }
  342.     Iterator end() const {
  343.         return last_;
  344.     }
  345.     size_t size() const {
  346.         return size_;
  347.     }
  348. private:
  349.     Iterator first_, last_;
  350.     size_t size_;
  351. };
  352. template <typename Iterator>
  353. ostream& operator<<(ostream& out, const IteratorRange<Iterator>& range) {
  354.     for (Iterator it = range.begin(); it != range.end(); ++it) {
  355.         out << *it;
  356.     }
  357.     return out;
  358. }
  359. template <typename Iterator>
  360. class Paginator {
  361. public:
  362.     Paginator(Iterator begin, Iterator end, size_t page_size) {
  363.         for (size_t left = distance(begin, end); left > 0;) {
  364.             const size_t current_page_size = min(page_size, left);
  365.             const Iterator current_page_end = next(begin, current_page_size);
  366.             pages_.push_back({begin, current_page_end});
  367.             left -= current_page_size;
  368.             begin = current_page_end;
  369.         }
  370.     }
  371.     auto begin() const {
  372.         return pages_.begin();
  373.     }
  374.     auto end() const {
  375.         return pages_.end();
  376.     }
  377.     size_t size() const {
  378.         return pages_.size();
  379.     }
  380. private:
  381.     vector<IteratorRange<Iterator>> pages_;
  382. };
  383. template <typename Container>
  384. auto Paginate(const Container& c, size_t page_size) {
  385.     return Paginator(begin(c), end(c), page_size);
  386. }
  387. class RequestQueue {
  388. public:
  389.     explicit RequestQueue(const SearchServer& search_server)
  390.         : search_server_(search_server)
  391.         , no_results_requests_(0)
  392.         , current_time_(0) {
  393.     }
  394.     // сделаем "обертки" для всех методов поиска, чтобы сохранять результаты для нашей статистики
  395.     template <typename DocumentPredicate>
  396.     vector<Document> AddFindRequest(const string& raw_query, DocumentPredicate document_predicate) {
  397.         const auto result = search_server_.FindTopDocuments(raw_query, document_predicate);
  398.         AddRequest(result.size());
  399.         return result;
  400.     }
  401.     vector<Document> AddFindRequest(const string& raw_query, DocumentStatus status) {
  402.         const auto result = search_server_.FindTopDocuments(raw_query, status);
  403.         AddRequest(result.size());
  404.         return result;
  405.     }
  406.     vector<Document> AddFindRequest(const string& raw_query) {
  407.         const auto result = search_server_.FindTopDocuments(raw_query);
  408.         AddRequest(result.size());
  409.         return result;
  410.     }
  411.     int GetNoResultRequests() const {
  412.         return no_results_requests_;
  413.     }
  414. private:
  415.     struct QueryResult {
  416.         uint64_t timestamp;
  417.         int results;
  418.     };
  419.     deque<QueryResult> requests_;
  420.     const SearchServer& search_server_;
  421.     int no_results_requests_;
  422.     uint64_t current_time_;
  423.     const static int min_in_day_ = 1440;
  424.  
  425.     void AddRequest(int results_num) {
  426.         // новый запрос - новая секунда
  427.         ++current_time_;
  428.         // удаляем все результаты поиска, которые устарели
  429.         while (!requests_.empty() && min_in_day_ <= current_time_ - requests_.front().timestamp) {
  430.             if (0 == requests_.front().results) {
  431.                 --no_results_requests_;
  432.             }
  433.             requests_.pop_front();
  434.         }
  435.         // сохраняем новый результат поиска
  436.         requests_.push_back({current_time_, results_num});
  437.         if (0 == results_num) {
  438.             ++no_results_requests_;
  439.         }
  440.     }
  441. };
  442.  
  443. int main() {
  444.     SearchServer search_server("and in at"s);
  445.     RequestQueue request_queue(search_server);
  446.  
  447.     search_server.AddDocument(1, "curly cat curly tail"s, DocumentStatus::ACTUAL, {7, 2, 7});
  448.     search_server.AddDocument(2, "curly dog and fancy collar"s, DocumentStatus::ACTUAL, {1, 2, 3});
  449.     search_server.AddDocument(3, "big cat fancy collar "s, DocumentStatus::ACTUAL, {1, 2, 8});
  450.     search_server.AddDocument(4, "big dog sparrow Eugene"s, DocumentStatus::ACTUAL, {1, 3, 2});
  451.     search_server.AddDocument(5, "big dog sparrow Vasiliy"s, DocumentStatus::ACTUAL, {1, 1, 1});
  452.  
  453.     // 1439 запросов с нулевым результатом
  454.     for (int i = 0; i < 1439; ++i) {
  455.         request_queue.AddFindRequest("empty request"s);
  456.     }
  457.     // все еще 1439 запросов с нулевым результатом
  458.     request_queue.AddFindRequest("curly dog"s);
  459.     // новые сутки, первый запрос удален, 1438 запросов с нулевым результатом
  460.     request_queue.AddFindRequest("big collar"s);
  461.     // первый запрос удален, 1437 запросов с нулевым результатом
  462.     request_queue.AddFindRequest("sparrow"s);
  463.     cout << "Total empty requests: "s << request_queue.GetNoResultRequests() << endl;
  464. }
  465.  
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement