API tools faq
paste
zero50x

Python 1

zero50x
Jun 9th, 2025 (edited)
886
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 8.55 KB | None | 0 0
raw download clone embed print report
  1. #==== Поиск в строке ==== https://pythonru.com/osnovy/modul-re-dlja-reguljarnyh-vyrazhenij-v-python
  2.  
  3. import re
  4. title = "Error 404. Page not found Erra 555 3333"
  5. exemple = re.findall( r'[0-9]{1,}', title, re.M|re.I)
  6.  
  7. if exemple:
  8.    print(exemple)
  9. else:
  10.    print("Нет совпадений!")
  11. # Результат: ['404', '555', '3333']
  12.  
  13.  
  14. #==== Замена в строке ====
  15.  
  16. import re
  17. tel = '+7(986)244-32-11'
  18. new = re.sub(r'\+|\(|\)|\-', "", tel)
  19. print("Новый телефон:", new)
  20. #  Результат: 79862443211
  21.  
  22. #==== Удаление спецсимволов HTML из Title и Description ====
  23.  
  24. import re
  25. tel = 'Тест "  '
  26. new = re.sub(r'\&\#[0-9]{1,}\;|\&quot\;', "", tel)
  27. print(new)
  28.  
  29. #==== Открытие текстового файла в нужной кодировке ====
  30.  
  31. with open('iam.txt', 'r', encoding="UTF-8") as f:
  32.    content = f.read()
  33.    print(content)
  34.  
  35. #==== Построчное чтение файла ====
  36.  
  37. with open("sites.txt", encoding="UTF-8") as file_in:
  38.     lines = file_in.readlines()
  39.     print(lines)
  40.  
  41. #==== Прочитать и переложить в другой файл ====
  42.  
  43. with open("sites.txt", encoding="UTF-8") as file_in:
  44.     lines = file_in.readlines()
  45.     print(lines)
  46.  
  47. #my_list = [1, 2, 3, 4, 5]
  48.  
  49. f = open('result.txt','a')
  50.  
  51. for number in lines:
  52.     print(number)
  53.     number = str(number)
  54.     f.write(number)
  55.  
  56. f.close()
  57.  
  58. #==== Приведение емайлов к нижнему регистру ====
  59.  
  60. text = "[email protected]"
  61. text = text.lower()
  62. print(text)
  63.  
  64.  
  65.  
  66. #==== Первый парсер всё работает ==== Гайд: https://habr.com/ru/companies/selectel/articles/754674/
  67.  
  68. # импортируем модуль
  69. import requests
  70.  
  71. st_accept = "text/html" # говорим веб-серверу,
  72.                         # что хотим получить html
  73. # имитируем подключение через браузер Mozilla на macOS
  74. st_useragent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 12_3_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15"
  75. # формируем хеш заголовков
  76. headers = {
  77.    "Accept": st_accept,
  78.    "User-Agent": st_useragent
  79. }
  80.  
  81. # отправляем запрос с заголовками по нужному адресу
  82. req = requests.get("https://site.ru/", headers)
  83. # считываем текст HTML-документа
  84. src = req.text
  85. print(src)
  86.  
  87.  
  88.  
  89. #==== Итоговый парсер телефонов ====
  90.  
  91. tester = '<meta charset="utf-8" /><title>Скупка и удаление катализаторов в Уфе</title><meta http-equiv="X-UA-Compatible" content="IE=edge" />'
  92. descrip = '<meta name="description" content="Удаление скупка"/>'
  93.  
  94.  
  95.  
  96. # Получаем title
  97. exemple = getTitle(src)
  98. # Получаем description
  99. res_des = getDescription(src)
  100.  
  101. tester = '''
  102. <a href="tel:88002229102">
  103. <a href="tel:+78002229102">
  104. <a href="tel:+79174422102">
  105. <a href="tel:+7 917 442 21 02">
  106. <a href="tel:+7(917)442-21-02">
  107. <i class="fas fa-phone-square">+7 917 46 49 100</i>
  108. <i class="fas fa-phone-square"> 8 (831) 256-78-80 </i>
  109. <i class="fas fa-phone-square"> 8 ( 800 ) 256-78-80 </i>
  110. <i class="fas fa-phone-square"> 8 (831) 256 78 80 </i>
  111. <i class="fas fa-phone-square">+79994649100</i>
  112. '''
  113.  
  114. #Забираем гарантированные телефоны
  115. tel = re.findall( r'href=\"tel:([0-9\+\s\-\(\)]{1,})', tester, re.M|re.I)
  116.  
  117. if tel:
  118.    #print(tel)
  119.    time.sleep(0.1)
  120. else:
  121.    print("Нет description")
  122.  
  123. #Забираем простые текстовые телефоны на +7
  124. tel2 = re.findall( r'\+7[0-9\s\-\(\)]{1,}', tester, re.M|re.I)
  125. #Забираем телефоны на 8 (ххх)
  126. tel3 = re.findall( r'8[\s]{0,}\([0-9\s]{2,}\)[0-9\s\-]{3,}', tester, re.M|re.I)
  127.  
  128. #print(tel2)
  129. #print(tel3)
  130.  
  131. tel4 = tel2 + tel3
  132.  
  133. print(tel4)
  134.  
  135. #Создаём набор перед перебором списка
  136. output = set()
  137.  
  138. for number in tel4:
  139.     #Чистим номер
  140.     number = re.sub(r'[^0-9]', "", str(number))
  141.     #Добавляем очищенный номер в набор
  142.     output.add(number)
  143.  
  144. print(output)
  145.  
  146.  
  147.  
  148.  
  149.  
  150.  
  151.  
  152.  
  153. #==== Чистильщик первая версия ====
  154.  
  155.  
  156. def cleaner(var):
  157.    var = re.sub(r'<style>[^<]{1,}<\/style>', '', str(var))
  158.    #var = re.sub(r'<script>[^<]{1,}<\/script>', '', str(var))
  159.    #var = re.sub(r'<script[\s\t]{1,}src[^<]{1,}<\/script>', '', str(var))
  160.    var = re.sub(r'<path[^>]{1,}>', '', str(var))
  161.    var = re.sub(r'<feFunc[^>]{1,}>', '', str(var))
  162.    #var = re.sub(r'<label[^|]{1,}<\/label>', '', str(var))
  163.    var = re.sub(r'[\"\']{1,}http[^\"\']{1,}[\"\']{1,}', '', str(var))
  164.    var = re.sub(r'data\-[^>]{1,}>', '', str(var))
  165.    var = re.sub(r'css\?[^\"]{1,}\"', "css\"", str(var))
  166.    var = re.sub(r'{[^\}]{1,}\}', "", str(var))
  167.    var = re.sub(r'&[#]{0,}[a-z0-9]{1,};', " ", str(var))
  168.    #var = re.sub(r'<input[^>]{0,}>', " ", str(var)) #input
  169.    var = re.sub(r'<img[^>]{0,}>', " ", str(var)) #img
  170.    #var = re.sub(r'<svg[^>]{0,}>', " ", str(var)) #img
  171.    #var = re.sub(r'<button[^>]{0,}>', " ", str(var)) #img
  172.    var = re.sub(r'<span[^>]{0,}>|<\/span>', " ", str(var)) #span
  173.    var = re.sub(r'imgfield=\"[^\"]{0,}\"', " ", str(var)) #id чтоб номер с тел не спутать
  174.    var = re.sub(r'imgfield=\'[^\"]{0,}\'', " ", str(var)) #id чтоб номер с тел не спутать
  175.    var = re.sub(r'id=\"[^\"]{0,}\"', " ", str(var)) #id чтоб номер с тел не спутать
  176.    var = re.sub(r'id=\'[^\"]{0,}\'', " ", str(var)) #id чтоб номер с тел не спутать
  177.    var = re.sub(r'field=\"[^\"]{0,}\"', " ", str(var)) #id чтоб номер с тел не спутать
  178.    var = re.sub(r'field=\'[^\"]{0,}\'', " ", str(var)) #id чтоб номер с тел не спутать
  179.    var = re.sub(r'class=\"[^\"]{0,}\"', "", str(var)) #class
  180.    var = re.sub(r'class=\'[^\"]{0,}\'', "", str(var)) #class
  181.    var = re.sub(r'name=\"[^\"]{0,}\"', "", str(var)) #class
  182.    var = re.sub(r'name=\'[^\"]{0,}\'', "", str(var)) #class
  183.    var = re.sub(r'type=\"[^\"]{0,}\"', "", str(var)) #type
  184.    var = re.sub(r'type=\'[^\"]{0,}\'', "", str(var)) #type
  185.    var = re.sub(r'src=\"[^\"]{0,}\"', "", str(var)) #src
  186.    var = re.sub(r'src=\'[^\"]{0,}\'', "", str(var)) #src
  187.    var = re.sub(r'style=\"[^\"]{0,}\"', "", str(var)) #style
  188.    var = re.sub(r'style=\'[^\"]{0,}\'', "", str(var)) #style
  189.    var = re.sub(r'[\s\n]{1,}>', ">", str(var)) #<div  > на <div>
  190.    var = re.sub(r'<br\s\/>|<br>|<strong>|<\/strong>|<b>|<\/b>|<i>|<\/i>', "", str(var)) #красота
  191.    return var
  192.  
  193.  
  194.  
  195. #==== Была единая функция с телефоном ====
  196.  
  197. def getPhone(html):
  198.    #Забираем гарантированные телефоны
  199.    t1 = re.findall( r'href=\"tel:([0-9\+\s\-\(\)]{1,})', html, re.M|re.I)
  200.    #Забираем простые текстовые телефоны на +7
  201.    t2 = re.findall( r'\+[\s]{0,}7[0-9\s\-\(\)]{1,}', html, re.M|re.I)
  202.    #Забираем телефоны на 8 (ххх)
  203.    t3 = re.findall( r'8[\s]{0,}\([0-9\s]{2,}\)[0-9\s\-]{3,}', html, re.M|re.I)
  204.    #Забираем телефоны на 8 без скобок +ровно 10 цифр
  205.    t4 = re.findall( r'[78]{1,}[0-9]{10}[^0-9]{1}', html, re.M|re.I)
  206.    #Ещё нашёл вариант который не забирался
  207.    t5 = re.findall( r'[78]{1,}[\s\-]{0,}9[0-9\-]{9,}', html, re.M|re.I)
  208.    t6 = re.findall( r'\([0-9]{3,}\)[0-9\s\-]{1,}', html, re.M|re.I)
  209.    t7 = re.findall( r'\d\s\d{3}\s\d{3}\s\d{2}\s\d{2}', html, re.M|re.I)
  210.    #medium6 = str('7')+str(t6)
  211.    #t6 = [medium6]
  212.    #Объединяем списки
  213.  
  214.    tel = t1 + t2 + t3 + t4 + t5 + t6 + t7
  215.    #print(tel)
  216.  
  217.    #Создаём набор перед перебором списка
  218.    output = set()
  219.  
  220.    for number in tel:
  221.       #Чистим номер
  222.       number = re.sub(r'[^0-9]', "", str(number))
  223.       #Не может быть такого телефона
  224.       if number=='79999999999':
  225.          continue
  226.       if number=='88888888888':
  227.          continue
  228.       #Если телефонный номер менее 10 символов то он нам не подходит, это не мобильный
  229.       if len(number) < 10:
  230.          continue
  231.       #Если телефонный номер более 10 символов то это тоже ошибка
  232.       if len(number) > 11:
  233.          continue
  234.       #Добавляем очищенный номер в набор
  235.       output.add(number)
  236.    return output
Advertisement
Add Comment
Please, Sign In to add comment
Public Pastes
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy.  OK, I Understand
Not a member of Pastebin yet?
Sign Up, it unlocks many cool features!