Advertisement
Step8rother

SQL-запросы в датафреймах, задача 2

Jun 29th, 2023
913
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
SQL 0.84 KB | Source Code | 0 0
  1. --Найдите все даты, на которые пришлось более 200 заказов такси за любой период в 30 минут в этот день. Напечатайте на экране количество таких дней, сохранив результат в переменную result.
  2.  
  3. FROM pyspark.SQL import SparkSession
  4.  
  5. APP_NAME = "DataFrames"
  6. SPARK_URL = "local[*]"
  7.  
  8. spark = SparkSession.builder.appName(APP_NAME) \
  9.         .config('spark.ui.showConsoleProgress', 'false') \
  10.         .getOrCreate()
  11.  
  12. taxi = spark.READ.LOAD('/datasets/pickups_terminal_5.csv',
  13.                        format='csv', header='true', inferSchema='true')
  14.  
  15. taxi = taxi.fillna(0)
  16.  
  17. taxi.registerTempTable("taxi")
  18.  
  19. RESULT = spark.SQL("SELECT count(distinct(date)) FROM taxi WHERE pickups > 200")
  20. print(RESULT.SHOW())
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement