4thdoctor_scarf

Untitled

Aug 31st, 2018
8,073
0
Never
3
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. CREATE OR REPLACE FUNCTION sch_chameleon.fn_replay_mysql(integer,integer,boolean)
  2. RETURNS sch_chameleon.ty_replay_status AS
  3. $BODY$
  4.     DECLARE
  5.         p_i_max_events      ALIAS FOR $1;
  6.         p_i_id_source       ALIAS FOR $2;
  7.         p_b_exit_on_error   ALIAS FOR $3;
  8.         v_ty_status     sch_chameleon.ty_replay_status;
  9.         v_r_statements      record;
  10.         v_i_id_batch        bigint;
  11.         v_v_log_table       text;
  12.         v_t_ddl         text;
  13.         v_t_main_sql        text;
  14.         v_t_delete_sql      text;
  15.         v_i_replayed        integer;
  16.         v_i_skipped     integer;
  17.         v_i_ddl         integer;
  18.         v_i_evt_replay      bigint[];
  19.         v_i_evt_queue       bigint[];
  20.         v_ts_evt_source     timestamp without time zone;
  21.         v_tab_enabled       boolean;
  22.  
  23.     BEGIN
  24.         v_i_replayed:=0;
  25.         v_i_ddl:=0;
  26.         v_i_skipped:=0;
  27.         v_ty_status.b_continue:=FALSE;
  28.         v_ty_status.b_error:=FALSE;    
  29.         RAISE DEBUG 'Searching batches to replay for source id: %', p_i_id_source;
  30.         v_i_id_batch:= (
  31.             SELECT
  32.                 bat.i_id_batch
  33.             FROM
  34.                 sch_chameleon.t_replica_batch bat
  35.                 INNER JOIN  sch_chameleon.t_batch_events evt
  36.                 ON
  37.                     evt.i_id_batch=bat.i_id_batch
  38.             WHERE
  39.                     bat.b_started
  40.                 AND bat.b_processed
  41.                 AND NOT bat.b_replayed
  42.                 AND bat.i_id_source=p_i_id_source
  43.             ORDER BY
  44.                 bat.ts_created
  45.             LIMIT 1
  46.             )
  47.         ;
  48.  
  49.         v_v_log_table:=(
  50.             SELECT
  51.                 v_log_table
  52.             FROM
  53.                 sch_chameleon.t_replica_batch
  54.             WHERE
  55.                 i_id_batch=v_i_id_batch
  56.             )
  57.         ;
  58.         IF v_i_id_batch IS NULL
  59.         THEN
  60.             RAISE DEBUG 'There are no batches available for replay';
  61.             RETURN v_ty_status;
  62.         END IF;
  63.        
  64.         RAISE DEBUG 'Found id_batch %, data in log table %', v_i_id_batch,v_v_log_table;
  65.         RAISE DEBUG 'Building a list of event id with max length %...', p_i_max_events;
  66.         v_i_evt_replay:=(
  67.             SELECT
  68.                 i_id_event[1:p_i_max_events]
  69.             FROM
  70.                 sch_chameleon.t_batch_events
  71.             WHERE
  72.                 i_id_batch=v_i_id_batch
  73.         );
  74.        
  75.        
  76.         v_i_evt_queue:=(
  77.             SELECT
  78.                 i_id_event[p_i_max_events+1:array_length(i_id_event,1)]
  79.             FROM
  80.                 sch_chameleon.t_batch_events
  81.             WHERE
  82.                 i_id_batch=v_i_id_batch
  83.         );
  84.        
  85.         RAISE DEBUG 'Finding the last executed event''s timestamp...';
  86.         v_ts_evt_source:=(
  87.             SELECT
  88.                 to_timestamp(i_my_event_time)
  89.             FROM   
  90.                 sch_chameleon.t_log_replica
  91.             WHERE
  92.                     i_id_event=v_i_evt_replay[array_length(v_i_evt_replay,1)]
  93.                 AND i_id_batch=v_i_id_batch
  94.         );
  95.        
  96.         RAISE DEBUG 'Generating the main loop sql';
  97.  
  98.         v_t_main_sql:=format('
  99.             SELECT
  100.                 i_id_event AS i_id_event,
  101.                 enm_binlog_event,
  102.                 (enm_binlog_event=''ddl'')::integer as i_ddl,
  103.                 (enm_binlog_event<>''ddl'')::integer as i_replay,
  104.                 t_binlog_name,
  105.                 i_binlog_position,
  106.                 v_table_name,
  107.                 v_schema_name,
  108.                 t_pk_data,
  109.                 CASE
  110.                     WHEN enm_binlog_event = ''ddl''
  111.                     THEN
  112.                         t_query
  113.                     WHEN enm_binlog_event = ''insert''
  114.                     THEN
  115.                         format(
  116.                             ''INSERT INTO %%I.%%I %%s;'',
  117.                             v_schema_name,
  118.                             v_table_name,
  119.                             t_dec_data
  120.                            
  121.                         )
  122.                     WHEN enm_binlog_event = ''update''
  123.                     THEN
  124.                         format(
  125.                             ''UPDATE %%I.%%I SET %%s WHERE %%s;'',
  126.                             v_schema_name,
  127.                             v_table_name,
  128.                             t_dec_data,
  129.                             t_pk_data
  130.                         )
  131.                     WHEN enm_binlog_event = ''delete''
  132.                     THEN
  133.                         format(
  134.                             ''DELETE FROM %%I.%%I WHERE %%s;'',
  135.                             v_schema_name,
  136.                             v_table_name,
  137.                             t_pk_data
  138.                         )
  139.                    
  140.                 END AS t_sql
  141.             FROM
  142.             (
  143.                 SELECT
  144.                     pk.i_id_event,
  145.                     pk.v_table_name,
  146.                     pk.v_schema_name,
  147.                     pk.enm_binlog_event,
  148.                     pk.t_binlog_name,
  149.                     pk.i_binlog_position,
  150.                     pk.t_query as t_query,
  151.                     pk.ts_event_datetime,
  152.                     pk.t_dec_data,
  153.                     string_agg(DISTINCT
  154.                             CASE
  155.                                 WHEN pk.v_table_pkey IS NOT NULL
  156.                                 THEN
  157.                                     format(
  158.                                         ''%%I=%%L'',
  159.                                         pk.v_table_pkey,
  160.                                         CASE
  161.                                             WHEN pk.enm_binlog_event = ''update''
  162.                                             THEN
  163.                                                 pk.jsb_event_before->>v_table_pkey
  164.                                             ELSE
  165.                                                 pk.jsb_event_after->>v_table_pkey
  166.                                         END    
  167.                                
  168.                                     )
  169.                             END
  170.                     ,'' AND '') as  t_pk_data
  171.                    
  172.                 FROM
  173.                 (
  174.                     SELECT
  175.                         dec.i_id_event,
  176.                         dec.v_table_name,
  177.                         dec.v_schema_name,
  178.                         dec.enm_binlog_event,
  179.                         dec.t_binlog_name,
  180.                         dec.i_binlog_position,
  181.                         dec.t_query as t_query,
  182.                         dec.ts_event_datetime,
  183.                         CASE
  184.                             WHEN dec.enm_binlog_event = ''insert''
  185.                             THEN
  186.                             format(''(%%s) VALUES (%%s)'',string_agg(format(''%%I'',dec.t_column),'',''),string_agg(format(''%%L'',dec.jsb_event_after->>t_column),'',''))
  187.                             WHEN dec.enm_binlog_event = ''update''
  188.                             THEN
  189.                                 string_agg(format(''%%I=%%L'',dec.t_column,dec.jsb_event_after->>t_column),'','')
  190.                            
  191.                         END AS t_dec_data,
  192.                         unnest(v_table_pkey) as v_table_pkey,
  193.                         dec.jsb_event_after,
  194.                         dec.jsb_event_before
  195.                        
  196.                     FROM
  197.                     (
  198.                         SELECT --DISTINCT ON (t_column)
  199.                             log.i_id_event,
  200.                             log.v_table_name,
  201.                             log.v_schema_name,
  202.                             log.enm_binlog_event,
  203.                             log.t_binlog_name,
  204.                             log.i_binlog_position,
  205.                             coalesce(log.jsb_event_after,''{"foo":"bar"}''::jsonb) as jsb_event_after,
  206.                             (jsonb_each_text(coalesce(log.jsb_event_after,''{"foo":"bar"}''::jsonb))).key AS t_column,
  207.                             log.jsb_event_before,
  208.                             log.t_query as t_query,
  209.                             log.ts_event_datetime,
  210.                             v_table_pkey
  211.                         FROM
  212.                             sch_chameleon.%I log
  213.                             INNER JOIN sch_chameleon.t_replica_tables tab
  214.                                 ON
  215.                                         tab.v_table_name=log.v_table_name
  216.                                     AND tab.v_schema_name=log.v_schema_name
  217.                         WHERE
  218.                                 tab.b_replica_enabled
  219.                             AND i_id_event = ANY(%L)
  220.                        
  221.                     ) dec
  222.                     GROUP BY
  223.                         dec.i_id_event,
  224.                         dec.v_table_name,
  225.                         dec.v_schema_name,
  226.                         dec.enm_binlog_event,
  227.                         dec.t_query,
  228.                         dec.ts_event_datetime,
  229.                         dec.t_binlog_name,
  230.                         dec.i_binlog_position,
  231.                         dec.v_table_pkey,
  232.                         dec.jsb_event_after,
  233.                         dec.jsb_event_before
  234.                     ) pk
  235.                 GROUP BY
  236.                     pk.i_id_event,
  237.                     pk.v_table_name,
  238.                     pk.v_schema_name,
  239.                     pk.enm_binlog_event,
  240.                     pk.t_binlog_name,
  241.                     pk.i_binlog_position,
  242.                     pk.t_query,
  243.                     pk.ts_event_datetime,
  244.                     pk.t_dec_data
  245.                
  246.                    
  247.             ) par
  248.             ORDER BY
  249.                 i_id_event ASC
  250.             ;      
  251.         ',v_v_log_table,v_i_evt_replay);
  252.         RAISE DEBUG '%',v_t_main_sql;
  253.         FOR v_r_statements IN EXECUTE v_t_main_sql
  254.         LOOP
  255.            
  256.             BEGIN
  257.                 EXECUTE v_r_statements.t_sql;
  258.                 v_i_ddl:=v_i_ddl+v_r_statements.i_ddl;
  259.                 v_i_replayed:=v_i_replayed+v_r_statements.i_replay;
  260.                
  261.                
  262.             EXCEPTION
  263.                 WHEN OTHERS
  264.                 THEN
  265.                 RAISE NOTICE 'An error occurred when replaying data for the table %.%',v_r_statements.v_schema_name,v_r_statements.v_table_name;
  266.                 RAISE NOTICE 'SQLSTATE: % - ERROR MESSAGE %',SQLSTATE, SQLERRM;
  267.                 RAISE DEBUG 'SQL EXECUTED: % ',v_r_statements.t_sql;
  268.                 RAISE NOTICE 'The table %.% has been removed from the replica',v_r_statements.v_schema_name,v_r_statements.v_table_name;
  269.                 v_ty_status.v_table_error:=array_append(v_ty_status.v_table_error, format('%I.%I SQLSTATE: %s - ERROR MESSAGE: %s',v_r_statements.v_schema_name,v_r_statements.v_table_name,SQLSTATE, SQLERRM)::character varying) ;
  270.                 RAISE NOTICE 'Adding error log entry for table %.% ',v_r_statements.v_schema_name,v_r_statements.v_table_name;
  271.                 INSERT INTO sch_chameleon.t_error_log
  272.                             (
  273.                                 i_id_batch,
  274.                                 i_id_source,
  275.                                 v_schema_name,
  276.                                 v_table_name,
  277.                                 t_table_pkey,
  278.                                 t_binlog_name,
  279.                                 i_binlog_position,
  280.                                 ts_error,
  281.                                 t_sql,
  282.                                 t_error_message
  283.                             )
  284.                             SELECT
  285.                                 i_id_batch,
  286.                                 p_i_id_source,
  287.                                 v_schema_name,
  288.                                 v_table_name,
  289.                                 v_r_statements.t_pk_data as t_table_pkey,
  290.                                 t_binlog_name,
  291.                                 i_binlog_position,
  292.                                 clock_timestamp(),
  293.                                 quote_literal(v_r_statements.t_sql) as t_sql,
  294.                                 format('%s - %s',SQLSTATE, SQLERRM) as t_error_message
  295.                             FROM
  296.                                 sch_chameleon.t_log_replica  log
  297.                             WHERE
  298.                                 log.i_id_event=v_r_statements.i_id_event
  299.                         ;
  300.                 IF p_b_exit_on_error
  301.                 THEN
  302.                     v_ty_status.b_continue:=FALSE;
  303.                     v_ty_status.b_error:=TRUE;
  304.                     RETURN v_ty_status;
  305.                 ELSE
  306.                
  307.                     RAISE NOTICE 'Statement %', v_r_statements.t_sql;
  308.                     UPDATE sch_chameleon.t_replica_tables
  309.                         SET
  310.                             b_replica_enabled=FALSE
  311.                     WHERE
  312.                             v_schema_name=v_r_statements.v_schema_name
  313.                         AND v_table_name=v_r_statements.v_table_name
  314.                     ;
  315.  
  316.                     RAISE NOTICE 'Deleting the log entries for the table %.% ',v_r_statements.v_schema_name,v_r_statements.v_table_name;
  317.                     DELETE FROM sch_chameleon.t_log_replica  log
  318.                     WHERE
  319.                             v_table_name=v_r_statements.v_table_name
  320.                         AND v_schema_name=v_r_statements.v_schema_name
  321.                         AND     i_id_batch=v_i_id_batch
  322.                     ;
  323.                 END IF;
  324.             END;
  325.         END LOOP;
  326.         IF v_ts_evt_source IS NOT NULL
  327.         THEN
  328.             UPDATE sch_chameleon.t_last_replayed
  329.                 SET
  330.                     ts_last_replayed=v_ts_evt_source
  331.             WHERE  
  332.                 i_id_source=p_i_id_source
  333.             ;
  334.         END IF;
  335.         IF v_i_replayed=0 AND v_i_ddl=0
  336.         THEN
  337.             DELETE FROM sch_chameleon.t_log_replica
  338.             WHERE
  339.                     i_id_batch=v_i_id_batch
  340.             ;
  341.                
  342.             GET DIAGNOSTICS v_i_skipped = ROW_COUNT;
  343.             RAISE DEBUG 'SKIPPED ROWS: % ',v_i_skipped;
  344.  
  345.             UPDATE ONLY sch_chameleon.t_replica_batch  
  346.             SET
  347.                 b_replayed=True,
  348.                 i_skipped=v_i_skipped,
  349.                 ts_replayed=clock_timestamp()
  350.                
  351.             WHERE
  352.                 i_id_batch=v_i_id_batch
  353.             ;
  354.  
  355.             DELETE FROM sch_chameleon.t_batch_events
  356.             WHERE
  357.                 i_id_batch=v_i_id_batch
  358.             ;
  359.  
  360.             v_ty_status.b_continue:=FALSE;
  361.         ELSE
  362.             UPDATE ONLY sch_chameleon.t_replica_batch  
  363.             SET
  364.                 i_ddl=coalesce(i_ddl,0)+v_i_ddl,
  365.                 i_replayed=coalesce(i_replayed,0)+v_i_replayed,
  366.                 i_skipped=v_i_skipped,
  367.                 ts_replayed=clock_timestamp()
  368.                
  369.             WHERE
  370.                 i_id_batch=v_i_id_batch
  371.             ;
  372.  
  373.             UPDATE sch_chameleon.t_batch_events
  374.                 SET
  375.                     i_id_event = v_i_evt_queue
  376.             WHERE
  377.                 i_id_batch=v_i_id_batch
  378.             ;
  379.  
  380.             DELETE FROM sch_chameleon.t_log_replica
  381.             WHERE
  382.                     i_id_batch=v_i_id_batch
  383.                 AND     i_id_event=ANY(v_i_evt_replay)
  384.             ;
  385.             v_ty_status.b_continue:=TRUE;
  386.             RETURN v_ty_status;
  387.         END IF;
  388.         v_i_id_batch:= (
  389.             SELECT
  390.                 bat.i_id_batch
  391.             FROM
  392.                 sch_chameleon.t_replica_batch bat
  393.                 INNER JOIN  sch_chameleon.t_batch_events evt
  394.                 ON
  395.                     evt.i_id_batch=bat.i_id_batch
  396.             WHERE
  397.                     bat.b_started
  398.                 AND bat.b_processed
  399.                 AND NOT bat.b_replayed
  400.                 AND bat.i_id_source=p_i_id_source
  401.             ORDER BY
  402.                 bat.ts_created
  403.             LIMIT 1
  404.             )
  405.         ;
  406.        
  407.         IF v_i_id_batch IS NOT NULL
  408.         THEN
  409.             v_ty_status.b_continue:=TRUE;
  410.         END IF;
  411.        
  412.        
  413.         RETURN v_ty_status;
  414.  
  415.        
  416.        
  417.     END;
  418.    
  419. $BODY$
  420. LANGUAGE plpgsql;
Advertisement