,.-^^-._                                                         ,.-^^-._                                  ,.-^^-._                     
                |-.____.-|                                                       |-.____.-|                                |-.____.-|                    
                |        |                                                       |        |                                |        |                    
                |        |                                                       |        |                                |        |                    
                |        |        ┌───────┐          ┌─────────────┐             |        |            ┌───────┐           |        |                    
                '-.____.-'        │Crawler│          │Data Pipeline│             '-.____.-'            │Reports│           '-.____.-'                    
                  CrUX            └───┬───┘          └──────┬──────┘           Cloud Storage           └───────┘           BigQuery                      
  ╔═════════════════╧═════════════════╧═╗                   │                        │                     │                   │                         
  ║updated on 2nd Tuesday of the month ░║                   │                        │                     │                   │                         
  ╚═════════════════╤═════════════════╤═╝                   │                        │                     │                   │                         
                    Source CrUX URLs ┌┴┐                    │                        │                     │                   │                         
                    │<────────────── │ │                    │                        │                     │                   │                         
                    │                │ │                    │                        │                     │                   │                         
                    │        Source CrUX metrics           ┌┴┐                       │                     │                   │                         
                    │<──────────────────────────────────── │ │                       │                     │                   │                         
                    │                │ │                   └┬┘                       │                     │                   │                         
                    │                │ │                    │  Publish Core Web Vitals Technology report   │                   │                         
                    │                │ │                    │─────────────────────────────────────────────>│                   │                         
                    │                │ │                    │                        │                     │                   │                         
                    │                │ │                    │                        │                     │                   │                         
              ╔═════╪════════════════╪═╪═══════╤════════════╪════════════════════════╪═════════════════════╪═══════════════════╪════════════════════════╗
              ║ CRAWL QUEUE DURATION ~ 1 WEEK  │            │                        │                     │                   │                        ║
              ╟────────────────────────────────┘            │                        │                     │                   │                        ║
              ║     │   ╔═══════╤════╪═╪════════════════════╪════════════════════════╪═════════════════════╪═══════════════════╪══════════════╗         ║
              ║     │   ║ LOOP  │  per batch of pages       │                        │                     │                   │              ║         ║
              ║     │   ╟───────┘    │ │                    │                        │                     │                   │              ║         ║
              ║     │   ║            │ │     Save WebPageTest test results JSON      │                     │                   │              ║         ║
              ║     │   ║            │ │ ───────────────────────────────────────────>│                     │                   │              ║         ║
              ║     │   ║            │ │                    │                        │                     │                   │              ║         ║
              ║     │   ║            │ │                    │    Save test results into staging tables     │                   │              ║         ║
              ║     │   ║            │ │ ─────────────────────────────────────────────────────────────────────────────────────>│              ║         ║
              ║     │   ╚════════════╪═╪════════════════════╪════════════════════════╪═════════════════════╪═══════════════════╪══════════════╝         ║
              ╚═════╪════════════════╪═╪════════════════════╪════════════════════════╪═════════════════════╪═══════════════════╪════════════════════════╝
                    │                └┬┘                    │                        │                     │                   │                         
                    │                 │  Crawl finished    ┌┴┐                       │                     │                   │                         
                    │                 │──────────────────> │ │                       │                     │                   │                         
                    │                 │                    │ │                       │                     │                   │                         
                    │                 │                    │ │                       │                     │                   │                         
                    │                 │    ╔═══════════════╤═╪═══════════════════════╪═════════════════════╪═══════════════════╪══════════════╗          
                    │                 │    ║ WITHIN A DAY  │ │                       │                     │                   │              ║          
                    │                 │    ╟───────────────┘ │          Publish data to **httparchive.crawl** dataset          │              ║          
                    │                 │    ║               │ │ ───────────────────────────────────────────────────────────────>│              ║          
                    │                 │    ║               └┬┘                       │                     │                   │              ║          
                    │                 │    ║                │               Publish reports                │                   │              ║          
                    │                 │    ║                │─────────────────────────────────────────────>│                   │              ║          
                    │                 │    ╚════════════════╪════════════════════════╪═════════════════════╪═══════════════════╪══════════════╝          
                  CrUX            ┌───┴───┐          ┌──────┴──────┐           Cloud Storage           ┌───────┐           BigQuery                      
                 ,.-^^-._         │Crawler│          │Data Pipeline│              ,.-^^-._             │Reports│            ,.-^^-._                     
                |-.____.-|        └───────┘          └─────────────┘             |-.____.-|            └───────┘           |-.____.-|                    
                |        |                                                       |        |                                |        |                    
                |        |                                                       |        |                                |        |                    
                |        |                                                       |        |                                |        |                    
                '-.____.-'                                                       '-.____.-'                                '-.____.-'