Последовательное сканирование PostgreSQL вместо сканирования индексов Почему?

Привет. У меня проблема с моим запросом базы данных PostgreSQL и интересно, может ли кто-нибудь помочь. В некоторых сценариях мой запрос, кажется, игнорирует индекс, который я создал, который используется для соединения двух таблиц data и data_area. Когда это происходит, он использует последовательное сканирование и приводит к значительно более медленному запросу.

Последовательное сканирование (~ 5 минут)

Unique  (cost=15368261.82..15369053.96 rows=200 width=1942) (actual time=301266.832..301346.936 rows=153812 loops=1)
   CTE data
     ->  Bitmap Heap Scan on data  (cost=6086.77..610089.54 rows=321976 width=297) (actual time=26.286..197.625 rows=335130 loops=1)
           Recheck Cond: (datasetid = 1)
           Filter: ((readingdatetime >= '1920-01-01 00:00:00'::timestamp without time zone) AND (readingdatetime <= '2013-03-11 00:00:00'::timestamp without time zone) AND (depth >= 0::double precision) AND (depth <= 99999::double precision))
           ->  Bitmap Index Scan on data_datasetid_index  (cost=0.00..6006.27 rows=324789 width=0) (actual time=25.462..25.462 rows=335130 loops=1)
                 Index Cond: (datasetid = 1)
   ->  Sort  (cost=15368261.82..15368657.89 rows=158427 width=1942) (actual time=301266.829..301287.110 rows=155194 loops=1)
         Sort Key: data.id
         Sort Method: quicksort  Memory: 81999kB
         ->  Hash Left Join  (cost=15174943.29..15354578.91 rows=158427 width=1942) (actual time=300068.588..301052.832 rows=155194 loops=1)
               Hash Cond: (data_area.area_id = area.id)
               ->  Hash Join  (cost=15174792.93..15351854.12 rows=158427 width=684) (actual time=300066.288..300971.644 rows=155194 loops=1)
                     Hash Cond: (data.id = data_area.data_id)
                     ->  CTE Scan on data  (cost=0.00..6439.52 rows=321976 width=676) (actual time=26.290..313.842 rows=335130 loops=1)
                     ->  Hash  (cost=14857017.62..14857017.62 rows=25422025 width=8) (actual time=300028.260..300028.260 rows=26709939 loops=1)
                           Buckets: 4194304  Batches: 1  Memory Usage: 1043357kB
                           ->  Seq Scan on data_area  (cost=0.00..14857017.62 rows=25422025 width=8) (actual time=182921.056..291687.996 rows=26709939 loops=1)
                                 Filter: (area_id = ANY ('{28,29,30,31,32,33,25,26,27,18,19,20,21,12,13,14,15,16,17,34,35,1,2,3,4,5,6,22,23,24,7,8,9,10,11}'::integer[]))
               ->  Hash  (cost=108.49..108.49 rows=3349 width=1258) (actual time=2.256..2.256 rows=3349 loops=1)
                     Buckets: 1024  Batches: 1  Memory Usage: 584kB
                     ->  Seq Scan on area  (cost=0.00..108.49 rows=3349 width=1258) (actual time=0.007..0.666 rows=3349 loops=1)
 Total runtime: 301493.379 ms

Сканирование индексов (~ 3 секунды) ( на сайте explain.depesz.com )

Unique  (cost=17352256.47..17353067.50 rows=200 width=1942) (actual time=3603.303..3681.619 rows=153812 loops=1)
   CTE data
     ->  Bitmap Heap Scan on data  (cost=6284.60..619979.56 rows=332340 width=297) (actual time=26.201..262.314 rows=335130 loops=1)
           Recheck Cond: (datasetid = 1)
           Filter: ((readingdatetime >= '1920-01-01 00:00:00'::timestamp without time zone) AND (readingdatetime <= '2013-03-11 00:00:00'::timestamp without time zone) AND (depth >= 0::double precision) AND (depth <= 99999::double precision))
           ->  Bitmap Index Scan on data_datasetid_index  (cost=0.00..6201.51 rows=335354 width=0) (actual time=25.381..25.381 rows=335130 loops=1)
                 Index Cond: (datasetid = 1)
   ->  Sort  (cost=17352256.47..17352661.98 rows=162206 width=1942) (actual time=3603.302..3623.113 rows=155194 loops=1)
         Sort Key: data.id
         Sort Method: quicksort  Memory: 81999kB
         ->  Hash Left Join  (cost=1296.08..17338219.59 rows=162206 width=1942) (actual time=29.980..3375.921 rows=155194 loops=1)
               Hash Cond: (data_area.area_id = area.id)
               ->  Nested Loop  (cost=0.00..17334287.66 rows=162206 width=684) (actual time=26.903..3268.674 rows=155194 loops=1)
                     ->  CTE Scan on data  (cost=0.00..6646.80 rows=332340 width=676) (actual time=26.205..421.858 rows=335130 loops=1)
                     ->  Index Scan using data_area_pkey on data_area  (cost=0.00..52.13 rows=1 width=8) (actual time=0.006..0.008 rows=0 loops=335130)
                           Index Cond: (data_id = data.id)
                           Filter: (area_id = ANY ('{28,29,30,31,32,33,25,26,27,18,19,20,21,12,13,14,15,16,17,34,35,1,2,3,4,5,6,22,23,24,7,8,9,10,11}'::integer[]))
               ->  Hash  (cost=1254.22..1254.22 rows=3349 width=1258) (actual time=3.057..3.057 rows=3349 loops=1)
                     Buckets: 1024  Batches: 1  Memory Usage: 584kB
                     ->  Index Scan using area_primary_key on area  (cost=0.00..1254.22 rows=3349 width=1258) (actual time=0.012..1.429 rows=3349 loops=1)
 Total runtime: 3706.630 ms

Структура таблицы

Это структура таблицы для таблицы data_area. При необходимости я могу предоставить другие таблицы.

CREATE TABLE data_area
(
  data_id integer NOT NULL,
  area_id integer NOT NULL,
  CONSTRAINT data_area_pkey PRIMARY KEY (data_id , area_id ),
  CONSTRAINT data_area_area_id_fk FOREIGN KEY (area_id)
      REFERENCES area (id) MATCH SIMPLE
      ON UPDATE NO ACTION ON DELETE NO ACTION,
  CONSTRAINT data_area_data_id_fk FOREIGN KEY (data_id)
      REFERENCES data (id) MATCH SIMPLE
      ON UPDATE CASCADE ON DELETE CASCADE
);

QUERY

WITH data AS (
    SELECT * 
    FROM data 
    WHERE 
        datasetid IN (1) 
        AND (readingdatetime BETWEEN '1920-01-01' AND '2013-03-11') 
        AND depth BETWEEN 0 AND 99999
)
SELECT * 
FROM ( 
    SELECT DISTINCT ON (data.id) data.id, * 
    FROM 
        data, 
        data_area 
        LEFT JOIN area ON area_id = area.id 
    WHERE 
        data_id = data.id 
        AND area_id IN (28,29,30,31,32,33,25,26,27,18,19,20,21,12,13,14,15,16,17,34,35,1,2,3,4,5,6,22,23,24,7,8,9,10,11) 
) as s;

Возвращает строки 153812. set enable_seqscan= false;, чтобы отключить последовательное сканирование и получить результат индекса.

Я пробовал делать ANALYSE в базе данных и увеличивать статистику, собранную в столбцах, используемых в запросе, но ничего не кажется помогать.

Может ли кто-нибудь распространять и освещать это или предлагать что-нибудь еще, что я должен попробовать?

11 голосов | спросил Mark Davidson 11 MarpmMon, 11 Mar 2013 16:41:25 +04002013-03-11T16:41:25+04:0004 2013, 16:41:25

3 ответа


7

Обратите внимание на эту строку:

->  Index Scan using data_area_pkey on data_area  (cost=0.00..52.13 rows=1 width=8) 
    (actual time=0.006..0.008 rows=0 loops=335130)

Если вы вычисляете общую стоимость, рассматривая циклы, это 52.3 * 335130 = 17527299. Это больше, чем 14857017.62 для альтернативы seq_scan. Вот почему он не использует индекс.

Таким образом, оптимизатор переоценивает стоимость сканирования индекса. Я бы предположил, что ваши данные отсортированы по индексу (либо из-за кластеризованного индекса, либо как он был загружен), и /или у вас много кэш-памяти и /или хороший быстрый диск. Следовательно, происходит небольшое количество операций ввода-вывода.

Вы также должны проверить correlation в pg_stats, который используется оптимизатором для оценки кластеризации при вычислении стоимости индекса и, наконец, попробуйте изменить random_page_cost и cpu_index_tuple_cost, чтобы соответствовать вашей системе.

ответил jop 11 MarpmMon, 11 Mar 2013 21:27:26 +04002013-03-11T21:27:26+04:0009 2013, 21:27:26
2

Ваш CTE фактически не делает ничего, кроме «аутсорсинга» нескольких условий WHERE, большинство из которых выглядит эквивалентно WHERE TRUE. Поскольку CTE обычно находятся за оптимизационным заграждением (что означает, что он оптимизирован сам по себе), они могут очень многое помочь с определенными запросами. В этом случае, однако, я ожидал бы совершенно противоположный эффект.

Я бы попытался переписать запрос как можно более простым:

SELECT d.id, * 
FROM 
    data d 
    JOIN data_area da ON da.data_id = d.id
    LEFT JOIN area a ON da.area_id = a.id 
WHERE 
    d.datasetid IN (1) 
    AND da.area_id IN (28,29,30,31,32,33,25,26,27,18,19,20,21,12,13,14,15,16,17,34,35,1,2,3,4,5,6,22,23,24,7,8,9,10,11) 
    AND (readingdatetime BETWEEN '1920-01-01' AND '2013-03-11') -- this and the next condition don't do anything, I think
    AND depth BETWEEN 0 AND 99999
;

, а затем проверьте, используется ли этот индекс или нет. Все еще очень возможно, что вам не нужны все выходные столбцы (по крайней мере, два столбца таблицы переходов являются излишними). ​​

Пожалуйста, сообщите нам и скажите, какую версию PostgreSQL вы используете.

ответил dezso 12 MaramTue, 12 Mar 2013 00:34:38 +04002013-03-12T00:34:38+04:0012 2013, 00:34:38
-1

Для последователей у меня была аналогичная проблема, похожая на

select * from table where bigint_column between x and y and mod(bigint_column, 10000) == z

Проблема заключалась в том, что мой bigint_column «между x и y» имел индекс, но мой запрос был в основном «все строки» в этой таблице, поэтому он не использовал индекс [поскольку он должен был сканировать всю таблицу в любом случае], но выполнял последовательное сканирование seq_scan. Исправить для меня было создание нового индекса для «mod» стороны уравнения, чтобы он мог использовать это в выражении .

ответил rogerdpack 21 Jpm1000000pmWed, 21 Jan 2015 22:31:52 +030015 2015, 22:31:52

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132