How PostgreSQL organizes data
Như bạn đã viết trong PostgreSQL, data được chứa trong các tables, các tables lại được gộp với nhau trong 1 database. Ở tầng cao nhất database sẽ được lưu trữ với nhau tại các clusters. Chúng ta có thể xem được cấu trúc của việc lưu trữ này trên disk. postgres = # SELECT datname, oid FROM ...
Như bạn đã viết trong PostgreSQL, data được chứa trong các tables, các tables lại được gộp với nhau trong 1 database. Ở tầng cao nhất database sẽ được lưu trữ với nhau tại các clusters. Chúng ta có thể xem được cấu trúc của việc lưu trữ này trên disk.
postgres=# SELECT datname, oid FROM pg_database; datname | oid -----------+------- perf | 16556 template1 | 1 template0 | 16555
Ta thấy rằng có tất cả 3 databases đang được lưu trong cluster. Ta có thể tìm ra vị trí lưu chúng trên disk.
$ cd $PGDATA $ ls base pg_clog pg_ident.conf pg_xlog postmaster.opts global pg_hba.conf PG_VERSION postgresql.conf postmaster.pid
Thư mục $PGDATA có chứa một subdirectory khác là base. Thư mục này chính là nơi chứa databases.
$ cd ./base $ ls -l total 12 drwx------ 2 postgres pgadmin 4096 Jan 01 20:53 1 drwx------ 2 postgres pgadmin 4096 Jan 01 20:53 16555 drwx------ 3 postgres pgadmin 4096 Jan 01 22:38 16556
Chú ý rằng chúng ta có 3 thư mục con nằm tron $PGDATA/base. Quay lại với kết quả của câu query hồi nãy:
SELECT datname, oid FROM pg_database;
Ta nhận thấy rằng tên của 3 thư mục này chính là giá trị oid tương ứng với đừng database. Thư mục 16556 chứa database perf, thư mục 16555 chứa database template0.
Tiến vào sâu hơn, ta thấy.
$ cd ./1 $ ls 1247 16392 16408 16421 16429 16441 16449 16460 16472 1249 16394 16410 16422 16432 16442 16452 16462 16474 1255 16396 16412 16423 16435 16443 16453 16463 16475 1259 16398 16414 16424 16436 16444 16454 16465 16477 16384 16400 16416 16425 16437 16445 16455 16466 pg_internal.init 16386 16402 16418 16426 16438 16446 16456 16468 PG_VERSION 16388 16404 16419 16427 16439 16447 16457 16469 16390 16406 16420 16428 16440 16448 16458 16471
Lại một đống file tên là số, có thể lờ mờ đoán ra đây là các oids, nhưn g là oids gì thì chịu. Trong database có chứa các table, nên có thể đây là các oids của table. Kiểm chứng:
$ psql -q -d template1 template1=# SELECT relname, oid FROM pg_class; template1=# SELECT oid, relname FROM pg_class ORDER BY oid; oid | relname -------+--------------------------------- 1247 | pg_type 1249 | pg_attribute 1255 | pg_proc 1259 | pg_class 1260 | pg_shadow 1261 | pg_group 1262 | pg_database 16384 | pg_attrdef 16386 | pg_relcheck ... | ...
Và như vậy mỗi file tương ứng với mỗi table trong database. Và mỗi table sẽ tương ứng với một oid trong bảng pg_class.
Trong bảng pg_class còn có 2 column khác, qua đó ta có thể thấy cấu trúc của PostgreSQL.
perf=# SELECT relname, oid, relpages, reltuples FROM pg_class
perf-# ORDER BY oid
relname | oid | reltuples | relpages
--------------+------+-----------+----------
pg_type | 1247 | 143 | 2
pg_attribute | 1249 | 795 | 11
pg_proc | 1255 | 1263 | 31
pg_class | 1259 | 101 | 2
pg_shadow | 1260 | 1 | 1
pg_group | 1261 | 0 | 0
... | ... | ... | ...
Gía trị reltuples cho ta số lượng tuples trong mỗi table. relpages cho ta số lượng page cần để lưu lại toàn bộ contents của table đó. Vậy giá trị này phản ánh giá trị thực tế lưu trên disk như thế nào? Nếu bạn xem kĩ hơn một số table, bạn sẽ thấy mối quan hệ đó.
$ ls -l 1247 1249 -rw------- 1 postgres pgadmin 16384 Jan 01 20:53 1247 -rw------- 1 postgres pgadmin 90112 Jan 01 20:53 1249
File 1247 (pg_type) có kích thước 16384 bytes, có được chưa trong 2 pages, file 1249 (pg_attribute) có kích thước 90112 bytes chiếm 11 pages. Vậy mỗi page sẽ chiếm 8192(bytes) = 8k bytes. Trong PostgreSQL, toàn bộ quá trình I/O được thực thực hiện page-by-page. Vì vậy khi thực hiện query trên một row của table, PostgreSQL sẽ đọc tí ít là 1 page, có thể là nhiều page nếu như dât trên row. Khi update một dòng, PostgreSQL sẽ tạo ra một version mới của dòng đó ở cuối table và đánh dấu hàng được update là invalid.Size
Size của mỗi page sẽ được fix là 8192 bytes. Bạn có thể thay đổi config, nhưng tất cả các page sẽ cùng kích thước. Nhưng kích thước của từng row là không có định, nó tùy thuộc vào data trong mỗi row. Vì vậy, số lượng row trong 1 page là không thể tính toán được.
Nếu trong trường hợp, kích thước của 1 row vượt quá giới hạn 8k bytes, PostgreSQL sẽ lưu data vào TOAST (The Oversized Attribute Storage Technique) table. TOAST table này được xem như là một extension của table bình thường. Nó chứa data mà không chứa vừa vào table bình thường.
Indexes cũng sẽ được trong 1 pages, page mà chứa data được gọi là heap page, còn page chứa index được gọi là index page. Nó cũng giống như một page bình thường, không thể biết số lượng row trong 1 page, nếu quá lớn nó cũng được lưu trong TOAST.
Page Caching
Có 2 nguyên tắc cơ bảng mà tất cả các Database System đều tuân thủ theo chính là:
- Truy cập RAM thì nhanh hơn trên Disk
- Không gian của RAM thì ít hơn Disk
Theo đó, PostgreSQL tối giản truy cập I/O trên Disk bằng cách lưu data được truy cập nhiều lần trên RAM. Khi server được start, PostgreSQL tạo ra một cấu trúc dữ liệu gọi là Buffer Cache. Buffer Cache được tổ chức dưới dạng như một tập hợp của các page 8k bytes. Mỗi page trong Buffer Cache tương ứng với một trong số nhiều page trong database. Buffer Cache này được share cho toàn bộ các tiến trình sử dụng database.
Khi bạn thực hiện query một row trong database, PostgreSQL sẽ đọc heap block chứa data, và đưa heap block này vào Buffer Cache này. Nếu không có chỗ chứa, PostgreSQL sẽ remove một số block ra khỏi Buffer Cache. Index block cũng sẽ được đưa vào buffer giống như heap block.
