Hiểu rõ get(), chunk(), lazy(), cursor() trong Laravel

Giới thiệu

Khi truy vấn dữ liệu, một số yếu tố có thể ảnh hưởng đến hiệu suất ứng dụng. Nếu không sử dụng đúng cách, có thể làm tốn RAM và làm giảm tốc độ tải trang đáng kể.

Ngoài việc sử dụng Laravel Octane để tối ưu hiệu suất, Laravel còn cung cấp nhiều phương thức hỗ trợ để truy vấn dữ liệu hiệu quả hơn, tùy vào từng trường hợp cụ thể. Trong bài viết này, mình sẽ sử dụng Laravel 11 và MySQL để minh họa một số ví dụ.

Tổng quan về các phương thức

• get(): Thực thi truy vấn và tải toàn bộ dữ liệu vào bộ nhớ PHP.
• chunk(): Chia dữ liệu thành từng nhóm và xử lý lần lượt từng nhóm.
• lazy(): Tương tự như chunk(), nhưng dùng PHP Generator để tiết kiệm bộ nhớ hơn.
• cursor(): Truy xuất từng bản ghi từ database buffer để tiết kiệm bộ nhớ.

get()

Phương thức get() trong Laravel thực hiện truy vấn và tải toàn bộ kết quả vào bộ nhớ PHP dưới dạng một Collection.

• Thực thi toàn bộ truy vấn ngay lập tức.
• Không tối ưu bộ nhớ, vì toàn bộ dữ liệu sẽ được nạp vào một lần.
• Hỗ trợ các phương thức của Collection như map(), filter().
• Hỗ trợ Eager Load Relationships.

⚠️ Lưu ý: Chỉ nên dùng cho các câu truy vấn với dữ liệu nhỏ.

🧪 Ví dụ: Lấy tất cả employees.

Laravel:

$employees = Employee::get();

SQL thực thi:

SELECT * FROM employees;

RAM sử dụng:

Với cấu hình memory_limit = 128MB trong file php.ini, nếu bảng employees có 300,000 rows thì khi dùng method get() sẽ bị lỗi “Allowed memory size of 134217728 bytes exhausted” do vượt quá mức bộ nhớ được cấp.

Trong ví dụ thực tế mình chỉ có thể lấy ra khoảng 70,000 rows với dữ liệu như bên dưới.

chunk()

Phương thức chunk() cho phép chia dữ liệu thành từng nhóm (chunk) nhỏ và xử lý lần lượt từng nhóm. Đây là giải pháp phù hợp khi làm việc với tập dữ liệu lớn, giúp tiết kiệm bộ nhớ so với việc tải toàn bộ dữ liệu vào cùng lúc.

• Nên dùng cho các câu truy vấn với dữ liệu lớn và có thể xử lý lần lượt theo từng nhóm.
• Hỗ trợ các phương thức của Collection như map(), filter().
• Hỗ trợ Eager Load Relationships.

🧪 Ví dụ: Lấy ra danh sách với 500 employees mỗi chunk.

Laravel:

Employee::chunk(500, function ($employees) {
    foreach ($employees as $employee) {
        echo $employee->first_name . "\n";
    }
});

SQL thực thi:

Chunk 1:
SELECT * FROM `employees` ORDER BY `employees`.`emp_no` ASC LIMIT 500 OFFSET 0;

Chunk 2:
SELECT * FROM `employees` ORDER BY `employees`.`emp_no` ASC LIMIT 500 OFFSET 500;

Chunk 3:
SELECT * FROM `employees` ORDER BY `employees`.`emp_no` ASC LIMIT 500 OFFSET 1000;

RAM sử dụng:

Với 300.000 rows, chunk 500 thì bộ nhớ sử dụng khoảng 6.07MB.

⚠️ Lưu ý: Nếu bạn lọc kết quả dựa trên một cột nào đó, và trong quá trình xử lý bạn cũng thực hiện cập nhật giá trị của chính cột đó, thì có thể dẫn đến kết quả không nhất quán hoặc bị bỏ sót dữ liệu ngoài ý muốn.

🧪 Ví dụ minh họa: Giả sử có 1 danh sách 10 employees với status là ‘accepted’, và bạn muốn cập nhật status thành ‘pending’ bằng cách xử lý mỗi lần 2 bản ghi:

Laravel:

Employee::where('status', 'accepted')->chunk(2, function ($employees) {
    foreach ($employess as $employee) {
        $employee->status = 'pending';
        $employee->save();
    }
});

SQL thực thi:

Chunk 1:
select * from `employees` where `status` = 'accepted' order by `employees`.`emp_no` asc limit 2 offset 0

Chunk 2:
select * from `employees` where `status` = 'accepted' order by `employees`.`emp_no` asc limit 2 offset 2

Dữ liệu trước khi thực hiện update:

Dữ liệu sau khi thực hiện update:

Vấn đề: các employees với emp_no: 10,003 – 10,004 – 10,007 – 10,008 không được update sang status là ‘pending’.

Nguyên nhân: khi chunk 1 chạy xong thì 2 employees với emp_no: 10,003 – 10,004 đã được update status thành ‘pending’, khi này số dữ liệu employees có status ‘accepted’ lúc này chỉ còn lại 8 rows.

Khi chunk 2 được chạy với OFFSET 2 thì thay vì employees với emp_no: 10,003 – 10,004 được lấy ra thì lúc các emp_no: 10,005 – 10,006 sẽ được lấy ra để thực hiện update, như vậy data của chúng ta đã bị vô tình bỏ qua 2 employees với emp_no: 10,003 – 10,004, tương tự với 2 employees với emp_no: 10,007 – 10,008 cũng sẽ bị bỏ qua.

Giải pháp: thay vì dùng OFFSET, phương thức chunkById() sử dụng một cột làm mốc để truy vấn các bản ghi lớn hơn bản ghi cuối cùng trong chunk trước đó. Nhờ vậy, bạn tránh được việc bỏ sót dữ liệu trong khi cập nhật.

Laravel:

Employee::where('status', 'accepted')->chunkById(2, function ($employees) {
    foreach ($employess as $employee) {
        $employee->status = 'pending';
        $employee->save();
    }
}, 'emp_no');

SQL thực thi:

Chunk 1:
select * from `employees` where `status` = 'accepted' order by `emp_no` asc limit 2

Chunk 2:
select * from `employees` where `status` = 'accepted' and `emp_no` > 10002 order by `emp_no` asc limit 2

Chunk 3:
select * from `employees` where `status` = 'accepted' and `emp_no` > 10004 order by `emp_no` asc limit 2

lazy()

Phương thức lazy() cho phép xử lý từng bản ghi một cách tuần tự bằng cách trả về một LazyCollection, giúp tiết kiệm bộ nhớ hiệu quả.

Không giống như chunk(), lazy() không yêu cầu callback và hoạt động tương tự như cursor() ở bên trong.

• Hỗ trợ các phương thức của Collection như map(), filter().
• Hỗ trợ Eager Load Relationships.
• Không tải toàn bộ dữ liệu vào bộ nhớ như get().

🧪 Ví dụ: Cập nhật status cho các employees có status = ‘accepted’.

Laravel:

$employees = Employee::where('status', 'accepted')->lazy(2);
foreach ($employees as $employee) {
    $employee->status = 'pending';
    $employee->save();
}

⚠️ Lưu ý: Khi bạn thực hiện cập nhật trong quá trình lặp, lazy() cũng có thể gặp lỗi nhảy OFFSET như chunk(). Để tránh điều đó, hãy dùng lazyById():

$employees = Employee::where('status', 'accepted')->lazyById(2, 'emp_no');
foreach ($employees as $employee) {
    $employee->status = 'pending';
    $employee->save();
}

RAM sử dụng:

Với 300.000 rows, lazy 500 thì bộ nhớ sử dụng khoảng 6.42MB.

cursor()

Phương thức cursor() chỉ thực thi một truy vấn duy nhất và trả về từng bản ghi một cách tuần tự từ database buffer, thay vì tải toàn bộ kết quả vào bộ nhớ PHP. Điều này giúp xử lý dữ liệu với dung lượng lớn mà vẫn tiết kiệm bộ nhớ hiệu quả.

• Thích hợp cho xử lý 1 lượng lớn data.
• Do các bản ghi được lấy lần lượt nên không hỗ trợ các phương thức Collection như map() hoặc filter().
• Do các bản ghi được lấy lần lượt nên không hỗ trợ Eager Load Relationships.

🧪 Ví dụ: Hiển thị first name của tất cả employees.

Laravel:

foreach (Employee::cursor() as $employee) {
    echo $employee->first_name . "\n";
}

SQL thực thi:

SELECT * FROM employees;

RAM sử dụng:

Với 300.000 rows thì bộ nhớ sử dụng khoảng 1.87MB.

⚠️ Lưu ý:

Mặc dù cursor() giúp tiết kiệm bộ nhớ bằng cách chỉ giữ một bản ghi trong bộ nhớ tại một thời điểm, nhưng nó vẫn có thể gây lỗi memory exhausted với dữ liệu cực lớn do cách hoạt động của PDO driver (lưu toàn bộ kết quả trong bộ nhớ trước khi đọc).

Trong trường hợp này, bạn có thể cần tối ưu thêm ở mức PDO layer hoặc query logic, hoặc sử dụng một giải pháp như pagination, streaming thông qua queue, hoặc xử lý song song bằng job queue để tránh tải quá nhiều bản ghi trong một tiến trình duy nhất.

Tổng kết

Huỳnh Hữu Phát Developer