Thay Apify bằng gì — và quy trình nào trong báo cáo đó đáng đem về dùng

Phòng Công Nghệ · claude-phong-cong-nghe · nghiên cứu 04/09/2026
Nguồn: 4 tệp, 831 dòng, ở ~/Development/web-intelligence/docs/ — bản gốc do một ghế khác đo, 81 lượt gọi mô hình, ba đợt.
Trả lời một câu: thay được Apify cho trang công khai, cấu trúc lặp, cào đi cào lại. KHÔNG thay được cho nguồn có chống bot, cần đăng nhập, hoặc nền tảng lớn như Maps, TikTok, LinkedIn — chỗ đó Apify vẫn đáng tiền.

Nhưng thứ đáng giá nhất của báo cáo này KHÔNG phải công cụ.bảy quy trình làm việc rút ra dọc đường — và bảy cái đó áp được cho mọi dự án của nhà, kể cả dự án chẳng cào trang nào.

Phần I — Bảy quy trình đem về dùng ngay

Đây là phần em đề xuất, KHÔNG phải phần chép lại. Xếp theo thứ tự đáng làm trước.

  1. Chốt «ra 0 thì phải KÊU» Mọi đường ống trả về danh sách đều phải có một chốt: đếm số mục, bằng 0 thì báo động chứ KHÔNG đi tiếp lặng lẽ.
    Số thật trong báo cáo: đổi tên một lớp CSS thì mã tự sinh in ra danh sách rỗng và mã thoát vẫn là 0 — tức là mọi thứ phía sau đều tin rằng nó chạy tốt. Cào hàng tháng mà tưởng vẫn ổn là kịch bản có thật.
    Áp cho: bộ chấm bài, bộ đọc bình luận fanpage, bộ lấy báo cáo quảng cáo, bất cứ chỗ nào «không có dữ liệu» và «lấy dữ liệu hỏng» trông giống nhau.
  2. Cắn thử chính cái chốt kiểm của mình Viết xong một phép kiểm thì phải chứng minh nó biết BÁO ĐỎ: cố tình trả bản gốc hỏng về chỗ cũ, chốt phải kêu.
    Báo cáo làm đúng thế: trả bản chưa vá về thì chốt kêu 4 mục trượt và trả mã 1; trả bản vá lại thì mã 0. Một phép kiểm chưa từng đỏ lần nào là một phép kiểm chưa ai biết nó có chạy hay không.
    Đây chính là thước ② em đặt cho người sửa mã đang thử việc.
  3. Ghi «n/đ» thay vì đoán một con số cho đủ bảng Chỗ nào chưa chạy thật thì ghi thẳng là chưa đo được.
    Báo cáo có hai cột công cụ chưa hề chạy vì thiếu khoá trả phí. Người viết chấm được ô nào thì chấm, ô nào KHÔNG chấm được bằng cách đọc mã thì để trống, kèm một dòng nói rõ vì sao. Một bảng đủ ô mà có ô bịa thì hỏng hơn một bảng thiếu ô.
  4. Mọi báo cáo phải có mục «CHƯA ĐO ĐƯỢC» Bản gốc dành hẳn một mục liệt kê 14 thứ chưa đo và lý do từng thứ.
    Em đề nghị lấy đây làm mục bắt buộc trong mọi báo cáo của Phòng Công Nghệ. Người đọc cần biết cái báo cáo này KHÔNG nói gì, chứ không chỉ biết nó nói gì.
  5. Đừng để mô hình trong vòng lặp, nếu một đoạn mã làm được Sinh mã MỘT lần rồi chạy lại mãi.
    Cào 1000 trang bằng mô hình:      2,4 giờ  ·  1000 lượt hạn mức
    Cào 1000 trang bằng mã tự sinh:  12,5 phút ·     1 lượt
                                     nhanh hơn 11,5 lần · bỏ 999/1000 lượt
    Nguyên tắc rộng hơn: việc nào lặp lại và có khuôn cố định thì trả tiền mô hình đúng một lần để sinh ra đoạn mã, rồi chạy đoạn mã đó. Áp cho: đổi tên tệp hàng loạt, dựng trang từ dữ liệu, đóng gói bài, mọi việc đang gọi mô hình mỗi lượt mà đáng lẽ chỉ cần một lần.
  6. Đo đường đi thật của dữ liệu, đừng tin cái nút tắt
    Ca thật trong báo cáo: gói phần mềm có nút tắt gửi số liệu, tài liệu ghi rõ cách tắt — đặt tắt rồi đọc lại vẫn trả về BẬT. Nút đó KHÔNG nối vào đâu cả. Và thứ nó gửi đi gồm nguyên văn trang vừa cào cùng nguyên văn câu trả lời của mô hình.
    Áp cho mọi công cụ mới cắm vào máy: đo bằng cái đếm chuyến mạng, KHÔNG đọc tài liệu rồi tin.
  7. Tách «đã kiểm đạt» khỏi «đã dùng được việc» Báo cáo ghi rõ ô nào ĐÃ CHẠY THẬT, ô nào mới đọc mã. Hai trạng thái đó KHÔNG thay thế nhau — và đây đúng bài học nhà mình đã cắn ở một skill khác: thư mục kết quả rỗng 24 ngày vì chưa ai chạy nó lần nào.

Phần II — Về công cụ: chỗ nào bỏ Apify được, chỗ nào KHÔNG

Bảng tra nhanh, rút gọn cho việc của nhà

Loại việcDùng gìSố đo
Cào lặp lại một trang có cấu trúc cố định (danh mục, bảng giá, tin tức)Sinh mã một lần rồi chạy mã0,749 giây · 0 lượt mô hình
Lấy nhiều trang trong cùng một siteBò trang thô74 trang / 88,7 giây / 0 lượt
Trích cấu trúc từ một trang lạ, một lầnTự lấy trang rồi nạp bản văn vào, LUÔN truyền khuôn5,63 giây · 1 lượt
Trang cần bấm, cuộn, đăng nhậpbrowser-use lấy trang rồi mới bóc tách12,4 giây lấy · 0 lượt
Chỉ cần đọc hiểu MỘT trang, MỘT lầnChrome MCP hoặc WebFetch — đừng dựng đường ống cho một câu hỏi
Nguồn có chống bot, cần tài khoản, nền tảng lớnGIỮ Apifychưa đo được đường thay
Việc chạm dữ liệu riêng tư (hộp thư, trang cá nhân)Mô hình chạy tại máy, KHÔNG qua cửa nối ra ngoàiruột trang sẽ đi ra máy chủ nếu dùng cửa nối
Hai thứ báo cáo khuyên BỎ HẲN: hai gói vỏ gọi dịch vụ đám mây của chính công ty làm ra thư viện đó. Lý do một câu: chúng gửi URL, câu hỏi và nguyên ruột trang tới đúng máy chủ mà ta vừa bỏ một ngày công để chặn, và tính tiền theo lượt. Chặn cửa sau rồi mở cửa trước thì công đó bằng không.

Việc của nhà mình rơi vào đâu

Em đối chiếu với chỗ Apify đang thật sự được nhắc tới trong hệ (đo được 24 tệp, đa số là tài liệu nghiên cứu chứ chưa phải đường ống chạy hằng ngày):

ViệcNgả nàoVì sao
Bản đồ Google (bộ skill seo-maps)GIỮ ApifyNền tảng lớn có chống bot — đúng ô báo cáo nói KHÔNG thay được
Cộng đồng SkoolKHÔNG cần ApifyNhà đã tự dựng cầu nối riêng, đang chạy
Bình luận và tin nhắn fanpageKHÔNG cần ApifyĐi cửa chính thức bằng chìa của nhà, KHÔNG phải cào
YouTubeKHÔNG cần ApifyĐã có cầu nối riêng và bộ lấy bản chữ
Nghiên cứu thị trường lặp hằng tháng (kiểu I2Global)Ứng viên số một cho đường tại máyCùng một bộ nguồn công khai, lặp lại mỗi tháng — đúng chỗ «sinh mã một lần rồi chạy lại» ăn tiền nhất
Danh sách khách doanh nghiệpChưa kết luận đượcPhụ thuộc nguồn cụ thể có chống bot hay không. Phải liệt kê nguồn thật rồi mới quyết

Phần III — Em đề nghị làm gì, theo thứ tự

Một. Lấy bảy quy trình ở Phần I làm chuẩn của Phòng Công Nghệ, áp cho mọi dự án — kể cả dự án không cào trang nào. Cái này KHÔNG tốn hạ tầng, chỉ tốn kỷ luật, và nó chặn đúng loại hỏng đắt nhất là hỏng im lặng.

Hai. Trước khi động vào Apify, liệt kê 5 nguồn ta thật sự cần lấy dữ liệu, đánh dấu nguồn nào chống bot hoặc cần đăng nhập. Quyết bằng danh sách, KHÔNG quyết bằng cảm giác.

Ba. Chọn một việc lặp có khuôn cố định — em nghiêng về bộ nguồn nghiên cứu thị trường hằng tháng — cho chạy thử trọn một vòng có gắn chốt «ra 0 thì kêu», rồi đo tỉ lệ sống. Có số thật rồi mới bàn chuyện thay.
Em KHÔNG đề nghị bỏ Apify lúc này. Bộ số hiện có mới đo trên hai trang tập-cào tĩnh và một trang mẫu. Chưa ai đo nó trên đúng loại nguồn ta cần — mà đó mới là chỗ Apify được trả tiền để làm.

Chỗ báo cáo gốc tự nhận là CHƯA ĐO

Ghi lại để không ai đọc bản tóm tắt này rồi tưởng đã đủ căn cứ: