旧から新へ: 大規模ウェブクローラの Perl から Go への移行 / YAPC::Fukuoka 2025

旧キューの構造 CREATE TABLE crawl_queue ( page_id INT UNSIGNED NOT NULL,

priority INT UNSIGNED NOT NULL, status ENUM(‘ready’, ‘doing’, ‘done’, ‘stop’) NOT NULL, PRIMARY KEY (page_id), KEY (status, priority) ) ENGINE=MEMORY; — クエリ: SELECT page_id FROM crawl_queue WHERE status=’ready’ ORDER BY priority LIMIT 1




元の記事を確認する

関連記事