服务端开发技术分享

curl网页采集相关

Tue, 10 Feb 2026 10:22:21 +0800

Accept-Encoding需要单独设置，不能放在header里，对应curl 的CURLOPT_ENCODING属性。。如果采集到的网页是乱码，可以设置这个为gzip,deflate试试

// 例：
curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');

使用SimpleHTMLDom解析HTML（第三方库）

// 使用composer安装
composer require sunra/php-simple-html-dom-parser

// 示例
require 'vendor/autoload.php'; // 引入自动加载文件
$html = file_get_contents('http://example.com');
$dom = new simple_html_dom();$dom->load($html);
foreach($dom->find('a') as $element) {
    echo $element->href . '<br>'; // 获取所有链接的href属性
}
$dom->clear(); // 清除DOM对象以释放内存

使用Guzzle（HTTP客户端）和Symfony的DomCrawler（DOM操作）

//  使用composer安装
composer require guzzlehttp/guzzle symfony/dom-crawler symfony/css-selecto

//  示例
require 'vendor/autoload.php'; // 引入自动加载文件
use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client();
$response = $client->request('GET', 'http://example.com');
$html = (string) $response->getBody();
$crawler = new Crawler($html);
$links = $crawler->filter('a'); // 获取所有链接的节点集合
foreach ($links as $link) {
    echo $link->getAttribute('href') . "\n"; // 获取链接的href属性
}

总结：
选择哪种方法取决于你的具体需求，比如是否需要处理复杂的HTML结构、是否需要处理大量数据等。对于大多数情况，SimpleHTMLDom和Guzzle+DomCrawler的结合使用是比较方便和强大的选择。如果你需要处理非常复杂的HTML或者需要更高级的HTTP功能，那么使用Guzzle和DOMDocument可能是更好的选择。对于简单的需求，file_get_contents()和DOMDocument或SimpleHTMLDom已经足够了。

thinkphp前后端分离，如何使用think-captcha？

Tue, 16 Dec 2025 11:17:26 +0800

captcha配置文件增加 'api' => true,。。如果是单应用，增加全局的captcha配置文件中，如果是多应用，复制全局captcha配置文件到对应应用的config目录，然后增加或只保留 'api' => true,。。

如果所有应用都是前后端分离，直接增加到全局的captcha配置文件中应该就可以（本条未测试）

增加后，Captcha::create() 会返回一个数组，数组中包含验证码code，和验证码图片的base64格式，将code存到缓存中，或以自己的习惯保存，将验证码图片返回给前端。
验证时，如果逻辑上要求大小写一致，直接比较即可；如果不区分大小写，需要将保存的code和传过来的验证码都转换为大写或小写，再进行比较。
注意：调用 Captcha::create()，引入的是think\captcha\facade\Captcha。

thinkphp升级后报错Declaration of think\app\Url::build() must be compatible with think\route\Url::build()

Sun, 12 Oct 2025 11:35:12 +0800

1. 出现这个错误的原因是，你通过命令“composer update topthink/framework”只升级了框架，没有更新多应用扩展模块。
2. 只需要composer运行下面代码更新多应用扩展模块到最新版后即可解决：
1. composer update topthink/think-multi-app
2. 更新完成后，项目运行正常。

thinkphp6 多应用模式下，多个应用都需要使用图片验证码时，会共用验证码，让每个应用使用自己的验证码

Sun, 10 Aug 2025 15:30:25 +0800

1. 关闭框架层的中间件中的默认会话初始化；
2. 给各个应用的中间件开启（增加）会话初始化；
3. 会话初始化需要开启/关闭的中间件：\think\middleware\SessionInit::class。

laravel 安装

Sun, 15 Jun 2025 11:19:18 +0800

一、laravel 安装

1、laravel 最新版本安装

composer global require "laravel/installer"  #使用Composer下载Laravel安装程序
laravel new XXX  #创建一个laravel项目,XXX为项目名称

2、laravel 指定版本安装

composer create-project laravel/laravel XXX --prefer-dist "6.0.*" #XXX表示项目名称,6.0.*表示版本号

注意：选择 Laravel 版本时，应该优先考虑 LTS 版本，因为安全性和稳定性考虑，商业项目开发中不应该使用最新版本的『Laravel 一般发行版』

二、检测laravel是否安装成功

1、查看laravel安装版本

项目根目录输入

php artisan --version

2、访问laravel项目

配置域名指向项目的public目录

参考来源：https://blog.csdn.net/huaweichenai/article/details/128898769

git报错: fatal: bad object HEAD

Sun, 13 Apr 2025 11:46:32 +0800

一般问题原因：

.git内文件有问题，比如误删除了一些文件（我就是因为.git\objects\pack文件夹过大，删除了这个文件夹）。

处理建议：

在其他盘符或文件夹把项目拉下来，然后复制.git文件夹到要操作的文件夹覆盖，然后继续操作。
将修改过的文件在新拉下来的文件夹修改后，继续操作。

以上建议二选一即可。

MySQL 3个字段作为一个字段输出

Sun, 16 Feb 2025 11:32:40 +0800

在MySQL中，如果你想将3个字段合并成一个字段输出，可以使用CONCAT()函数或者CONCAT_WS()函数。这两个函数都可以用来连接字符串，但CONCAT_WS()允许你指定一个分隔符。

1. 使用CONCAT()

CONCAT()函数直接将多个字符串连接起来，不添加任何分隔符。

SELECT CONCAT(field1, field2, field3) AS combined_field FROM your_table;

这里，field1, field2, field3是你想要合并的字段名，your_table是你的表名。combined_field是合并后的字段的别名。

2. 使用CONCAT_WS()

如果你需要在字段之间添加一个分隔符，可以使用CONCAT_WS()函数。

SELECT CONCAT_WS(' ', field1, field2, field3) AS combined_field FROM your_table;

在这个例子中，' '是分隔符（一个空格），它将field1, field2, field3之间用空格连接起来。

示例

假设你有一个表employees，包含字段first_name, last_name, department，你想将这三个字段合并成一个字段输出，每个字段之间用逗号和空格分隔。

SELECT CONCAT_WS(', ', first_name, last_name, department) AS full_info FROM employees;

这样，每行将显示为“first_name, last_name, department”的形式。

* 注意事项

确保在连接字段时，这些字段不是NULL，否则结果中可能会包含NULL值或者NULL字符。你可以使用COALESCE()函数来处理可能的NULL值，

例如：

SELECT CONCAT_WS(', ', COALESCE(field1, ''), COALESCE(field2, ''), COALESCE(field3, '')) AS combined_field FROM your_table;

这样，如果任一字段为NULL，它将被替换为空字符串('')，从而避免NULL值影响结果。

使用这些方法，你可以灵活地将多个字段合并为一个字段输出。

PHP去除数组中的 0

Sun, 15 Dec 2024 11:35:30 +0800

1. 使用array_filter()函数

$array = [1, 0, 2, 0, 3, 0];
$array = array_filter($array, function($value){
    return $value !== 0;
});

2. 使用foreach循环遍历数组，并用unset()删除索引对应的元素

$array = [1, 0, 2, 0, 3, 0];
foreach($array as $key => $value){
    if($value === 0){
        unset($array[$key]);
    }
}

3. 使用array_diff()函数

$array = [1, 0, 2, 0, 3, 0];
$nonZeroArray = array_diff($array, [0]);

4. 使用array_values()函数重新索引数组，以去除0元素

$array = [1, 0, 2, 0, 3, 0];
$array = array_values(array_filter($array, function($value){
    return $value !== 0;
}));

以上这些方法可以从数组中去除所有的0元素。注意，方法1和方法4都会重新索引数组，所以如果想保持原数组的键值关系，请使用方法2或方法3。

MySQL 中 where in 长度过长的解决方法

Mon, 07 Oct 2024 10:05:50 +0800

在使用MySQL数据库时，我们经常会使用 where in 语句来查询一组特定的值，例如：

SELECT * FROM students WHERE id IN (1, 2, 3, 4, 5);

方法一：使用子查询

我们可以将需要查询的值放在一个子查询中，然后在主查询中引用这个子查询。这样可以避免 where in 语句过长的问题，同时也可以提高查询性能。

SELECT * FROM students WHERE id IN (SELECT id FROM students);

方法二：使用JOIN语句

我们可以将需要查询的值放在一个单独的表中，然后使用JOIN语句将其与主查询表连接起来。这样可以避免 where in 语句过长的问题，同时也可以提高查询性能。

CREATE TABLE temp_ids (id INT);
INSERT INTO temp_ids VALUES (1), (2), (3), (4), (5);
SELECT * FROM students s JOIN temp_ids t ON s.id = t.id;

ThinkPHP 使用withJoin时，field无效的解决办法

Fri, 16 Aug 2024 10:15:10 +0800

ThinkPHP 使用withJoin时，field无效的解决办法：

一、 filed 改为使用 visible.

1. 需注意，visible里需要传的是数组，且主表的字段不需要加别名（where条件仍然需要加别名）。

2. 主表解释：表A withJoin 表B，则表A是主表。

3. 别名解释，withJoin 会自动设置别名，例：模型 UserData 的别名为 user_data。

4. 特别说明：由于withJoin 会自动设置别名，所以withJoin不支持alias方法指定别名。

二、 withJoin 改为普通关联模式。

1. 更改方法：withJoin 改为 join/leftjoin/rightjoin/fulljoin('表B 表B别名','表A别名.字段=表B别名.字段')，其中join/leftjoin/rightjoin/fulljoin根据需求自行选择其一。

2. 注意表A加上别名，方便书写。