AWS S3 下载文件翻倍占用内存
在aws doc (https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/example_s3_Scenario_UsingLargeFiles_section.html)上面找的下载大文件示例,直接粘贴运行,没问题,提交上线 源代码 12345678910111213141516171819// DownloadLargeObje
MySQL 读写分离
终于还是来了,读写分离的坑还是被我踩到了,年写接手了同事的一些代码,在上面缝缝补补,最近在自测的时候发现了一个奇怪的事儿,创建的数据推送到消息队列,本地开发环境是没有没有问题,到了测试环境,消息队的结构数据不正确, 排查了一下发现是数据库读写分离的问题 本质就是,插入的数据,需要立马查询出来获取插入的主键ID,为后续业务提供关联 本地开发环境,连接测试数据库延时比较高(100ms往上)复现不到这个
AWS之Step Functions
Step Functions 官方文档:https://docs.aws.amazon.com/step-functions/latest/dg/welcome.html 公司中的项目需要用到延时任务去处理业务上的问题,AWS自带的SQS消息延时队列最大的延时消息是15分钟,完全不能满足我们可以自定义或固定超过15分钟去处理延时任务 因此,领导安排我调研AWS Step Functions看看能不
熬过 2023, 2023 总结
2023年 迟到的2023年总结,是拖延症也是忙碌,导致现在才开始回想2023一年的事情,2023年对我来说是残酷的一年,也是我印象深刻的一年,这年我拥了两只喵咪, 换了两份工作,骑着踏板车去到了陕西韩城市,见了未来老丈,开始焦虑未来. 生活 见了未来老丈 又带了一只小猫回家,同时拥有了处理不完的猫毛烦恼 6月骑着我的小踏板去了韩城,距离西安不到300公里的路程,用了八个多小时,真的很值得,沿着
使用 langchain 做一个 prompt 工程师 🙈
langchain是一个开发由语言模型驱动的应用程序的框架,简单来说就是将LMM打包层应用层面的封装,使普通开发者(比如我)也能开发AI相关的应用 我能想到的相关应用： 聊天机器人 知识文档问答库(AI客服) Langchain-Chatchat 构建NLP应用程序 … 如果你使用过 ChatGPT 就会发现 GPT 回答问题的时候就会多说一些前后缀相关无用的东西,使用 langchain 的
为什么我们放弃了基于 GraphQL 的CQRS架构
当接手项目后，一开始 Hasura GraphQL 确实为我们搭建数据表和进行连表查询提供了便利。在项目初期，它似乎非常有吸引力，能够迅速获得所需的基础数据，查询接口的编写速度快，前端可以无缝使用跨库跨表查询。 然而，随着项目的进一步开发，一些细节问题逐渐浮出水面，我们发现 GraphQL 并不适合我们的业务场景。有时，一个查询语句可能需要花费大量时间，而系统复杂度的增加经常导致以前的接口需要重构
避坑之 grpc metadata 不能存入非 ASCll 字符
grpc metadata 不能存入非 ASCll 字符 1rpc error: code = Internal desc = header key "user_name" contains value with non-printable ASCll characters 项目中进行 rpc 调用的时候出现这个问题,问题很容易追踪, 就是在 metadata.AppendTo