插入数据报错：getSegmentID failed: SegmentIDAllocator failRemainRequest err:etcdserver: request timed out

[AKmoex]

我这边打算插入大约1.5亿条数据到milvus，插入到中途时，遇到了 getSegmentID failed: SegmentIDAllocator failRemainRequest err:etcdserver: request timed out 的错误，我重新试了一下，依旧有这个错误，想咨询一下这个一般怎么解决呢？

而且发现另一个情况，即插入数据过程中磁盘占用数据（df -h）并没有变化，都无法判断数据是否真的插入进去了，后来通过少量数据测试才确认确实插入进去了。我记得之前使用milvus的时候，在插入数据过程中的磁盘占用会剧烈提升，然后插入结束后的一段时间逐渐恢复正常

milvus: v2.5.10
sdk: pymilvus 2.5.8

[yhmo]

像是etcd扛不住了，etcd要跑在NVME的高性能盘上，不然在大量插入数据时对etcd请求密集导致超时，etcd请求超时太多的话milvus很可能挂掉。
是批量插入，不是一条条的吧？一般每插入百兆左右数据它就会自动把缓存里的数据写入磁盘
只要client端的insert请求没返回error，就保证数据一定是成功。因为数据先会写入pulsar/kafka，这就保证数据不丢，按后milvus会从pulsar/kafka里把数据拉出来存到自己的storage里。

[AKmoex]

第一次出问题后，第二次插入过程中重点观测了一下磁盘io，因为我的磁盘确实性能不高，所以就怀疑这块的问题。

我目前是批量插入的，一次操作1000条，我看了一下几个月前的操作，也是同样的数据，但是没有报错。所以针对这个情况有什么好的建议吗？

1. 换高性能盘
2. 是不是降低插入的速度也是一个可行的办法？

另外，就是我上面提到的磁盘占用问题，我几个月前曾观察到这样的现象：#41935

[yhmo]

可以看下etcd那个容器的日志，它应该会打出slow request相关的日志。换NVMe盘就可以。降低插入速度也行，不过不确定要降到多低，得一边insert一边观察etcd的日志有没有warn
磁盘占用一般用插入数据的3倍粗略估计即可，我插入500万768维磁盘占用并没有你说的200g那么多，几十gb是要的

[xiaofan-luan]

etcd尽量不要放在跟milvus一起的盘上。用独立的云盘或者三块本地盘会更好

[Shagga01]

Hi, I am Humphrey O. Founder and Team Leader of Red Waters Group.
Red Waters Group is assembling a high-caliber global team of innovators, builders, and digital strategists.
We’re creating a future-forward ecosystem where AI, cloud engineering, automation, cybersecurity, product innovation, and digital architecture converge. If you’re a skilled professional ready to build revolutionary systems, contribute your expertise, and grow with a team driven by ambition and impact—we want you with us. Join us as we engineer the next generation of digital solutions.
👉 Apply here: https://forms.gle/RgLpGKKn5MZMVbRq9