Classique 
Regarde dans la configuration de tes touches, tu dois avoir "Lâcher objet" (quelque chose de ce genre-là) associé à la même touche qu'une touche de déplacement, soit Q soit Z
En effet par défaut les déplacements sont AWSD donc Lâcher objet est par défaut Q/Z.
Or si toi tu configures les déplacements en ZQSD mais que tu ne changes pas Lâcher objet, tu vas te retrouver à semer tes objets en même temps que tu te déplaces 
Pour l'instant le seul moyen de supprimer des objets c'est de les mettre dans un coffre et de détruire ce coffre en utilisant l'attaque manuelle (ou des grenades, mais gaffe aux alentours).
Sinon tu peux trouver des mods qui au choix :
- Permettent de recycler : rajoute des machines de recyclage qui fonctionnent comme les machines d'assemblage, avec de nouvelles recettes transformant ce que tu mets dedans en ses ingrédients nécessaires
https://mods.factorio.com/mod/ZRecycling
- Permettent de supprimer : un convoyeur spécial qui expédie dans le néant les objets qui se trouvent dessus. Ils disparaissent définitivement
https://mods.factorio.com/mods/barrykun/spawn-belt
(celui-là ajoute aussi un convoyeur spawner, ce qui est pratique pour tester des layouts, mais attention faut pas tricher avec
)
- Permettent de vendre : un peu plus extrême, ce mod permet carrément de rajouter de la monnaie. Tu peux vendre et acheter n'importe quoi, même si ici l'intérêt est de pouvoir se débarrasser des objets
https://mods.factorio.com/mod/BlackMarket