Ingeniøren, som skulle udvikle Difference Engine, løb dog umiddelbart lige fra start af ind i problemer.
De mekaniske dele, som Charles havde tegnet i nøjagtige størrelsesforhold, kunne ikke blive fremstillet på dette tidspunkt.
Det var altså for svært at fremstille delene i den nøjagtighed, det krævede.
Derfor udviklede Charles Babbage også maskiner som kunne forbedre produktionen af nøjagtige materialer til fremstillingen af diversedele.
I 1829 havde Charles Babbage brugt samtlige penge han havde fået af staten og et langt større beløb af egne midler.
Udviklingen af fremtiden
Hans Difference Engine, var dog kun delvist lavet, og der var kun blevet fremstillet et par dele hist og her. Projektet begynder nu at tiltrække kritiske meninger og holdninger fra forskellige andre mennesker. Nogle af de problemer, han blev gjort opmærksom på, handlede om hans egen perfektionisme, og hvordan problemerne, han havde dengang, ikke blev forstået af menneskene i samtiden. En dårlig cirkel var startet for Charles Babbage, og der gik såmænd heller ikke lang tid, før selv gademusikanter afskyede ham. Charles Babbage havde prøvet at få dem bandlyst, fordi deres musik angiveligt forstyrrede hans tankegang, når han var i færd med at udvikle nye ideer til sin maskine.
