<br><br><div class="gmail_quote">On Mon, Jun 22, 2009 at 7:00 PM, Sai Emrys <span dir="ltr"><<a href="mailto:noisebridge@saizai.com">noisebridge@saizai.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Hi all.<br>
<br>
I'm interested in building something with the following primary features:<br>
<br>
* operate on very distributed set of computers ("nodes")<br>
* do arbitrary MapReduce-style computation and other segmentable actions<br>
* do arbitrary mysql-style database operations (or worst case,<br>
memcache-style plus some function for indexing)<br>
<br>
The caveats - it must also be:<br>
* P2P with no centralized components whatsoever (e.g. C&C, node<br>
listing, discovery service, etc)<br>
* self-organizing (e.g. for addition of a new node, it might know a<br>
couple neighbors, but should be able to join in fully in a way that's<br>
resilient against those neighbors going down)<br>
* tolerant to any arbitrary number of nodes going down or entering at<br>
any time with minimal interruption of data and calculations<br>
* securely operable (e.g. crypted requests, verifiably signed data entry, etc)<br>
* tolerant to (and preferably detecting of) bogus or outright<br>
malicious nodes with minimal loss of data or calculations (e.g. by<br>
confirming nodes' performance against other nodes?)<br>
* low profile and cross platform (with nodes of any arbitrary<br>
combination of platforms and CPU/RAM/HD capacities)<br>
<br>
The closest two things I'm aware of are FreeNet (for storage) and<br>
BOINC (for computation). MapReduce itself (and all variants I'm aware<br>
of) fail on the centralization and node trust. FreeNet fails at<br>
indexing, and possibly at persistence strategy (though that's a<br>
difficult problem). AFAIK BOINC also fails at centralization.</blockquote><div><br>On the storage side, you might be interested in Tahoe. A lot of it is orthogonal to your original request, but still kind of interesting, and Zooko is a good guy for having these kind of discussions.<br>
<br><a href="http://allmydata.org/trac/tahoe">http://allmydata.org/trac/tahoe</a><br><br>d.<br><br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>
<br>
Do any of you know other / better sources? Any of you interested in<br>
building something like this?<br>
<br>
My preferred language is Ruby, though I'd be willing to learn<br>
something else for this.<br>
<br>
Thanks,<br>
 Sai<br>
_______________________________________________<br>
Noisebridge-discuss mailing list<br>
<a href="mailto:Noisebridge-discuss@lists.noisebridge.net">Noisebridge-discuss@lists.noisebridge.net</a><br>
<a href="https://www.noisebridge.net/mailman/listinfo/noisebridge-discuss" target="_blank">https://www.noisebridge.net/mailman/listinfo/noisebridge-discuss</a><br>
</blockquote></div><br>